2018年極光開發者大會于11月17日在深圳召開，極鏈科技Video++AI實驗室負責人張奕博士受邀參加17日下午的人工智能論壇，分享人工智能在消費級視頻分析中的應用。同時與重量級嘉賓為大家分享行業前沿動態和技術干貨，共同探討近年來的行業趨勢，共同構建良好的開發者生態。

入局消費級視頻

近幾年，大數據、AI技術和機器學習等相關技術的快速發展，證明了互聯網對各行各業的影響力在不斷的增強和擴大。大數據與人工智能的結合不斷的驅動著時代的發展，也在不斷的提升各行各業的效能。

中國擁有數量最龐大的互聯網網民，互聯網網民每天花在上網上面的時間，絕大多數被觀看視頻所占據，據統計，當前中國互聯網網民每天觀看視頻上花的時間已經達到了兩個小時。這么多的用戶觀看時間時間，用戶就需要得到一個更好的用戶體驗。受眾觀看視頻的過程中，能夠體現出互動性，可以根據觀看的感受反饋互動，不同的觀眾觀看同一視頻的情況下，可以進行互相之間的交流，這就需要有一個比較好的互動工具提供給普通的視頻觀眾，讓他們觀看視頻過程中能夠進行互動操作，極鏈科技Video++就是在這樣的大環境下誕生。

2014年于上海創立的極鏈科技Video++是一家致力于視頻AI商業應用的公司，將人工智能與直播短視頻相結合，給視頻用戶一種不同的體驗，為直播視頻行業帶來了新的商業模式。形成了以視頻AI廣告、視頻電商、互動娛樂的業務矩陣。旗下業務為視頻AI廣告、視頻電商和互動娛樂，與優酷、愛奇藝、芒果、抖音、斗魚、熊貓等占國內65%的流量平臺合作，月服務UV4.2億用戶，在AI+文娛領域已實現大批量商用。

消費級視頻與工業級視頻

會上張奕博士首先為我們簡單的介紹了工業級視頻消費級視頻的區別，消費級視頻區別于工業級視頻是利用固定設備在固定條件、固定場景下拍攝的視頻，例如安防視頻，但是很顯然，消費級視頻相對于工業級視頻更加復雜。消費級視頻的第一個特點就是數據量大。隨著互聯網的發展壯大，很多產品的數據都是通過互聯網和云端進行傳輸和存儲。與此同時這也給人工智能算法處理提出了更高的要求。算法運行時必須考慮到計算的速度，且要在合理的時間里對大量的數據進行分析和處理。

其二就是消費級視頻的類別多樣，如電影、綜藝、體育、短視頻等。這些子類的消費級視頻的內容形式之間又存在著很大的差異，所以也給不同子類的通用算法提出了巨大的挑戰。

其三，消費級視頻場景復雜，從工業級視頻的條件里就可以看出，場景非常的單一，而消費級視頻則來源多樣，后期還有很多加工，從而場景更加復雜，如場景內的特效、切換、淡入淡出和字幕，澤瀉都會對整體或局部產生模糊。以上因素都會對人工智能分析視頻內容產生一定程度的干擾，這就對人工智能算法提出了更高的要求，以減少這些因素帶來的干擾。

深度學習技術給消費級視頻帶來的希望

從深度學習技術出發，張奕博士認為人工智能在消費級視頻領域巨有巨大的商業價值，但是要實現以上的應用設計，還必須依賴于技術的發展。在深度學習技術應用之前，人工智能識別技術也在不斷發展，但在實際應用中，算法準確率與產品商業化要求之間還存在較大的差距，深度學習技術的出現，極大的提升了算法的準確率，拉低了其與產品商業化要求的差距，使得人們看到了人工智能技術近年來在消費級視頻等相關領域應用的希望。

如何構建深度學習的消費視頻分析系統

基于以上，張奕博士還以Video++在消費級視頻運用人工智能相關的實例和心得為大家講述如何構建基于深度學習的消費級視頻分析系統。首先是深度學習，樣本的選擇、識別和標注，模型的設計以及訓練測量。其次是計算機視覺和圖像處理，這里設計消費級視頻領域，所以必須借助這一算法對視頻進行必要的預處理，從而為深度學習做儲備，這其中就包括目標檢測、跟蹤和圖像變換。

而視頻識別過程中的技術難點也是存在的，張奕博士解釋到，基于視頻內容的識別和圖片的識別是有較大區別，由于視頻的辨識環境問題，辨識目標的遮擋情況、屏幕占比、運動狀態都會使視頻識別的難度增大，而Video++獨創的全序列采樣識別，在數據收集和標注上積累了大量的數據，數據的收集由專業的團隊進行離線的數據收集和標注，作為初始模型的訓練數據，或是由離線收集的訓練數據得到初始模型，然后在線上測試得到反饋數據，從中挑選錯分的樣本，再經過人工的標注后，將其加入訓練數據集里，對模型進行持續的訓練和分析。以此可以看出在不久的將來，待標注的數據將成為一項技術壁壘，因為它直接決定了訓練模型得到的數據的準確率。在準確率與抓取率上都具有創新性的提升。

極鏈科技Video++將AI+文娛產業的商業化逐步加強，在運用AI技術賦能視頻的過程中，不斷讓視頻變得更有趣、更有價值，通過對視頻數據進行結構化處理，實現人臉、場景、物體、品牌等內容的動態追蹤識別，進而將視頻解構成為更有價值的場景活動單元，以此應用到如廣告、電商、互動娛樂等各種商業化場景中去。

本次極光開發者大會，集結眾多人工智能領域的專家學者，分享最新最前沿的技術。吸引來自各行各業的人工智能愛好者與行業精英近千人到場參與。張奕博士在本場人工智能論壇，除了為我們分享最前沿的人工智能與消費級視頻結構化數據的商用實踐，還與所有參會者共同討論怎樣高效訓練數據、如何進行常規數據操作和如何獲取“高效”的數據等熱點問題。

目前，人工智能的確非常火爆，但是通過本次極光開發者大會的交流分享，我們看到，人工智能與消費級視頻領域還存在一些短板和瓶頸，但技術的發展是永無止境的，我們相信未來AI+文娛的產業一定會更加成熟。