2019年1月2日，云知聲在北京召開一場主題為”聲視不凡“的新聞發布會，正式公布了其全新的多模態AI芯片戰略與規劃。這一次，云知聲突破原有的語音AI廠商的定位，進一步擴展到了視覺AI領域。同時，云知聲還曝光了其正在研發中的三款AI芯片，包括第二代物聯網語音AI芯片雨燕Lite、面向智慧城市的支持圖像與語音計算的多模態AI芯片海豚（Dolphin），以及面向智慧出行的車規級多模態AI芯片雪豹（Leopard）。

從IVM到雨燕，云知聲的造芯之路

眾所周知， 云知聲一直以來都是一家語音技術廠商。隨著人工智能以及邊緣計算的興起，自2014年云知聲開始切入物聯網AI硬件芯片方案（IVM），并于2015年開始形成量產出貨，其中家居領域客戶覆蓋格力、美的、海爾、長虹、海信、華帝等幾乎所有國內一線家電廠商。

另外值得一提的是，根據云知聲創始人兼CEO黃偉在今天發布會上公布的數據也顯示，自2015年以來到現在，云知聲的語音AI已經進入了500多家醫院，其中80%都是三甲醫院（比如北京協和醫院、上海華山醫院等）。

在深入場景提供服務的過程中，為彌補通用芯片方案在給定成本和功耗條件下的能效比問題，以及在邊緣算力、多模態AI數據處理方面的能力短板，2015年云知聲正式啟動自研AI芯片計劃。

經過三年的研發，去年5月16日，云知聲率先推出了業界首款面向物聯網的語音AI芯片——UniOne雨燕（Swift）及其系統解決方案。該芯片采用云知聲自主AI指令集，擁有具備完整自主知識產權的DeepNet1.0、uDSP（數字信號處理器），并支持DNN/LSTM/CNN等多種深度神經網絡模型，性能較通用方案提升超50倍。

而為了進一步加速”雨燕“及系統解決方案的落地，去年9月12日，云知聲又發布了基于”雨燕“的智能音箱和智能家居的解決方案，并宣布將該方案開源。過“云端芯”結合，提供給客戶與合作伙伴面向具體場景的軟硬件一體化Turnkey解決方案，可讓客戶站在更高的設計起點、以更低的成本，在更短的時間周期內打造出更穩定可靠的產品。同時，開源的方案也可確保客戶基于已提供的AI能力自行設計其它各種長尾產品形態，構建更為豐富的AIoT生態。

據介紹，目前基于雨燕芯片的全棧解決方案已導入的各類方案商及合作伙伴已超過10 家，包括美的、奧克斯、海信、京東、360、中國平安、硬蛋科技等，相關產品最早將于Q1量產上市。

而雨燕芯片在市場上的成功，也成功推動了云知聲營收的增長。雖然2018年整體的大環境不是很好，但是，根據云知聲公布的數據顯示，2018年云知聲的營收相比2017年竟猛增了3倍。而之所以能夠有如此巨大的增長，與”雨燕“的”開花結果“密不可分。

云知聲創始人兼CEO黃偉也表示，2018年云知聲的營收主要就是來源于芯片和軟件服務。

5G推動AIoT落地，多模態AI芯片成必然

那么作為一家語音AI技術廠商，云知聲這一次為什么會突破原有的語音AI廠商的定位，進一步擴展到了視覺AI領域，并宣布推多模態AI芯片呢？

▲云知聲創始人兼CEO黃偉

云知聲創始人兼CEO 黃偉認為，當前我們正處于5G 爆發的邊緣，5G與人工智能的結合將真正促使萬物智聯（AIoT）的落地與實現。可以預見的是，未來巨量的多維數據（如語音、圖像、視頻等）集中處理與邊緣式分布計算的需求，勢必將進一步挑戰 AI 底層支持硬件——芯片的計算能力。

與此同時，AIoT 場景下人工智能應用對于端云互動有著強需求。強大的云會讓端能力更強，而強大的端則可提升數據處理的實時性和有效性，進而增強云的能力。二者需要緊密結合，這要求對芯片設計和云端架構進行統一考量。傳統的通用方案架構由于在高實時性、高智能化場景中的算力有限，且無法平衡好成本、功耗、安全性等諸多現實需求，因此具備多維度 AI數據集中處理能力的多模態AI芯片將成必由之路。

物聯網AI芯片的多模態演進之路

在第一代 UniOne芯片雨燕的發布會上，云知聲聯合創始人李霄寒曾指出，UniOne 并不是一顆芯片，而是一系列芯片，代表了云知聲對于物聯網 AI 芯片發展戰略的整體構想。在今日舉行的云知聲 2019 多模態 AI 芯片戰略發布會上，李霄寒再次從三方面論證了物聯網多模態 AI 芯片的必要性。

▲云知聲聯合創始人李霄寒

李霄寒認為，當前物聯網產品線的 AI 芯片越來越明顯地體現出三個趨勢：

首先是場景化。芯片設計正在由原來的片面追求 PPA，即性能（Power）、功耗（Performance）和面積（Area）逐漸演變成基于軟硬一體，甚至包括云端服務的方式來解決某個垂直領域的具體問題，芯片本身上升成為整個解決方案中的重要部分，而非唯一；

其次，端云互動。在物聯網的不同應用場景下，海量終端設備要實現功能智能化必須端云配合，即形成邊緣算力和云端算力的動態平衡。端云互動的命題需要 AI芯片的強有力支持，進一步也深刻影響到芯片的設計，以及最終的交付；

第三，數據多模態。在以5G驅動的萬物智聯場景下，芯片所接觸到的數據維度將由原來的單一化走向多元化，芯片所需處理的數據也由單模態變成多模態，這對芯片尤其是物聯網人工智能芯片的設計提出了新的挑戰。

云知聲多模態 AI 芯片技術布局

為實現多模態 AI芯片的戰略落地，目前云知聲已在加速技術布局，并在機器視覺方面取得飛速進展。

其中，面向機器視覺的輕量級圖像信號處理器已可實現在不依賴外部內存的情況下，在 30 fps的速率下實時對傳感器的圖片進行預處理，以進一步提高后續機器視覺處理模塊的處理速度和效果。

▲云知聲面向機器視覺的輕量級圖像信號處理器

借助基于人臉信息分析的多模態技術，已可實現人臉/物體識別、表情分析、標簽化、唇動狀態跟蹤等功能，可為產品交互和用戶體驗提供更多的可玩性和靈活性。

▲云知聲的人臉識別、表情分析、標簽化技術

▲多目標物體識別

▲多目標唇動狀態跟蹤

尤為值得一提的是，云知聲多模態人工智能核心 IP——DeepNet2.0 的發布，標志著云知聲人工智能處理核心由 1.0語音時代全面邁入 2.0 融合語音、圖像等處理能力的多模態時代。

DeepNet2.0可兼容 LSTM/CNN/RNN/TDNN等多種推理網絡，支持可重構計算與Winograd 處理。

根據云知聲公布的數據顯示，基于云知聲的DeepNet2.0，在LFW2018、MegaFace2018等人臉識別評測中，準確度分別達到了99.80%、99.47%，已接近現有的最優成績。

目前云知聲DeepNet2.0已在FPGA上得到驗證，將在2019年落地的全新多模態AI芯片海豚（Dolphin）上落地。

除此之外，在圖像與芯片技術的產學研合作方面，云知聲還與杜克大學所領導的美國自然科學基金旗下唯一人工智能計算中心——ASIC達成深度合作，致力于AI 芯片算法壓縮與量化技術,以及非馮新型 AI 芯片計算架構研究，將進一步為云知聲多模態 AI芯片戰略的推進夯實基礎。

三款在研芯片曝光，2019年啟動量產

在首款量產芯片雨燕已有大批客戶導入，占領市場先發優勢的背景下，云知聲在2019年AI芯片規劃方面顯得較為激進，計劃推出三款AI芯片，并計劃于2019年啟動量產。

一款是輕量級物聯網AI芯片雨燕Lite。支持麥克風矩陣、輕量級語音喚醒、輕量級語音識別。

一款是面向智慧城市的多模態AI芯片“海豚”。支持攝像頭，ISP、OD、Face ID，支持麥克風矩陣、語音喚醒、離線語音識別合成等。

還有一款面向智慧出行的多模態AI芯片“雪豹”。其中，后兩者都同時融合了語音AI和視覺AI的能力。

而根據云知聲在會上公布的資料顯示，多模態AI芯片“海豚”將采用28nm工藝,對標的是Mobileye EQ4。根據規劃，云知聲的“海豚”最高可配置算力達4Tops，達到了EQ4的1.6倍，功耗為4.3W，略高于EQ4。

另據李霄寒透露，面向智慧出行場景的多模態車規級AI芯片雪豹（Leopard）是與吉利集團旗下生態鏈企業億咖通科技共同打造的，這也意味著一旦這款芯片成功量產，后續或有機會在吉利集團的支持下實現快速落地商業化。

小結：

2017年年底百度率先宣布免費開放其語音AI能力，隨后科大訊飛的訊飛開放平臺也免費開放了基礎能力。這也使得語音AI市場競爭變得異常激烈。在此背景之下，不少語音AI初創公司紛紛寄希望于通過推出語音AI芯片來打造生態，從而實現價值的提升。

而對于云知聲來說，從語音技術服務提供商，進一步擴展語音AI芯片，再到視覺AI領域，顯然是希望能夠擺脫語音AI市場的激烈競爭，分食市場更為龐大的視覺AI市場蛋糕。

不過，相對于語音AI市場來說，視覺AI市場雖然更為廣闊，但是同樣也是競爭激烈，不僅有著商湯科技、曠視科技、依圖科技、云從科技等眾多的獨角獸，也有著海康、大華等老牌安防廠商，還有著一大批的中小型視覺AI初創企業，并且不少視覺AI廠商已經推出或正在積極的準備推出視覺AI芯片/模組。

另外，對于視覺AI最大的也是價值最高的一塊市場——安防市場，其壁壘相對較高，而且需要較長周期的持續耕耘，而這一塊市場也是大家爭奪的焦點。但是由于各地政府的政策、偏好及要求不同，也使得這塊市場呈現出割裂的態勢。所以，新的玩家依然存在機會。

不過，對于云知聲這樣一家過往長期專注于語音AI領域的技術廠商，突然進入到視覺AI領域，確實會給市場一種突兀感，要想在強敵林立的視覺AI市場取得成功確實不易。當然，視覺AI市場巨大，機會猶存，這也是為什么現有的視覺AI廠商的數量數倍于語音AI廠商的一個原因。