電子發(fā)燒友網報道（文/黃晶晶）9月6日，vivo正式發(fā)布自研ISP芯片V1。

vivo在影像技術上耕耘已久，確立了包括夜景，人像，運動防抖，變焦和視頻的影像賽道。在夜景場景上，vivo和合作伙伴一起開發(fā)了增強感光能力的全新CFA技術，應用于IMX598X CMOS上；與蔡司聯合研發(fā)的影像系統，在有限的空間內實現了超大光圈的光學設計，并首次將蔡司光學鏡頭和T型鍍膜在vivo手機上實現，大幅改善了夜景的眩光等，顯著提升夜景拍攝效果。此外，還有微云臺穩(wěn)定器，50mm焦段人像鏡頭，在防抖上不斷精進。
?
那么，在影像技術不斷提升的情況下，是算法重要還是硬件重要，這個答案主要通過三方面去解讀。分別是影像芯片、光學器件、軟件算法。

vivo重磅發(fā)布V1 ISP芯片

vivo影像算法總監(jiān)杜元甲認為，從消費者需求出發(fā)，人們對于復雜場景下的手機影像效果具有越來越多的期待，比如夜景場景不希望有噪點；對視頻拍攝的要求不斷提高，為了給用戶提供更大的創(chuàng)作空間，手機影像將面臨一次全新進化。手機記錄世界將從靜態(tài)發(fā)展到動態(tài)，幫助用戶多維表達，把更多的創(chuàng)造交給客戶。
?
以成像速度和實時性來說，在當前的手機算力下，拍照計算成像算法，處理一張照片需要半秒到1秒時間。以30幀視頻來看，每幀處理的算法時間不能超過33毫秒。這里有30倍的速度差異。60幀和12幀的視頻則要求更高。過去，手機用一秒鐘拍一幀的內容，現在要至少計算30幀的畫面。
?
能耗是目前影像功能面臨的另一個問題。運算密度的提升和功耗的下降是一對矛盾體。我們必須尋找大運算量，高速處理的方式。我們認為只有采用定制化芯片，與主芯片軟件算法協作，軟硬件結合才能釋放主芯片的功耗負載，大幅改善用戶的使用體驗。
?
vivo并非首次推出定制芯片，早在vivo X1\XPlay中就引入了定制的HIFI芯片，2017年將定制的DSP圖像芯片放入X9 PLUS中。
?
今天，vivo歷時24個月，投入300人研發(fā)團隊，與手機SOC廠商深度合作后，VI發(fā)布首顆自主研發(fā)的專業(yè)影像芯片V1。


?
VI是vivo主導開放的服務高速計算成像的專業(yè)影像芯片，是一顆全定制的特殊規(guī)格集成電路芯片。位于主芯片和顯示面板之間，可以搭配不同主芯片和顯示屏，與主芯片ISP之間采用高速雙向互聯，以極低延時進行數據交互。起到擴充ISP高速成像算力，釋放主芯片ISP負載的作用，同時服務用戶在預覽和錄像的需求。
?
區(qū)別于GPU與DSP，專業(yè)定制芯片在處理特定功能時具有高性能、低延時、低功耗的特點。在能效比上有指數級的提升。打個比方，假設CPU是綜合業(yè)務員，GPU和DSP根據業(yè)務類型讓一部分預約辦理，復雜業(yè)務還是交回給CPU。V1則是給所有人明確業(yè)務類型，分成小組和柜臺，同時處理。因此它既可以像CPU那樣高帶處理復雜運算，也可以像GPU和DSP那樣并行處理。
?
為了讓同期處理能力最大化，VIVO創(chuàng)新優(yōu)化了數據在內部的儲存架構，和高速讀寫電路。做到了等效32兆的超大全片上緩存。片上高速緩存雖然貴但可支撐的計算密度和數據量更大。目前旗艦級桌面電腦處理器的緩存是16到24兆。
?

?
比如夜景視頻的拍攝，通過V1進行降噪和插幀，可以用計算量大的算法模塊，即MEMC技術進行運動補償，在V1協助下主芯片在低光錄像時以低功耗運行全高清60幀的MEMC去噪和插幀，提升了夜景影像效果。并且配合主芯片的降噪功能，進行二次提亮二次降噪。
?


由此可以得到主芯片ISP與定制ISP V1的1+1大于2的效果。由于將軟件算法轉移至V1專用硬件電路中，在高速處理同等成像計算算法時，V1專用硬件電路的功耗降低50%。
?

器件方面的創(chuàng)新

成像系統與光學器件密不可分，每一個器件的能力共同影響成像效果，因此無論拍攝效果提升如何，依然無法完全解決眩光，鬼影，邊緣畫質差等問題，有待手機提升整個光學系統質量來改善。
?
光學器件總監(jiān)朱盼盼介紹，vivo選擇高規(guī)格的玻璃鏡片取代塑膠鏡片，實現超低色散、高透光率、熱穩(wěn)定強等特性。視場色差方面相比于上一線設計值降低約70%。阿貝數是衡量色彩能力的指標，數值越高色彩越純凈。vivo使用的玻璃鏡片阿貝數高達81.6，專業(yè)攝影機的阿貝數在80-90之間。
?

?
通過引入SWC鍍膜技術，在鏡頭表面抑制反射光，這是一項基于仿生學原理的技術，應用SWC鍍膜后反射率最低降至0.1%，顯著提升影像，改善眩光和鬼影。
?
ALD鍍膜原子層沉積工藝，通過特殊化學反應讓原子一層層沉積，形成每層約0.4納米的膜層，讓反射均值降至0.25%，幾乎無角度偏移，中心邊緣一致性更好，進一步有效改善鬼影問題。ALD技術是VIVO獨家，行業(yè)首發(fā)，并已成熟用于量產階段。
?
此外，對于花瓣鬼影，在濾光片和傳感器之間吸收紅光波長，VIVO采用色素旋涂工藝，它也是國內第一家運用色素旋涂工藝的廠家。

算法部分的提升——忠實還原人眼所見的自然色彩

vivo的色彩體系是基于對用戶色彩需求的理解，定位于鮮活、明快、有質感，同時專業(yè)創(chuàng)作者會更加忠實還原人眼所見的自然色彩。
?
vivo影像產品經理王兆豐表示，由于每個人對色彩的理解不盡相同，vivo選取色塊更豐富的140色卡進行精細化的標準定義，選取了80個實拍場景進行實景效果驗收。借助更精細的色彩調試算法支撐效果實現，經過粗調試和精細調整，最終使照片的色相準確度ΔE收斂了約15.5%，為業(yè)內領先，在較小的ΔE和仍然良好的飽和度中找到平衡。
?
vivo選擇以蔡司Biotar 58/2.0和Biotar75/1.5為代表的Biotar鏡頭，將旋轉焦外成像特點為人像拍攝賦予絕佳的“氛圍感”，配合vivo在人像領域的軟硬件加持，在手機上重現蔡司經典人像風格。
?
為了實現多維度影像體驗，vivo還加強了AI人臉增強算法、延時攝影功能、Log模式、超級夜景RAWHDR3.0算法、SuperRAW等。
?

?

手機攝影進入硬件級算法時代

回答最開始的問題，手機攝影是硬件還是算法決定未來？vivo認為影像技術研發(fā)，是系統性技術工程。就像人眼，每個人看到的畫面，都是通過眼球的感光細胞將信號傳輸給視神經，經視神經最終傳送到大腦視覺中心，經由大腦處理加工后的結果。手機也是如此，通過平臺、器件、算法等各方面的共同協作，決定最后的成像品質，算法與硬件，缺一不可。通過V1芯片，vivo認為引領手機影像行業(yè)下一個趨勢的將是“硬件級算法時代”。
?
?