最近華為mate60Pro的發售引爆了國內機圈，悄悄上線，無宣發無預告，不僅打懵了眾多消費者，還順便“奇襲”OPPO，奪走了絕大部分線上流量。很多長期蹲守的用戶在第一時間拿到手機，全方位測試后卻發現一個重要缺陷：盡管在芯片上華為實現了對美國芯片封鎖的突破，但很多用戶在測試攝像功能的時候遇到偏色、調光不正常、穩定性不佳等現象。當時很多用戶都猜測華為這次端上來的是一道“半成品菜”，還有很多功能并沒有開發完全。好在很快華為就在一次更新中修復了這一漏洞。修復后，華為Mate 60 Pro終于展現出了它應有的攝影能力，消費者也終于放心它的最終質量。

也有更多人提出疑問，拍攝不應該是看鏡頭或傳感器的質量嗎？為什么軟件的更新會影響如此多的功能？其實如果我們把國產手機依次拆開，你可能會發現，絕大多數廠商的圖像傳感器模塊都采用了索尼一家的產品。例如以挑戰卡片相機出名的小米12S Ultra就采用了索尼IMX989。OPPO剛剛推出的K11手機，它的圖像傳感器就采用了索尼IMX890，采用了該款傳感器的手機還有OPPO Find X6、OPPO 9 Pro+、realmeGT Neo5、一加11、一加Ace 2等。最近爆火的“爭氣機”華為Mate 60 Pro的主攝也同樣采用來自索尼的IMX766傳感器。

既然索尼已經“一統天下”，那為什么各廠商手機的攝影質量還是有很大不同？有些采用同樣傳感器的型號的手機拍出來的照片仍舊天差地別？這就不得不提到手機攝影的關鍵——計算攝影，以及站在鏡頭與傳感器身后默默工作的最大功臣ISP圖像處理芯片。

何為ISP？

過去的膠片時代，用相機拍攝一張照片很簡單。我們只需要在相機中放入膠卷，將鏡頭對準拍攝對象，然后調整焦距、光圈與快門速度到合適的程度，就可以按下快門，留下美好的瞬間。膠卷攝影時代相機可調節的參數并沒有今天那么多，看似流程簡單，是因為攝影師唯一能做的只有這么多，相機看到了什么，我們就只能記錄什么，但無法后期調整的特性讓攝影師在調整構圖、測光、更改參數的時候要花費比現在多得多的精力。

不過愛美的你我自然無法接受按下快門一切都將注定的結果。在數碼攝影時代，相機工程師對于光的掌握更進了一步。這其中最重要的變化就是承載光線的“基底”發生了變化——由膠卷上的感光物質的化學反應變為了傳感器對光線強度的收集。

相機傳感器也有很多種類，過去CCD（charge coupled device）相機與CMOS（Complementary Metal-Oxide-Semiconductor）傳感器都流行過一段時間，不過隨著技術進展，CMOS逐漸占了上風，目前我們能見到的民用相機基本都為CMOS，它目前通常也指代所有手機或相機的傳感器。當傳感器接收到從鏡頭與快門傳來的光信號后，它上面的每個像素點都會根據光線強弱感應出電信號，再通過接口將這些獨立的電信號傳遞給后方芯片，這時ISP芯片登場了。

ISP芯片即“Image Signal Processor”（圖像信號處理器），它誕生于美國登月探測時代。彼時NASA在月球探測中發現，月球車上的模擬相機拍攝的照片非常微弱且不清晰，根本看不清月球地貌。此后，基于當時的CCD傳感器技術，研究人員研發了對圖像信號處理的專用模塊，ISP信號處理器就誕生了。

可以看到，ISP主要任務就是處理攝像頭模塊傳來的圖像信號，相當于人類視覺系統中大腦中處理視覺信息的模塊。ISP芯片的應用不僅在相機與手機中，在依賴攝像頭的自動駕駛系統中也同樣有著重要作用。

ISP的功能有很多，最重要的就是實現高清畫面的高性能處理，包括拜耳變換（將數字信號轉為帶有RGB數值的圖片）、去馬賽克、降噪以及圖像銳化等功能，由于ISP芯片的功能較為固定，因此很多ISP芯片都采用專用標準產品（ASSP）甚至專用集成電路（ASIC）。芯片接收到信號后，就可以通過算法處理，最終輸出一個RGB空間域的清晰圖像。這個過程中，ISP芯片還可以將圖像質量實時反饋給鏡頭驅動模塊，來實現手機鏡頭的自動對焦、調整曝光以及設定白平衡等功能。

相對手機中的CPU與GPU等高算力芯片，ISP芯片所執行的任務很“輕”，因此在手機內部寸土寸金的地方，ISP模塊通常會被集成到SoC中。不過到了今天，包括蘋果和三星在內的幾乎所有手機廠商都會選擇獨立ISP芯片模塊，華為Mate 60 Pro則在麒麟9000S中自帶一塊完全自研的ISP模塊。

這也引出了當前ISP芯片要走的兩條道路，內部ISP與外部ISP。內部ISP被集成到SoC中，負責執行圖像傳感器執行信號處理功能。與外部圖像信號處理器相比，內部ISP提供的圖像質量和性能較低，但它們更便宜且更易于使用。外部ISP相當于一個獨立設備，專門設計用于執行圖像信號處理功能。它通常用于高端數碼相機和其他需要高圖像質量的成像設備。外部ISP可提供最佳的圖像質量和性能，但它們也是最昂貴且使用復雜的。

與非網自制

如果說手機鏡頭與圖像傳感器決定了攝影上限，那ISP芯片或模塊則是決定照片能否使用的下限。這里舉幾個例子。傳感器在不工作（無光）的時候，畫面是純黑色的，這時候的信號電平為0。不過受到暗電流影響，傳感器發出的信號并不總是維持在0電平狀態，這就會導致畫面中的黑色偏灰。ISP芯片則可以校正信號，過濾暗電流，讓黑色更“純粹”。

除了黑平衡外，對于綠色的平衡矯正也值得關注。2016年前后，小米手機拍照有一條令人詬病的缺點——祖傳綠。彼時小米手機拍照，無論在何種情況下總會散發隱隱的綠色。這種問題的根源其實在于傳感器的設計與電路上。當前CMOS上感光像素并不遵循RGB三色1:1，而是RGBG的形式，G綠色的像素點數量是其他顏色的兩倍。受到鏡頭色散影響，傳感器的邊緣區域接收到的RGB光強與中心并不相同。如果不通過ISP芯片進行調整或調整效果不佳，屏幕邊緣就會呈現偏綠或偏紫（綠的相反色）的顏色。受到“祖傳綠”的影響，很長一段時間內小米的品牌形象都被冠以“拍照差”的標簽。

此外，除了上文提到的重要作用外，ISP芯片還負責鏡頭陰影校正、壞點校正、伽馬校正等重要參數調整。任何一點除了問題都回導致拍照質量受到嚴重影響。因此對ISP芯片的調教已經成為手機廠商的必修課。

AI賦能ISP

近年來，計算攝影的快速普及，也對ISP芯片在新時代提出了全新要求。AI-ISP架構結合了兩者的優勢,給傳統ISP芯片加一個全新的AI大腦。小米集團高級副總裁曾學忠曾表示：AI賦能是芯片研發的重點之一,將在計算攝影領域用AI算法與硬件進行深入結合。

計算攝影，其實并不只是“智能美顏”這么簡單。基礎為攝影，但本質在“算”。打開手機相機專業模式，我們能發現除了快門速度、ISO、焦距等傳統參數調整外，通常還會找到諸如HDR、夜景模式、人像模式甚至多攝像頭融合模式等。

以HDR功能舉例。HDR（High Dynamic Range）即高動態范圍，使用該技術可以盡可能的保證畫面中不會出現過曝過暗的現象。它可以讓相機連續拍攝三次，按照高光部分拍攝，正常拍攝以及按照暗景部分拍攝，最后三張照片經過運算合成一張圖片，就可以保證盡可能多的細節不會丟失。不過這個合成過程對于ISP來說充滿挑戰。ISP芯片需要對齊輸入的LDR（Low Dynamic Range），再將多張圖片選擇合適的細節進行合成。

與AI結合的ISP芯片首先通過機器學習的方式，校正圖像的伽馬值到人眼感知的區域內；接著再選取圖片特征點或者進行光流匹配，使得多張圖片都能對齊；最后，AI算法會識別圖像中特定區域（往往是像素級別大小）的噪點量，評估該區域是否予以保留，最后生成一張HDR圖片。隨著AI技術的持續進展，如今的HDR甚至可以不需要連續拍攝三張圖片，僅需單張圖片就能生成。AI算法可以利用三維反卷積網絡，通過學習曝光增加或減少時，像素值的相對變化等，可在不引入自然噪聲的情況下實現調色與調光。

無論采用哪種AI技術，讓圖片更清晰永遠是第一要領。愛芯元智公司曾在網絡上分享、暗光條件下的AI技術應用：“在我們的pipeline中，只將其中重要的模塊進行AI化，將有限的算力集中于整個AI ISP中，最關鍵、人眼最可知的這些功能中，比如像HDR、去噪的3DNR、tone mapping，還有demosaic這樣的功能中進行AI化，以實現整個AI ISP的最佳效果。”在技術文章中，該公司表示已在ISP中增添NPU，和傳統其他芯片中的NPU并不完全一樣，除了強調計算單元之外，還有Pre-Process（預處理）、Post-Process（后處理）和一個更大的Shared Memory（共享內存），以及一些針對AI ISP的流式處理和CV的處理操作，可以使我們的算力在AI的圖像處理中能夠有更好的提升。

恩智浦也同樣在ISP中增加了機器學習加速器。恩智浦邊緣處理事業部技術總監、系統架構師和首席工程師Ben Eckermann在技術文章中表示：“采用為機器學習和視覺系統而優化的芯片架構，擁有強大的機器學習能力，配合高清攝像頭系統，能夠讓設備看得更清晰、更遠。”

除了上述對畫面的增強效果外，AI賦能下的ISP芯片讓攝像頭的應用范圍進一步擴大。不只是消費電子，越來越多的場景中都出現了攝像頭的身影，例如智能安防、自動駕駛、醫療影像、工業檢測等。不同應用領域對于圖像的處理需求也不盡相同。AI+ISP的組合，并不是簡單的1+1=2，AI賦予了ISP芯片對于不同領域的適應能力，在應對愈加復雜的圖形時，AI ISP還能依靠機器學習不斷“成長”，輕松超越傳統單ISP芯片的能力上限。

國產替代的先鋒

目前的國產手機廠商，尤其是華、米、O、V四家，對于自研ISP芯片情有獨鐘。2015年11月05日上午，華為正式發布了麒麟950，首次搭載了自研ISP模塊。自此之后，華為手機的攝影能力逐漸提升，P系列手機依靠強勁的拍攝能力在幾年之內就躋身第一梯隊。

其余三家盡管起步較晚，但也陸續推出了自研ISP芯片。2021年，小米推出首顆自研ISP芯片澎湃C1。該芯片是小米自2017年推出澎湃S1后，四年來的又一次自研芯片嘗試。澎湃S1是小米自研的第一顆SoC，但推出后反響平平，甚至“差”評不斷。而澎湃C1則選擇了ISP芯片作為切入點，推出則廣受好評，其接續者澎湃C2則助力小米12s ultra站在了安卓陣營攝影頂尖位置。2022年，OPPO哲庫團隊也推出過馬里亞納X芯片，盡管哲庫的故事劃上了句點，但仍讓搭載該芯片的OPPO手機在攝影領域不輸同行。VIVO則在2021年自研V1 ISP芯片作為自研芯片的起點。

所以，為什么華、米、O、V四家都默契的選擇了ISP芯片作為自研芯的起點呢？原因則是在ISP芯片本身的架構上。

一顆ISP芯片，其實就是一個SoC核心，內部包含CPU、SUP IP、IF 等單元，可以運行各種算法程序，實時處理圖像信號。盡管ISP芯片應用范圍與CPU、GPU相差較大，且設計難度有數量級的差別，但ISP仍舊是一顆完整的SoC，能幫助工程師完成全流程的SoC流片測試與軟件配套工作。因此，更加簡單成本更低的ISP芯片就成為各廠商自研的起點。此外，ISP芯片的應用場景較貼近用戶的日常使用范圍。畢竟日常使用很難用到一顆SoC的全部性能，但打開相機，按下快門的那一刻，用戶就能直觀的感知到芯片性能的強弱。

如今ISP芯片早已成為手機中及其重要的一部分，國產ISP芯片也早已脫胎消費電子領域，在更廣闊的工業與汽車領域大展身手。本次華為Mate 60 Pro發布后風光無限，所有人都將目光聚焦在CPU與GPU上，那顆自研的ISP模塊再一次成為了配角。

我們為華為自研芯片振奮的同時，ISP芯片完成國產替代帶給中國半導體行業的信心與自研SoC芯片的寶貴經驗更加彌足珍貴，簡單的一次更新讓華為影像系統覺醒，看似是驅動修復，背后是在重重阻礙下中國企業執著堅定的信念和無數工程師不夜的努力付出。

編輯：黃飛

?