近月來，中國手機與蘋果的“諸神之戰”讓大家在OPPO的“馬里亞納”、華為的“原色雙影像單元”、小米x徠卡聯合研發、蘋果的“靈動島”和“4800萬像素廣角鏡頭+1200 萬像素超廣角以及長焦鏡頭”的信息焦慮中眼花繚亂。

原本或許是為了對沖手機系統和APP設計無力感而誕生的拍照功能，現今卻成為了眾手機廠家除背部設計外為數不多可“卷”的地方，自拍、全景、夜景、小視頻等旺盛的需求讓這一技術的江湖地位迅速變化，比翻書還快。 ? 對圈內人士而言，這一波變化帶來的后攝、雙攝、多攝、暗光、防抖、廣角、長焦、變焦，也再次將CMOS傳感器等圖像市場炒熱。 ? 對于獨立數碼相機，鏡頭/CMOS傳感器畫幅越大，效果就會越好越專業。但由于手機面積小等局限性，手機攝影與成像對攝像頭的依賴性極低，對圖像處理技術的依賴性極高，使得手機攝影更充滿邏輯上的科技與狠活兒（褒義），背后的功臣按貢獻來算，ISP（圖像信號處理）確實為CMOS加上了諸多化腐朽為神奇的“?？怂箍萍肌埃ㄒ廊皇前x）。 ? ?

CMOS圖像傳感器的功能簡而言之就是把光信息轉換成電信號，最后變成一幅人眼可以識別的圖像。ISP會再對圖像做處理，使其更符合人眼所看到的世界的樣子。

CMOS和ISP是緊密合作的關系，一個粗加工，一個精加工，一個前置攝像頭拍照，一個十級美顏加濾鏡。

CMOS圖像傳感器相比它的前任CCD圖像傳感器可以復用更多的通用半導體制造設備，因此生產成本更低。事實上，在將光轉換為光信號的過程中，CMOS相較CCD也抑制了更多電噪聲。但在有限的物理條件和攝像頭規格面前，僅靠吸收光信號的簡單轉化只能是巧婦難為少米之炊。真正獻上神級換頭術的，還是ISP。

底層邏輯

掃盲專區

傳感器產生的電壓波形信號幅度和空間特性都與其所感知的光照有關。為了產生一副數字圖像，需要把連續的感知數據轉換為數字形式，該過程被稱為圖像采樣和量化。

所以圖像處理的基礎就是采樣（拍攝）、量化（利用RGB或者YUV把像素編碼）再將數字放進想要效果的函數模型中進行調試。 ? 底層邏輯搭好了我們再輸入專業術語。

一張圖讓你知道ISP做了多少事

哪些因素讓ISP技術越來越受依賴？

1

核心訴求

由于鏡頭和傳感器的物理缺陷以及拍攝環境的多樣性，傳感器輸出的原始數據和人類預期的圖像有巨大差異，因此ISP就起到了相當重要的作用。

2

行業訴求

公安需要監控設備提升夜視能力，延長監控有效時間，以獲取更多取證信息，提升破案率；

智慧城市需要實時收集和保存高清視頻數據，以供城市大腦進行全局分析，利用可靠數據優化調整公共資源；

自動駕駛：前視ADAS需要ISP快速分析遠近物體，鏡頭聚焦在遠距離范圍內，需要較高的系統靈敏度；后視和環視則需要ISP應用畸變矯正算法和多圖像拼合。

一些ISP技術老生常談

但常談常新的技術難點：

1

HDR高動態圖像融合

動態范圍指的是圖像亮度最大值與最小值的比例范圍，范圍越大圖像顯示的場景細節越多，視覺效果越逼真，越能全面展現自然場景的動態范圍細節。 具體步驟：采用多張不同曝光度的普通圖像來計算實際場景亮度，再用Tone-Mapping壓縮合成HDR影像。 ? 形象化地說，就好像上帝手上一杯陽光（過曝照片）、一杯憂郁（曝光不足）、一杯穩重（曝光正常），想造什么性格的人全由比例調配，但是鑒于性格因素的多元化，每樣都要來一點才不會走極端。

上帝造人容易，HDR卻有如何標定相應曲線、高動態范圍圖像存儲、tone-mapping壓縮顯示算法、RGB三個獨立通道數據量大難合成、迭代算法輸出圖片質量缺乏穩定性等問題。 ?

2

圖像邊緣增強

? 灰度是指亮度的明暗程度。圖像邊緣是圖像中灰度值不連續處的合集，邊緣像素點蘊含更為豐富的圖像信息，邊緣識別也就將圖片信息從“二進制數字識別”向“編程語言的語義識別”邁進。 ? 找出哪些像素點是邊緣的方式非常簡單： 將一張黑白照片翻轉顏色成為一張新的照片后，兩張照片小距離錯動得到鑲邊信息并突出其顯示效果，邊緣增強即完成。也就是掩膜技術。 ? 由于夜間光照不足、大霧、沙塵等影響，捕獲圖像中突發事件如相機運動、或是場景中目標運動等，都會使采集的圖像或是圖像序列遭受損失，存在成像模糊、噪聲污染及曝光不均等問題，圖像增強顯得尤為重要。

圖像的邊緣即明暗程度明顯的像素點規則分布排列出一道線，在進行圖像灰度分析中呈現明顯的直角階梯感，稱為階躍邊緣。與之相較的模糊、噪聲污染、曝光不均的模糊邊緣，像素明暗的交替會在有限距離內發生，呈現出坡度感，故稱為斜坡邊緣。

對于邊緣區域，根據梯度方向及當前點在斜坡邊緣的位置，采用邊緣方向均值、邊緣梯度方向的高灰度均值和低灰度均值來代替當前像素灰度值，從而縮短斜坡邊緣的寬度來增強圖像邊緣。

3

對比度增強

在獲取圖像質量不高的情況下，通過后期調整灰度值、銳化等來改善圖像視覺效果，使其更適用于人或機器分析處理，突出有意義的信息，提升圖像使用價值。

常用方法有線性變換、直方圖歸一化、伽馬變換、全局直方圖均衡化、限制對比度的自適應直方圖均衡化等。

直方圖歸一化前&后

直方圖均衡化

自適應增強

4

?2d/3d降噪（DNR）

知乎中給到的“比較簡單的”解釋說：一個算法如果只利用同幀圖像信息，稱為2D降噪; 利用前后幀信息稱為3D降噪。

再簡單些：

降圖片的噪是2D降噪（空域降噪Spatial），降視頻的噪是3D降噪（時域降噪Temporal），視頻播放鍵暫停的每一幀都會布滿噪聲，時長越久需要處理的噪聲就越多。3D降噪主要是在時間軸上利用概率找到隨機噪聲幅值的相關性并進行排序，在運動序列中找到每個像素點的位置，從而得到一張干凈的圖像。

要導出一張像素排列有序的圖像，就需要不斷精進的運動估計和運動補償技術，噪聲建模（將噪聲幅值建立對應概率密度函數分布模型）、塊匹配（找到關系相近的像素塊來捕捉運動軌跡）、光流（同時捕捉物體移動和攝像頭的移動）等方法缺一不可。

5

幾何畸變矯正

消除由攝像機導致的數字圖像的幾何畸變，使其更符合人眼視覺下的呈現方式。類似素描的時候平面作畫畫得有三維立體感和數學里的立體幾何計算。

這部分也是在2d圖像下好解決，一遇上3d，難度系數就指數級上升。典型應用場景之一也是另外一個圖形技術大卷之地——光線追蹤技術。

光線追蹤技術是一種通過透徹了解光線在物理世界傳播、反射、折射等的變化原理，再通過計算機模擬光線，力求做到在PC端和移動端的手機應用中，模擬場景變化效果也能像人類視覺在現實世界中觀察到的變化效果相近。目前，英偉達、AMD、英特爾已經支持硬件層面的相關技術，移動端Imagination、三星、Arm也紛紛入局。

現實世界中，人眼接收到的光線一部分是直接光源的照射，另一部分是其他物體表面的反射。穩定光源的光線好模擬，物體表面反射光源的路徑可能千千萬且十分“光怪陸離”。在模擬世界實現光線追蹤便需要反復推演預設場景，在模擬坐標中重現視覺感，將空間點發出的光抽象為光線，通過修正光線的傳播路徑在虛擬世界中逼真還原，以求沉浸式的游戲體驗。

以上繁多的圖片處理需求還只是在ISP眾多“基本功”里窺得一隅，實操作中還需要戴著“低功耗”和“低帶寬占用率”的腳鐐跳舞，在不占用公共資源的前提下為其他硬件的性能上升留出空間。

設計出符合技術和行業需求的ISP

需要哪些基操和絕技？

1

ISP和NPU全自研，競爭力說話，做熟不做生

公版IP的通用性和靈活性差不言而喻。安防、車載、AR/VR的彎道超車式發展讓每個賽道都存在不斷更新的細分需求，自研技術在自適性、按需靈活定制創新功能、縮短開發周期、溝通便利上都更符合客戶和行業的發展需求。

銳化、降噪、色彩矯正、邊緣增強等很多功能的實現，抑制與增強需求夾雜其中彼此矛盾。還原度、信噪比、噪聲平穩性的客觀標準與顏色風格的主觀標準參雜其中。自研芯片的持續迭代可以保證達到平衡。

2

對多種類型客戶需求的充分了解，

默契是時間與堅守品質的必然產物

傳統ISP在HDR和降噪模塊上仍有非常大的改進空間。一個ISP與多種自研算法相結合，靈活滿足不同客戶不同場景的需求。

以HDR和降噪算法為例，酷芯研發團隊經歷過從DSP到ASIC再到更為細化的改進迭代、直到最終固化，多種特定算法之間的相互組合與迭代，以及不同ISP調試風格參數調整，到最后與tuning相結合，都需要有認可的系統廠商內部支持和一定采購量為立足點，將不斷提升的產品系統需求分解為芯片迭代方案。是一種相互賦能和成就。

以安防監控為例，公安需要存儲和核查證據，需采用一路高碼率的碼流用于本地高清存儲，視頻中的大噪聲分碼率網絡設備無法承擔，就碼率的平穩性需求和ISP的需求都有別于其他行業。

3

非常需求，獨有方法

當芯片面臨能效比、低帶寬占用率的硬性需求和火警、測溫等特殊偵察需求時，傳統ISP成像將無法滿足，酷芯憑借多年累積，巧妙地將熱成像技術與高ISP成像質量相結合，在紅外圖像基礎上做降噪、銳度增強等處理，用特有雙光方案滿足夜間/低光照視覺監測需求。

所以，你以為ISP技術的優劣是研發實力問題，但真實情況是，在芯片行業發生的一切，更多是一場技術迭代+多元場景和需求的落地實操+客情關系+供應鏈管理等時與勢的把握，每一個都互為因果，每一種都權重相當。

就像呈現出一張最終效果令人滿意的照片，每個像素的表達都必不可少，也是借由ISP技術的升級（背后是圖像處理技術中算法的不斷創新+參數的反復調試）才能讓每個像素點都充分表達自我，完成本職工作。 ?

編輯

?