電子發燒友網報道（文/吳子鵬）照度(Lux)是判斷光照場景的主要指標，人眼能感受色彩低照度的極限為1Lux，市場上夜視相機的極限光照度基本在0.01Lux。不過，隨著智能化設備的普及，一些設備開始要求能夠在0.0005Lux，甚至是0.0001Lux這樣的超低照度場景下精準地捕捉信息。這樣的應用有很多，比如無人機航拍、森林防火、曠野安防，以及我們今天要重點談論的自動駕駛場景，等等。

超低照度的應用場景加重了ISP工作的負擔，甚至是已經超出了傳統ISP的性能范圍，這便是AI ISP誕生的背景，安霸（Ambarella）則是將自己的AI圖像信號處理器稱為AISP。安霸針對AISP技術有哪些創新的解決方案，安霸半導體圖像算法總監路遙接下來給大家帶來獨到的見解。

高度靈活的可編程流水線設計

ISP的主要作用是負責接收感光元件（Sensor）的原始信號數據，然后對這些數據進行線性糾正、噪聲去除、壞點去除、內插、白平衡等后期處理，因此能夠很好地還原現場細節，提升成像質量。

在ISP中，整個pipeline有不同的模塊負責不同的功能。AI ISP的理念則是通過神經網絡來實現ISP的部分功能或者全部功能。因此不難看出，AI ISP對ISP整個工作流程進行了全面的革新，也能成為AI ISP產品的創新點。

作為專注 AI 視覺感知的半導體公司，安霸一直是傳統ISP技術的領先者，在傳統ISP的設計與迭代中，安霸積累了大量的原始數據，包括了圖像處理的困難場景和容易出錯的極端情況等。“得益于這個龐大且完整的數據集，我們完整地訓練了安霸的AISP，使之可以適應各種使用場景。另外，我們計劃提供云端的訓練模型，讓我們的客戶可以重新訓練AISP。”路遙在接受電子發燒友網采訪時講到。

當然，雖然都叫AI ISP算法，不過各廠商之間的實現方式還是有明顯的區別的。安霸也是有自己的IP 的ISP流水線，這個流水線具有高度可編程特性，并且以其優異畫質和高度靈活的特性而著稱。

我們都知道，讓AI ISP能夠發揮作用的重要部件是NPU，這個元件在ISP芯片內部幫助進行AI分析。在安霸的AISP方案里，無論是單芯片還是集成到安霸SoC，均有AI 硬件加速引擎CVflow（安霸的NPU）和算法協同工作，以極低功耗提供了強大的前端設備的AI算力，給AISP提供了堅實的算力基礎。

AI算法和NPU的結合，便是AI ISP發揮威力的核心環節。路遙指出：“通過安霸自有IP 的ISP流水線和AI 硬件加速引擎CVflow的協同，安霸的AISP極大提升了暗光畫質，遠遠超過傳統的ISP畫質，將暗光全彩產品的標準提升到了一個新的高度。使用這種設計，我們可以靈活地控制AISP的融合輸出，以滿足客戶的各種需求。”

在硬件設計上，根據電子發燒友網的了解，安霸芯片針對邊緣端SoC精心設計了硬件架構，以確保在不犧牲性能的前提下，盡可能降低功耗和芯片面積，并且安霸一直追求最先進的芯片制程，而采用先進的制程技術可以提高性能，減小芯片面積，并在一定程度上降低功耗。在芯片內部，圖像處理和AI算法的實現經過高度優化，以在保持高性能的同時降低功耗和芯片面積。

AISP為自動駕駛賦能

ISP是攝像頭和各類應用之間的橋梁，而我們都知道，攝像頭是目前實現智能駕駛，未來實現自動駕駛不可或缺的一類傳感器。在車輛行駛的過程中，光照條件千變萬化，像進出隧道、地庫，以及曠野夜晚駕駛等場景，亮暗比例遠遠超過目前絕大部分攝像頭單次曝光可以覆蓋的動態范圍，也存在很多超低照度的場景，如何讓汽車在各種光照條件下看得見、看得清、看得遠，是產業共同努力的方向。

從部署來看，在車用場景里，ISP和AI ISP并不是非此即彼的，而是要基于場景和成本進行綜合考慮，但引入AI ISP無疑會讓智能駕駛的汽車更安全。在安霸看來，消費類和車規級應用有明顯的不同：
消費級應用更關注AISP的低功耗設計，以確保系統的高效運行并最小化對電池的需求。
而在汽車領域，則對于硬件的穩定性和可靠性有著極高的要求。因為汽車在各種極端環境和條件下運行，需要能夠穩定可靠地處理圖像數據，確保車輛的安全性能。車規級應用對于實時性的要求更加苛刻。例如，車輛的感知系統需要及時準確地處理圖像數據，以支持車輛的實時決策和操作。最重要的是，安霸的AISP將傳統圖像處理與AI處理實時融合，防止AI產生虛假感知，避免后端算法產生不準確的分析和決策，這對于確保安全性至關重要。

針對車端應用，電子發燒友網記者專門和路遙請教了兩個典型場景的AISP應用，其一是超低照度這一使用場景，其二是CMS這一方案場景。

-超低照度場景

就像我們上述提到的，在地庫和夜晚，汽車必然會遇到低照度，甚至是超低照度的駕駛場景，這是非常考驗攝像頭系統捕捉信息的能力的。針對這些場景，很多車輛已經開始配備一種殺手锏級的硬件——黑光全彩攝像頭。

路遙表示：“夜間低光場景一直是傳統ISP的痛點，也給后端的AI視覺算法帶來了巨大的麻煩。安霸的AISP極大地提升了低光圖像的信噪比，使得圖像細節清晰，物體的邊緣和紋理更加銳利，不受到噪聲的干擾。同樣的，AISP產生的高信噪比的圖像使顏色的還原更為準確，不受到噪聲引起的顏色偏移的影響，讓真正的全彩夜視可以服務于人類視覺和機器視覺。”

-CMS方案設計

2023年7月1日，國內允許乘用車使用CMS的法規－國家標準GB15084-2022《機動車輛間接視野裝置性能和安裝要求》正式開始實施，產業正式進入落地元年。

路遙認為，CMS是一個典型的AISP服務于人類視覺的使用案例。安霸的AISP可以靈活的自適應場景，針對不同工況輸出AISP的融合圖像，讓用戶可以觀察到周圍環境的真實還原，在雨雪大霧或是黑夜中，AISP的輸出質量更是遠超物理鏡，從而保障用戶的安全行駛。

“安霸的AISP是基于自己的車規級SoC和成熟的SDK而設計，我們的硬件和軟件架構設計涵蓋了安全性，包括硬件防護措施，如硬件監測和錯誤糾正，以及軟件層面的安全設計，如安全啟動過程和安全通信協議，并具備對可能的故障進行適當的處理和恢復機制。”路遙在溝通中提到。

在產品方面他說到，安霸的傳統ISP提供了讓客戶信服的優異圖像質量，成熟的軟硬件設計更是可以幫助客戶快速量產，所以安霸的方案在CMS供應商中已經占據了主導位置， 有兩款配置CMS的車型已經量產并又獲得多款主機廠車型的定點。而AISP，是安霸對傳統ISP的一次重要升級，從而進一步拉大了與競爭對手的領先優勢。隨著CMS國標的發布，標志著中國對CMS這個新生事物的認可與推廣，安霸會繼續在CMS的產業升級和技術創新中推陳出新，用最新一代的AISP去將CMS的畫質推到更高的高度。

結語

AI ISP的出現，解決了現實需求中的設備如何在復雜光照中看得見、看得清、看得遠的痛點，安霸通過高度可編程的流水線設計，配合AI 硬件加速引擎CVflow，讓安霸AISP擁有領先行業的性能。

在汽車智能駕駛領域，安霸AISP這種性能領先優勢更是格外被看重，已經開始規模性落地。“感知模塊是智駕的眼睛，只有擁有最佳的視力，才能在各種挑戰性工況下給智駕算法提供優質的感知信息，輔助智駕做出最佳決策。優秀的ISP就是感知模塊的核心組件，而AISP更是可以將感知模塊的能力提升到極致，所以說在AISP的處理下，感知模塊可以遠超人類視覺，從而使智駕算法更加強大。未來，安霸將持續提供更高算力的算力平臺，而AISP的性能和能力也會持續進化，我們會通過AISP來幫助解決目前視覺感知中的一系列痛點，從而幫助感知算法走向新的高度。”路遙最后說。