從電子門鈴、網絡攝像頭，到手機、電腦、汽車，圖像傳感器已遍布我們生活中的各個角落，高清晰度、精細化的圖像已經成為了消費者的基本期望。

在這些邊緣設備中，攝像頭收集到的圖像需要先由圖像信號處理器 (ISP)實時處理后再呈現給用戶。然而，如何在高效處理海量數據的同時又確保圖像質量，對芯片制造商來說既是一個挑戰，也是一個機會。

一般來說，ISP 通常作為硬件組件來實現，但最近，以色列的一家初創公司Visionary.ai開發了一種基于AI技術的軟件ISP，據稱可以有效地解決圖像中的噪聲和靈活性挑戰。

其實，軟件定義圖像質量這一理念早在Google Pixel中就開始盛行，從Pixel 2到Pixel 6，谷歌保留了相同的相機和鏡頭硬件，但將改進重點放在圖像處理軟件上。那軟件ISP會成為圖像處理的新常態嗎？

了解圖像信號處理器（ISP）

首先讓我們來簡單了解下圖像信號處理器的工作原理。

圖像傳感器由數百萬像素組成的半導體矩形構成。這些像素小至1微米（1 x 10^-6m），并配備微小的彩色濾光片。在常見的“拜耳”濾光片陣列中，這些濾光片的顏色為紅、綠或藍。當光子落在半導體表面上時，其中一部分將與硅原子發生量子相互作用，產生電子空穴對，并因此產生雖然小但可測量的電荷，一般而言，電荷量與落在像素上的光強度成比例。

圖像信號處理器（ISP）從傳感器中獲取紅、綠、藍三色的原始數據，并對其進行如消除馬賽克效應、調整顏色、消除鏡頭失真等多項校正處理，并進行有效的數據壓縮。原始傳感器數據可能具有 12 到 24 位范圍內的位深度，而輸出通常是 8 位 RGB 信號。

目前，主流的ISP由幾家供應商提供的IP模塊組成，通過高度并行的計算方式，將算法以硬編碼的方式加入到硬件中，因此成品的靈活性有限。

圖像處理面臨兩大挑戰：噪聲和靈活性

圖像傳感器和ISP中的一個特定問題是噪聲，在許多情況下，這是系統設計的限制因素。

噪聲的根本原因在于圖像傳感器本身，當幾乎沒有光子被捕獲的低光照條件下此問題最為嚴重。當落在傳感器上的光子減少，其與硅原子的相互作用也隨之變少，當兩者不一致時，就會產生噪聲。為此，可以添加硅本身產生的熱噪聲——由此隨機產生電子空穴對，并可能被誤認為是光子。噪聲來自對極低電荷水平進行測量和數字化的過程。很明顯，噪聲會通過多種方式蔓延到系統中。

大家都不喜歡嘈雜的圖片，因為這扭曲了大腦對圖像的理解能力。同樣，在機器視覺系統中，噪聲會阻礙性能，使算法更難以可靠地檢測物體。因此，對于人類和機器視覺，如果存在噪聲，它將限制設備在弱光下運行的能力。此外，它還降低了系統處理高動態范圍圖片的能力（同一圖像中的極度明亮和黑暗）。

當然，在傳感器設計中有一些解決噪聲的方法，主要基于捕獲更多的光子來增加相對于噪聲的信號。例如，可以增大像素，但這要么需要更大、更昂貴的傳感器，要么需要降低圖像分辨率。當硅的表面積增加時，透鏡的尺寸也會改變，因此我們最終會得到一種不太堅固且更難封裝的器件。另一種方法是增加曝光時間，但這顯然會導致幀率降低并增加運動模糊的風險。此外，我們也可以選擇消除噪音，目前市場上的 ISP 采用幾種不同的信號處理算法，但性能均存在局限性，例如，一些電流降噪器使圖像平滑，因此丟失了圖像中特征的清晰度。

除了噪音性能不佳外，傳統ISP的另一個缺點是靈活性相對不足。將 ISP與傳感器相匹配的調優過程，可能需要數周甚至數月。這項調優任務會帶來巨大的成本壓力，并增加圖像系統工程項目的時間周期。

軟件ISP，提升圖像質量的關鍵

以色列初創公司 Visionary.ai 開發的這種基于AI的軟件ISP，其圖像信號處理器是以軟件形式實現，而且能夠比傳統算法檢測并消除更多的圖像噪聲。雖然許多計算機視覺研究人員正在開發更好的方法來檢測和識別圖像中的對象，但 Visionary.ai的創始人意識到，優化ISP是提升圖像質量的關鍵。一個高效的 ISP 能提供更高品質的圖像數據，從而增強如物體識別和圖像分割等AI任務的效能。

解決“垃圾進垃圾出”的問題已證明可提供更高的精度和改善機器視覺效果。至于智能手機或筆記本電腦視頻質量等“人類視覺”應用，Visionary.ai 的實時降噪器可以生成更清晰、更明亮的成像，并提供更準確的著色。

與其他降噪器不同，由 Visionary.ai 開發的 AI 降噪方法可實時消除噪聲，并能夠實現 19dB 的信噪比增強。但是，為了消除最大噪聲量，AI 需要從圖像傳感器訪問原始信號，然后才能被 ISP 修改和壓縮。Visionary.ai 通過創建軟件ISP完全取代傳統硬件 ISP 來應對這一挑戰（圖 1）。

圖 1：軟件ISP實時消除最大噪聲量

由于ISP和降噪功能采用軟件實現，這表示在硬件設計中必須配備適當的計算資源。

首先，降噪功能依賴于神經網絡。其性能需求會隨工作負載、視頻幀速率以及圖像分辨率發生變化。在降噪器的早期研發階段，團隊采用了Nvidia Jetson，這種計算平臺在性能方面有巨大優勢，能夠不受限制地進行實驗和研究。但從長遠考慮，他們的目標是開發一種既滿足硅片面積要求又在功率預算內的解決方案，以適合廣泛應用的技術和商業需求。

當談到AI，尤其是邊緣AI，人們常常會聯想到為多種推理任務設計的10、100甚至1000 TOPS的性能，但這顯然不適用于降噪應用。新思科技的ARC EV7x系列是一系列的異構嵌入式視覺處理器，它包括了可擴展的矢量DSP核心和神經網絡引擎。事實證明，Visionary.ai的降噪算法可以在新思科技 ARC EV72 處理器上非常有效地運行，同時，他們還計劃在 ARC VPX矢量DSP和ARC NPX神經處理單元的新版本上運行。

除了ISP算法和降噪功能外，系統還需要一個應用處理器來執行控制代碼。對于這種要求不高的工作負載，一個單核的32位處理器即可滿足需求，如新思科技 ARC HS系列（參見圖2）。

圖 2：AI降噪器和軟件ISP可以

使用傳感器的原始數據來優化性能

對于靈活性問題，軟件定義的ISP可以通過其噪聲和AI功能更快地進行調諧，并且還可以在其生命周期內更新以增強性能。當供應鏈中出現問題，或需使用不同的圖像傳感器模型時，基于新組件的系統重新設計變得更為簡便。

隨著調諧執行速度更快、成本更低，進行應用特定的調諧已變得可行。例如，針對特定農業應用中對綠色細節的精準捕獲，或醫療場景中更準確的紅色識別，都可以進行精細化的優化。

寫在最后

搭乘新思科技的ARC EV72 處理器的快船，Visionary.ai帶降噪器的軟件ISP已經正式面市，這為消費類電子產品和安全攝像頭的設計帶來了新的可能性。同時，他們也瞄準了汽車、無人機以及醫療行業等多個領域。

軟件定義汽車、軟件定義手機……軟件定義的原則正在整個科技領域傳播。雖然軟件圖像處理可能仍處于起步階段，但憑借其優勢和靈活性，并且隨著邊緣人工智能和人工智能成像的發展，軟件ISP正在獲得越來多廠商的關注。

編輯：黃飛

?