最近，筆者與Ambarella的AIoT高級總監Jerome Gigot進行了交流，該公司專門為邊緣應用程序創建AI視覺處理器。自2004年成立以來，該公司一直專注于為視頻處理的各個方面提供解決方案（重點強調低功耗）。Ambarella最初從廣播和攝像機開始，大約在2010年，當A5S芯片被用于GoPro時，他們開始關注安防市場。2012年，該公司發布了S2，是第一個針對安全/監控攝像頭的4K芯片。

2015年，Ambarella收購了一家名為VisLab的計算機視覺公司，從那時起，他們開始專注于人工智能和計算機視覺。CVflow 1.0更多的是一個研發活動，并沒有真正進入市場。CVflow 2.0支持一套視覺處理芯片——CV2, CV5, CV22, CV25, CV28，是Ambarella的客戶目前在他們的安全攝像頭系統中使用的芯片。

現在，事情真正開始變得有趣起來，因為Ambarella在2021年收購了一家名為Oculii的人工智能雷達軟件公司。同時，他們著手開發第三代視覺處理體系結構：CVflow 3.0。

目前實現CVflow 3.0架構的有兩款芯片，都采用了三星5nm工藝。在今年年初的CES上宣布的第一款芯片CV3-AD是一款非常高端的設備，具有極高的人工智能性能，目標是汽車市場的L2+到L4級自動化。

第二款芯片，新的CV72S SoC，將在ISC West上公布。CV72S在尺寸和成本上展示了Ambarella最先進的技術，適合一般物聯網市場，特別是安全/監控市場。

但這與之前提到的收購Oculii又有什么關系呢？Oculii是做人工智能雷達軟件的，他們不制造傳感器，只做軟件。更具體地說，他們使用人工智能來聰明地控制雷達頭(傳感器)。如果使用英飛凌、恩智浦或德州儀器等公司現有的雷達頭，那么Oculii可以提高其分辨率、范圍和精度，同時使用更少的天線、實現更低的功耗。

所有這些使得CV72S能夠滿足當今最新和最大的安全/監視系統的需求，即更多的人工智能，更好的圖像質量(包括彩色夜視)，魚眼和多成像器(CV72S可以在硬件中對魚眼圖像進行反扭曲)，以及光學和雷達世界之間的傳感器融合。

?

在AI組件下，我們談論的不僅僅是更多的AI，而是更好的AI。當今安全/監控系統的開發人員總想要運行最新、最好的神經網絡，而這些網絡總是傾向于更大、要求更高的性能。開發人員還希望能夠檢測和識別更遠的東西，這意味著他們需要更高的神經網絡分辨率，也需要更高的性能。

在自然語言處理(NLP)方面，應用程序如ChatGPT已經變得非常有名。最近，人工智能專家們意識到，同樣的網絡也可以應用于視頻。這導致了一種被稱為視覺轉換器的新型網絡，其性能優于傳統的卷積神經網絡(CNN)。不幸的是，視覺轉換器需要專用硬件；幸運的是，這個新的硬件就是CV72S。

話雖如此，視覺轉換器的性能取決于它們所使用的數據，這將我們很好地引導到上圖右側的傳感器融合示例。正如你所看到的，要弄清楚我們在做什么有點困難，我們現在看到的是一座商業建筑和一個停車場。這張照片的下半部分是相機僅使用RGB視覺傳感器在夜間看到的景象。我們只能看到一輛白色的車。

這張圖片的頂部顯示了相機中雷達生成的點云。如果看一下這個雷達數據，我們可以看到頂部有三個紫色的斑點和一個淺藍色的斑點。這四個斑點是人。如果觀看直播視頻，我們可以看到他們在移動（手臂擺動，腿行走），其中的顏色編碼反映了移動的方向(紫色的人向左移動，而藍色的人向右移動)。

在視覺圖像和雷達圖像之間執行傳感器融合，可以提供更高級別的有用信息，這些信息對于建筑物保護和周界安全等非常重要，特別是當霧、雪和煙霧等環境條件降低了圖像的視覺位置的情況下。

實現傳感器融合的具體框圖如下所示：

筆者不打算詳細介紹這個圖，只想指出這個系統可以接受1到10個傳感器(相機)輸入，可以使用最新的LPDDR5外部存儲器，終極秘密濃縮在CVflow塊中（其中涉及令人難以置信的晶體管數量）。

筆者在家里安裝了安全攝像頭。攝像頭在白天提供的圖像是很棒的，但在晚上卻差強人意，而矛盾的是晚上正是我們希望攝像頭表現最好的時候。

下面左側的圖片是通過一個傳統的ISP引擎，這在市場上已經是最好的。當光照水平過低時，傳感器就會變得非常嘈雜。傳統技術無法恢復這種圖像，所以當黃昏降臨時，相機通常會切換到夜間模式，這導致圖像的灰度很難看。

AISP可以解決上述問題，顧名思義，AISP是傳統圖像信號處理(ISP)和高性能神經網絡AI處理的結合，可以降低噪聲和提高夜間圖像質量，同時還可以大幅降低比特率，如右圖所示。

最后，我們需要考慮開發人員如何將CV72S納入他們的安全/監控攝像頭設計。我們一般是用32位浮點數訓練AI網絡，但這樣的網絡并沒有針對邊緣設備進行優化，所以Ambarella提供了一個本質上的編譯器，采用32位浮點表示，并將其量化為CV72S能夠理解的8位定點等效語言。如果開發人員想進一步優化模型，可以使用Ambarella工具來裁剪網絡。有時可以裁剪50%，在保持99%精度的同時實現2X線性性能加速，這確實很酷。

審核編輯：劉清