支持高速邊緣人工智能（AI）處理，構建鏈接云服務的最佳視覺系統

據麥姆斯咨詢報道，近日，索尼（Sony）公司宣布即將發布兩款智能視覺傳感器：IMX500和IMX501，這是全球首款配備人工智能（AI）處理功能的CMOS圖像傳感器。該CMOS圖像傳感器自身集成AI處理功能，可以實現高速邊緣AI處理和提取必要的應用數據。當使用云服務時，利用該傳感器構建的視覺系統可減少數據傳輸延遲，解決隱私問題并降低功耗和通信成本。

索尼智能視覺傳感器為廣大應用開發者提供了研發配備AI功能的攝像頭的機會，通過高速數據處理可實時跟蹤目標對象，應用領域包括智慧零售、智能安防、智能交通及智慧工業等，并且有助于構建鏈接云服務的最佳視覺系統。

智能視覺傳感器（左：IMX500；右：IMX501）

物聯網的普及導致各種各樣的設備都將連接到“云”，并且從這些設備獲取的信息可通過云AI處理，這使得云信息處理系統的使用變得司空見慣。但是，在云中處理的信息量不斷增加，帶來了各種問題：數據傳輸延遲增加，阻礙了實時信息處理；將個人身份數據存儲在云中，造成用戶安全問題；云服務帶來的其它問題，如電力消耗和通信成本的增加……

索尼智能視覺傳感器由像素陣列芯片（感光功能）和邏輯電路芯片（包括計算和存儲功能）進行3D堆疊而成，是全球第一款在邏輯電路芯片上集成AI圖像分析和處理功能的CMOS圖像傳感器。其中，像素陣列芯片獲取的信號利用傳感器中的AI處理，無需高性能處理器或外部存儲器，從而使邊緣AI系統得以發展。該傳感器輸出元數據（屬于圖像數據的語義信息）而不是圖像信息，從而減少數據量并解決隱私問題。此外，邊緣AI可以為通用應用提供多種功能，例如具有高速AI處理的實時對象跟蹤，也可以根據用戶需求或系統使用位置等條件，通過重寫內部存儲器來選擇不同的AI模型。

像素陣列芯片采用背照式（BSI）工藝，有效像素約為1230萬，可在寬視角下捕捉圖像信息。除了傳統的CMOS圖像傳感器運算電路外，該邏輯電路芯片還集成了索尼專用于AI信號處理的數字信號處理器（DSP），以及用于AI模型的存儲器。這種配置消除了對高性能處理器或外部存儲器的需求，使其成為邊緣AI系統的理想選擇。

像素陣列芯片獲取的信號先通過ISP（圖像信號處理器）處理，然后在邏輯電路芯片上進行AI處理，提取的信息作為元數據輸出，從而減少處理的數據量。另外，確保不輸出圖像信息有助于降低安全風險并解決隱私問題。除了傳統CMOS圖像傳感器記錄的圖像信息外，用戶還可以根據自己的需求和用途選擇數據輸出格式，包括ISP格式輸出圖像（YUV/RGB）和ROI（感興趣區域）特定區域提取圖像。

當使用傳統CMOS圖像傳感器拍攝視頻時，必須為每個單獨的輸出圖像幀發送數據以進行AI處理，從而導致數據傳輸量增加，并且難以提供實時處理。索尼智能視覺傳感器在邏輯電路芯片上執行ISP處理和高速AI處理（MobileNet V1的處理時間為3.1毫秒），從而在單個視頻幀中完成整個過程。這種設計使得“在錄制視頻的同時提供高精度、實時的目標跟蹤功能”成為可能。

用戶能夠將自己選擇的AI模型寫入嵌入式存儲器中，并可根據用戶要求或系統使用位置等條件對其進行重寫和更新。例如，當在零售商場安裝集成智能視覺傳感器的多個攝像頭時，應用可以橫跨不同的時間、地點（環境）或目的。當安裝在商場入口時，它可以用來統計訪客數量；當安裝在商店貨架上時，它可以用來檢測庫存短缺情況；當安裝在商場天花板上時，它可以用于繪制商店訪客熱圖（檢測客戶聚集的位置）等。同時，用戶可以隨時改寫這些攝像頭中的AI模型，比如從“用于檢測熱圖的模型”改成“用于識別消費者行為的模型”。

索尼智能視覺傳感器關鍵指標：