電子發(fā)燒友網(wǎng)報(bào)道（文/梁浩斌）人形機(jī)器人的運(yùn)動能力，已經(jīng)進(jìn)入了“軍備競賽”階段，各家紛紛展出自家機(jī)器人的行走、跳舞，甚至空翻等能力，并不斷用新的動作刷新人們對于人形機(jī)器人的能力理解。

然而運(yùn)動能力歸運(yùn)動能力，人形機(jī)器人目前主要還是需要預(yù)設(shè)固定程序運(yùn)行，離真正要實(shí)現(xiàn)具身智能還很遠(yuǎn)。要實(shí)現(xiàn)具身智能，還需要AI、算力、感知的配合。最近速騰聚創(chuàng)、銳思智芯分別推出了創(chuàng)新形態(tài)的機(jī)器視覺傳感器。

速騰聚創(chuàng)AC1：姿態(tài)、深度、色彩信息三合一

今年年初的發(fā)布會上，速騰聚創(chuàng)發(fā)布了一個(gè)面向機(jī)器人視覺的全新傳感器解決方案Active Camera，這個(gè)方案包含傳感器硬件、運(yùn)算核心、AI算法等的智能生態(tài)。在3月28日，速騰聚創(chuàng)終于發(fā)布了Active Camera的首款產(chǎn)品AC1，以及AI-Ready生態(tài)。

在傳感器硬件上，AC1集成了IMU姿態(tài)傳感器、深度傳感器（固態(tài)激光雷達(dá)+CMOS）以及一個(gè)RGB相機(jī)，在單一模塊中提供深度信息、圖像色彩信息和運(yùn)動姿態(tài)信息，并實(shí)現(xiàn)硬件級融合，將三大信息的時(shí)間和空間進(jìn)行同步對齊。

AC1提供120°x60°超大融合視場角，較傳統(tǒng)3D相機(jī)高出70%；色彩FOV達(dá)到144°×78°；測距能力達(dá)到70米，是傳統(tǒng)3D相機(jī)的6倍；測距精度3cm@1σ測距精度穩(wěn)定不隨距離衰減，可精準(zhǔn)還原遠(yuǎn)近物體形狀大小，幫助機(jī)器人實(shí)現(xiàn)準(zhǔn)確的路徑規(guī)劃。

同時(shí)AC1避免了傳統(tǒng)3D相機(jī)存在的強(qiáng)光干擾問題，能夠在100KLux陽光下工作，克服強(qiáng)光干擾問題，適應(yīng)更豐富的場景。

面向機(jī)器人開發(fā)者用戶，速騰聚創(chuàng)打造了AI-Ready生態(tài)，通過AC Studio為Active Camera用戶提供包括驅(qū)動程序、數(shù)據(jù)標(biāo)定、數(shù)據(jù)融合在內(nèi)的開源工具包，以及SLAM、高階多模態(tài)感知等開源算法，支持用戶深度二次開發(fā)，并通過專用跨平臺軟件AC Viewer，提供最佳的數(shù)據(jù)融合、SLAM、目標(biāo)檢測等功能體驗(yàn)。

同時(shí)，AI-Ready生態(tài)將提供避障類目標(biāo)數(shù)據(jù)集、認(rèn)知識別類數(shù)據(jù)集，幫助開發(fā)者訓(xùn)練模型算法，快速完成場景功能化的二次開發(fā)，以及方案部署。

同時(shí)，WIKI以開發(fā)者文檔方式全面收錄Active Camera與AI-Ready生態(tài)的信息；數(shù)據(jù)集提供多種場景下的訓(xùn)練數(shù)據(jù)，將在后續(xù)逐步上線，供開發(fā)者免費(fèi)使用。AI-Ready生態(tài)幫助行業(yè)升級機(jī)器人項(xiàng)目流程，讓軟件快速迭代的開發(fā)模式驅(qū)動機(jī)器人產(chǎn)品化商業(yè)化落地。

AC1通過融合多傳感器，在硬件上實(shí)現(xiàn)了出廠的傳感器標(biāo)定，以及軟件上實(shí)現(xiàn)了數(shù)據(jù)融合和對齊，實(shí)際上這在技術(shù)上也有一定的難點(diǎn)。

此前我們在《激光雷達(dá)+攝像頭融合傳感器，有沒有搞頭？》一文里介紹了京瓷展示的世界上第一個(gè)實(shí)現(xiàn)光軸對齊的攝像頭+激光雷達(dá)融合傳感器，通過對齊兩種傳感器的光軸，實(shí)現(xiàn)激光雷達(dá)和攝像頭無視差的數(shù)據(jù)融合。

但在實(shí)際產(chǎn)品中，由于激光雷達(dá)通過發(fā)射激光束并接收反射回來的信號來測量距離，生成點(diǎn)云數(shù)據(jù)；而攝像頭則捕捉環(huán)境的二維圖像。這兩種傳感器的數(shù)據(jù)格式不同，坐標(biāo)系也不同，使得直接對齊它們的光軸變得極為復(fù)雜。

從速騰聚創(chuàng)對AC1的描述中，同樣是實(shí)現(xiàn)了固態(tài)激光雷達(dá)和相機(jī)數(shù)據(jù)的硬件級融合，這對于用戶來說是體驗(yàn)上的躍升，無需再通過后端處理將數(shù)據(jù)進(jìn)行融合，將大大提高開發(fā)效率。

同時(shí)，AC1也不僅適用于人形機(jī)器人，在無人機(jī)、倉儲機(jī)器人、清潔機(jī)器人、配送機(jī)器人等領(lǐng)域都有很大的應(yīng)用前景。

銳思智芯：全局曝光機(jī)器感知融合式圖像傳感器

銳思智芯在3月31日發(fā)布了全球首款將全局曝光圖像技術(shù)與EVS事件感知技術(shù)實(shí)現(xiàn)像素級融合的融合視覺傳感器——ALPIX-Pizol。

ALPIX-Pizol是一款1/4英寸、由1.3M GESP全局事件感知像素組成的視覺傳感器。這款傳感器的特殊之處在于，在單個(gè)圖像傳感器中集成了圖像、事件和融合三種工作模式，可以單獨(dú)進(jìn)行圖像和事件模式，也可以同時(shí)輸出圖像和事件數(shù)據(jù)，以及模式間的快速切換。

在全局曝光圖像傳感模式中，ALPIX-Pizol可以輸出1.3MP/120 fps圖像，全局曝光的方式也避免了卷簾曝光帶來的果凍效應(yīng)。

事件感知模式中，ALPIX-Pizol能夠在全分辨率下最高1000fps的事件信號，高效捕捉運(yùn)動信息，在暗光高速環(huán)境下，可輸出高時(shí)間分辨率無模糊事件流，輔助提升影像質(zhì)量。

而融合視覺模式中，支持同時(shí)輸出圖像和事件數(shù)據(jù)，也支持模式間快速切換，從而在各種光照環(huán)境下穩(wěn)定地為視覺AI提供高質(zhì)量圖像數(shù)據(jù)和高時(shí)間分辨率的變化/運(yùn)動數(shù)據(jù)。

同時(shí)針對AI視覺場景的低功耗需求，ALPIX-Pizol在三種模式中都提供低功耗的設(shè)置，比如低功耗事件感知模式中支持e.g. <1.5 mW @VGA 30 fps的感知，可以直接提取機(jī)器需要的特征數(shù)據(jù)，在傳感器側(cè)和處理器側(cè)均可極大降低功耗和算力需求。

由于支持不同的模式，在實(shí)際應(yīng)用中可以根據(jù)需求來快速切換模式，以減少數(shù)據(jù)冗余和算力消耗。比如在事件模式下，僅感知變化信息，單位時(shí)間生成的時(shí)間數(shù)據(jù)量僅為傳統(tǒng)圖像傳感器的10%-20%，大大降低算力、傳輸帶寬和存儲壓力，提高系統(tǒng)能效。

對于機(jī)器人應(yīng)用而言，可以在完成不同工作時(shí)采用不同的模式，比如需要抓取運(yùn)動物體時(shí)使用事件模式，在行走等需要避障的場景就需要開啟融合模式，修正因運(yùn)動造成的畫質(zhì)問題，實(shí)現(xiàn)復(fù)雜光照環(huán)境中的識別。

當(dāng)然除了機(jī)器人應(yīng)用，在手機(jī)和運(yùn)動相機(jī)等應(yīng)用中，ALPIX-Pizol可以提供影像增強(qiáng)能力，實(shí)現(xiàn)EVS AI-enhanced 圖像/視頻去模糊、視頻插幀、AI-ISP等功能，利用多模態(tài)數(shù)據(jù)輔助生成AI-Motion運(yùn)動感知應(yīng)用。

在工業(yè)視覺中，ALPIX-Pizol提供無畸變?nèi)制毓鈭D像 + 高時(shí)間分辨率的事件數(shù)據(jù)，支持低光、暗光場景高速產(chǎn)線檢測和快速3D掃描、建模等數(shù)據(jù)。

小結(jié)：

人形機(jī)器人要實(shí)現(xiàn)商業(yè)化，需要滿足通用場景，在各種復(fù)雜環(huán)境下的感知能力就十分關(guān)鍵。近期推出的這些創(chuàng)新的機(jī)器視覺傳感產(chǎn)品，代表了當(dāng)前市場需求的一些方向，以及傳感器行業(yè)在機(jī)器人應(yīng)用上的一些探索。但最終隨著人形機(jī)器人行業(yè)的迭代和發(fā)展，相信也將會繼續(xù)出現(xiàn)更多創(chuàng)新形態(tài)的傳感器產(chǎn)品。