在自動駕駛、具身智能等智慧物流高速動態場景中，視覺感知的“反應速度”直接決定技術落地的安全性與可靠性。近日，西井科技與同濟大學長聘教授、上海創智學院全時導師陳廣研究團隊，聯合研究成果成功登上國際頂級學術期刊《Nature Communications》：建立了一套全新的、面向真實世界部署的時延感知評估框架STARE并提出了有效的模型優化策略。

2026年3月16日，《Nature Communications》發表了題為《Bridging the latency gap with a continuous stream evaluation framework in event-driven perception》的研究論文，旨在研究現有視覺評估體系在實時應用中的時延缺陷問題，引入基于事件流式感知的STARE框架，聚焦一個關鍵卻長期未被充分關注的原則：事件相機連續感測、模型計算與現實任務需求之間的時間一致性，系統性地彌合事件相機（Event Camera）在理論速度和實際應用之間的時延鴻溝，為開發真正低延遲、高可靠的實時事件視覺系統奠定了基礎。

圖：西井科技與同濟大學科研合作成果登刊《Nature Communications》

事件相機（Event Camera）是一種新型的生物啟發式視覺傳感器，與傳統的基于幀的相機（如RGB相機）不同，其設計靈感源于生物視覺系統對動態環境的連續、自適應感知機制。

在自動駕駛、倉儲搬運機器等需要快速反應的場景中，傳統相機通常以固定幀率捕捉圖像，這種離散的采樣方式天然存在時間上的不連續性。例如，對于一輛高速行駛中的無人駕駛車而言，如果純采用傳統幀相機進行感知，這種離散采樣帶來的時間不連續性可能會直接導致系統的預測結果滯后，可能會直接導致系統的預測結果滯后，使其在面對突然闖入的障礙物等瞬態變化時難以做出及時的響應，因此在實際生產場景下，業界會更多采用多傳感器融合的方式，來實現高冗余、高精度的實時定位與環境感知。

相比之下，事件相機（Event Camera）作為一種神經形態傳感器，能夠以微秒分辨率異步編碼像素級亮度變化，輸出連續事件流。這一特性突破了傳統 RGB 相機離散幀處理的局限，為自動駕駛與機器人領域的實時感知賦予了天然的優勢。

然而，現有視覺評估體系仍沿用RGB成像的幀處理范式，將連續的事件流強制轉換為固定頻率的事件幀進行處理。這種評估范式往往假設計算是瞬時完成的，從而忽略了“感知時延”（Perception Latency）——即從事件發生到下游應用接收到模型對應輸出結果之間的時間差。這一被忽視的時延問題，正成為制約真實世界實時應用性能的關鍵瓶頸。

針對這一痛點，研究團隊提出了STream-based lAtency-awaRe Evaluation（以下簡稱STARE）框架。該框架通過兩大核心機制重構了現有的評估體系：一是連續采樣（Continuous Sampling），最大化模型吞吐量，調度模型在前一推理周期結束后立即處理最新事件；二是時延感知評估（Latency-Aware Evaluation），首次將時延直接納入精度度量，量化了因輸出滯后導致的在線感知精度損失。

圖：STARE時延感知評估框架

為了驗證STARE框架的有效性，研究團隊構建了包含500Hz高精度標注的高動態目標跟蹤數據集ESOT500。實驗數據顯示，感知時延可導致在線精度下降超過50%，深刻揭示了傳統評估方法與真實世界部署性能之間存在的巨大鴻溝。

圖：高動態目標跟蹤數據集ESOT500

基于這一洞察，研究團隊進一步提出了兩種模型增強策略，為實時感知系統的工程化落地提供了可行路徑：

異步跟蹤（Asynchronous Tracking）：采用“快-慢”雙架構，利用輕量級的殘差模型對重型基礎模型進行高頻修正，顯著提升模型吞吐量。

上下文感知采樣（Context-Aware Sampling）：根據目標周圍的事件密度動態調整模型的輸入與激活狀態，在事件稀疏等極具挑戰性的場景中依然保持了高度穩健的感知性能。

實驗結果表明，異步跟蹤將模型吞吐量提升了78%，時延感知精度提升高達60%；而上下文感知采樣則在復雜稀疏工況下實現了超過51%的性能增益。

圖：在STARE框架下對模型增強策略的定量評估

展望未來，STARE框架還為探索神經形態視覺更廣泛的前沿問題開辟了新途徑，如算法與硬件的協同設計、實時機器人控制以及基于學習的事件采樣策略。通過將時間一致性置于模型運行和評估中，我們的研究為全面釋放事件驅動系統的理論潛力提供了一條可行路徑，推動相關技術在現實場景中實現高精度、低延遲與高可靠性。

本次與陳廣研究團隊發布的頂刊成果，是西井科技在“實時感知”核心技術領域的關鍵布局，將為海、陸、空、鐵、工廠等大物流場景自動駕駛解決方案，提供堅實理論基石與工程化路徑，未來有望讓高速動態感知更敏捷、更安全、更可靠。

作為深耕AI與自動駕駛領域的科創企業，西井科技擁有豐富的多場景產業落地經驗，其自主研發的無人駕駛重載水平運輸車等核心產品，已成功服務于海內外多個港口、機場、工廠等大物流場景，積累深厚的工程化實踐經驗。未來，公司將繼續深化與更多頂尖高校及科研機構的合作，聚焦行業核心痛點、深耕前沿技術研發，推動更多頂尖科研成果從實驗室走向產業一線，將更多“實驗室里的突破”轉化為“場景中的價值”，賦能全球大物流行業的數字化、綠色化升級，攜手共繪智能科技高質量發展新藍圖！