Espressif × Bosch Sensortec

樂鑫科技 (688018.SH) 宣布與 Bosch Sensortec（博世傳感器）達成合作，共同推出基于動作感知與大模型能力的人機交互創新方案。

該方案旨在推動多模態感知與智能交互技術的深度融合，覆蓋 AI 玩具、智能家居、運動健康、智慧辦公等典型應用場景，實現從環境感知、行為理解到智能反饋的完整鏈路升級，為新一代智能終端提供更自然、更實時的交互體驗。

在合作簽約儀式上，樂鑫創始人兼 CEO 張瑞安、Bosch Sensortec 總經理兼首席執行官 Stefan Finkbeiner 以及 Bosch Sensortec 亞太區總裁王宏宇等共同出席，正式宣布雙方合作的啟動。

合作簽約儀式在樂鑫科技上海總部舉行

張瑞安在儀式上表示：“通過將 Bosch Sensortec 經驗證的高性能 MEMS 傳感器集成到我們的平臺中，我們能夠幫助客戶為幾乎任何應用場景構建穩健、精準的傳感解決方案，并在基礎層面保證卓越品質。”

Stefan Finkbeiner 隨后補充道：“通過與樂鑫科技的合作，我們正在讓先進的傳感技術更易于獲取和使用。樂鑫在生態體系建設方面給予的支持，對推動傳感器在各類消費應用中的廣泛采用，以及塑造下一代物聯網解決方案具有重要價值。”

樂鑫科技創始 CEO 張瑞安與 Bosch Sensortec 總經理兼首席執行官 Stefan Finkbeiner 共同見證合作達成

核心技術亮點

在此次聯合方案中，博世提供多類型高性能 MEMS 傳感器及算法優化能力，用于精準獲取微動作、姿態與環境變化等多維數據；樂鑫以雙頻 Wi-Fi 6 物聯網芯片ESP32-C5作為核心主控，通過穩定的無線連接、實時的數據處理能力以及對 MCP 協議的原生支持，實現感知數據的本地解析與大模型聯動，使系統在端側具備即時理解與響應能力。

這一方案不僅融合了雙方的核心技術能力，也在系統架構、數據鏈路與交互體驗層面進行了深度協同。無論是動作識別、場景感知，還是智能響應，均經過體系化整合，使設備能夠更準確地理解用戶意圖。同時，該方案提供標準化的軟硬件基礎能力，大幅降低開發與驗證的復雜度，縮短創新產品的落地周期，助力開發者更高效地構建下一代智能應用。

樂鑫攜手 Bosch Sensortec（博世傳感器）

聯合推出 AI 智能交互方案

從感知到應用場景

搭載 ESP32-C5 與BMI270 傳感器的系統，不僅能捕捉手勢與姿態變化，還能結合大模型與 MCP 滿足更深層次的用戶需求。BMI270 內置算法，可獨立完成畫圈、搖晃、單擊、多擊、旋轉角度等手勢動作識別；即使主控處于低功耗休眠，BMI270 也能持續感知環境，并在檢測到動作時即時喚醒系統，實現快速響應。

01

智能家居

樂鑫將同步推出 Home Assistant 的原生插件以及對應的 ESP32-C5 開源固件，可以將設備快速綁定在 Home Assistant 開源智能家居平臺。通過該插件，設備能夠被自動發現，并實現傳感器數據上報與行為控制。所有狀態、動作都統一接入 Home Assistant 的自動化體系，使設備不再局限于單一用途：它既可以作為門窗傳感器參與場景聯動，也可以成為無線調光器控制照明，甚至能夠充當語音中控，輕松接入整個智能家居系統。

在光環境調節場景中，用戶無需尋找開關，只需輕輕轉腕或敲擊桌面，傳感器即可完成動作識別；ESP32-C5 隨即解析用戶意圖，通過 MCP 調度 Home Assistant 的設備與服務，自動調整燈光亮度與色溫，讓空間自然貼合用戶需求。

通過樂鑫官方 HA 插件快速接入智能家居平臺

02

辦公助手

除了家居場景，ESP32-C5 接入 MCP 的能力同樣讓辦公環境更智能、更貼心。設備可放置在桌面，持續感知敲擊與手勢等微動作，并在本地快速解析用戶意圖 ，通過 MCP 將這些動作直接轉化為對各類智能設備與服務的調度——例如規劃行程，會議提醒，或提前準備會議所需的設備或應用等。

無論是語音指令，還是動作觸發的提醒，ESP32-C5 都能即時解析，并由 MCP 直接驅動關聯設備和服務，在不打斷工作節奏的前提下提升專注與效率。

結合 MCP，讓交互更自然、更貼近用戶

03

運動感知

在運動場景中，設備能夠借助 IMU 在本地完成精準的動作計數與姿態判斷。當用戶完成一組訓練時，大模型能夠根據當前訓練狀態給出反饋或姿態建議，并生成后續訓練計劃。通過語音、燈光等多模態方式自然呈現，使設備從單純的計數器升級為理解訓練節奏的智能伙伴。

這種結合不僅展示了動作感知的精準，更凸顯了 ESP32-C5 對接大模型的核心價值：通過本地理解與智能聯動，讓運動場景下的交互變得更自然、更實時，也更具個性化。

IMU 實時感知訓練狀態

04

AI 互動玩具

動作感知與意圖理解的能力，同樣可以賦能互動玩具，讓原本靜態的產品具備實時感知與智能回應能力。例如，當玩具靜置于沙發上時，用戶坐下或放置物品產生的輕微震動會被內置 IMU 捕捉，它可以立即做出回應；撫摸玩具時，大模型結合動作強度生成個性化的反饋；當玩具被抱起時，設備進一步推斷動作意圖，驅動多維反饋與環境協同，實現“感知—理解—回應”的完整閉環。

姿態識別 + AI 玩具，解鎖更多玩法

05

本地訓練

ESP32-C5 還能把“互動”延伸到用戶自定義層面。通過 IMU，設備不僅支持預置動作識別，也可采集用戶特定的手勢作為訓練樣本，并通過 microTensorFlow 進行小模型訓練，直接部署在 ESP32-C5 本地。

設備可實時識別用戶的自定義動作，去觸發特定的控制與聯動。任意動作都可以被用戶重新定義成“指令語言”。這種從“動作被讀取”到“動作被定義”的能力，讓基于 ESP32-C5 的設備具備更高的可塑性，解鎖更豐富的創意交互場景。

訓練專屬動作識別模型，部署并運行在 ESP32-C5 本地

量產&開源硬件方案

量產在售硬件

ESP-SensairShuttle

ESP-SensairShuttle面向教育與大規模開發評估，采用模塊化傳感器架構，支持環境、動作、磁力等多類型感知組合，便于教學、算法評估和多場景實驗。主板基于 ESP32-C5，搭配可替換的 Shuttle 傳感器子板與顯示屏自由擴展功能，支持環境、動作、磁力等多類型傳感組合。

平臺內置開箱即用的固件，可直接查看傳感器數據或運行博世提供的傳感器算法；也可以基于 ESP-IDF 完成深度定制。無論是空氣質量監測、手勢識別，還是方向與磁力感知，Shuttle 都提供標準化接口與即插即用的硬件資源，是教學、研發與產品原型驗證的理想平臺。

ESP-SensairShuttle 現已開放預售！如果您對該產品感興趣，歡迎聯系我們的客戶支持團隊，獲取更多產品信息。

開源硬件

ESP-SPOT

ESP-Spot面向開發者和創客，可快速驗證動作感知與智能交互邏輯，開箱即可跑通揮手、旋轉、AI 玩具等交互案例。主控采用 ESP32-C5，配合博世 BMI270 IMU，實現低功耗動作捕捉與即觸即醒的交互能力。

項目提供完整的硬件設計、固件源碼與使用文檔，開發者無需從零搭建系統，就能基于現成平臺快速實現揮手開燈、旋轉調節、AI 玩具互動等多種場景。對于想要構建中控設備、AI 玩具或教學項目的開發者來說，ESP-Spot 是一套可立即上手的成品級基礎平臺。