不解決好這 3 大矛盾，就別搞 DevOps 了>>>>>>

Tengine Lite?由?OPEN AI LAB?主導開發，該項目實現了深度學習神經網絡模型在嵌入式設備上快速、高效部署。為實現眾多?AIoT?應用中跨平臺部署，本項目基于原有 Tengine 項目使用?C 語言進行重構，針對嵌入式設備資源有限的特點進行深度框架裁剪。同時采用完全分離的前后端設計，利于 CPU、GPU、NPU 等異構計算單元快速移植和部署。同時兼容 Tengine?框架原有 API 和 模型格式 tmfile，降低評估、遷移成本。

Tengine Lite 核心代碼由 4 個模塊組成：

• dev： NN Operators 后端模塊，當前提供 CPU 代碼，后續逐步開源 GPU、NPU 參考代碼；
• lib：框架核心部件，包括 NNIR、計算圖、硬件資源、模型解析器的調度和執行模塊；
• op：NN Operators 前端模塊，實現 NN Operators 注冊、初始化；
• serializer：模型解析器，實現 tmfile 格式的網絡模型參數解析。

架構簡析

如何使用

編譯

• 快速編譯?基于 cmake 實現簡單的跨平臺編譯。

示例

• examples?提供基礎的分類、檢測算法用例，根據 issue 需求持續更新。

模型倉庫

• Tengine model zoo?兼容原有 Tengine 的模型示例倉庫（密碼：hhgc）。

轉換工具

• 預編譯版本：提供 Linux 系統上預編譯好的模型轉換工具；
• 在線轉換版本：基于 WebAssembly 實現（瀏覽器本地轉換，模型不會上傳）；
• 源碼編譯：參考?Tengine-Convert-Tools?項目編譯生成。

速度評估

• Benchmark?基礎網絡速度評估工具，歡迎大家更新。

Roadmap

• Road map