邊緣AI應用正處于大規模落地的前夕，巨大的IoT市場和革命性的AI技術產生的劇烈交互將帶來前所未有的應用革命和商業機會。那么在邊緣設備部署AI應用的瓶頸都有哪些？

有人有現成的芯片和應用場景，卻為缺乏算法和平臺苦惱。

有人有自己的算法，卻為缺乏一個好用的嵌入式跨平臺框架而苦惱。

有人有自己的算法和硬件平臺，卻為嵌入式平臺有限算力苦惱。

OPEN AI LAB看到了業界痛點，順應市場需求推出了專為嵌入式平臺設計的AI推理框架——Tengine。

專門針對Arm嵌入式設備優化的神經網絡推理引擎

OPEN AI LAB于2016年12月成立，由Arm中國聯合產業伙伴發起，致力于推動芯片、硬件、算法、軟件整個產業鏈的深度合作，加速人工智能產業化應用部署和應用場景邊界拓展。Tengine便是一款輕量級模塊化高性能的神經網絡推理引擎，專門針對Arm嵌入式設備優化。完美支持Arm平臺，支持Arm Cortex CPU，Arm Mali GPU，Arm DLA，第三方DSP，堪稱兼容“全能王”。

而開發者可以使用Tengine一網打盡主流框架模型和嵌入式操作系統，還能異構調度平臺里的各類硬件，充分利用硬件算力。此外，Tengine還提供了常見AI應用算法，包括圖像檢測，人臉識別，語音識別等。不懂AI沒關系，上手就能跑AI應用。Tengine同時還支持各類常見卷積神經網絡，包括SqueezeNet，MobileNet，AlexNet，ResNet等，支持層融合、8位量化等優化策略。并且通過調用針對不同CPU微構架優化的HCL庫，將Arm CPU的性能充分挖掘出來。

Tengine的“發動機”——HCL計算庫

有人說NCNN是一個為手機端極致優化的高性能神經網絡前向計算框架，從設計之初深刻考慮手機端的部署和使用。在過去，NCNN確實是這樣的，只是那時候還沒有Tengine。

現在，HCL計算庫作為Tengine的插件，是性能最快的Arm CPU NN計算庫，并且支持動態8位量化計算，精度幾乎不變，相比于NCNN最快能帶來2-3倍的性能提升，內存使用減少為三分之一。

*Tengine性能數據A72，A53性能基于RK3399平臺測試，A17性能基于RK3288平臺測試

NCNN數據為2018年9月7日

HCL INT8量化計算精度變化

FP32INT8Diff

TOP1TOP5TOP1TOP5TOP1TOP5

MobileNetv167.86%87.60%66.40%86.44%-1.46%-1.16%

SqueezeNet57.86%79.86%57.80%79.92%-0.06%0.06%

GoogLeNet68.48%88.82%68.70%88.82%0.22%0.00%

ResNet5071.60%89.90%71.60%89.86%0.00%-0.04%

*采用ILSVRC2012_VAL數據集測試5000張圖片得到量化精度測試結果如下

Tengine + HCL，不同人群的量身定制

Tengine作為AI 應用框架，不僅對上層應用提供推理API接口，支持主流模型與格式，還在下層定義硬件接口，適配嵌入式平臺各類計算模塊，此外支持同時運行多個AI應用算法以及調用多個計算模塊計算。因此，Tengine的面世對AI開源生態具有里程碑的意義。有了Tengine，應用和算法廠商可以擺脫復雜的嵌入式平臺適配工作，配合HCL直接挖掘硬件的全部潛能；有了Tengine，芯片廠能夠站在Arm 嵌入式AI生態的肩膀上，以最快的速度順利將芯片推向市場，在邊緣AI應用中部署。作為OPEN AI LAB為邊緣AI應用部署開發的兩大利器，Tengine + HCL將助力嵌入式人工智能產業加速向前推進，為最終實現萬物智能貢獻力量。