隨著互聯網、移動互聯網，以及物聯網的發展，人類創造的數據量在快速增加，這些海量的數據為AI的發展提供了肥沃的土壤。加上神經網絡算法的進步，及CPU、GPU、NPU、FPGA等各種芯片性能的快速提升，極大地提升了計算機處理海量視頻、圖像等數據的計算能力。也就是說，在算力、算法和數據三要素快速發展的背景下，AI技術的成熟度越來越高，AI產業不斷演進，落地應用也變得更加豐富，AI正在與各行各業的典型應用場景相融合。

這些年，可以明顯看到AI在智能手機、智能音箱等消費類電子產品，以及互聯網應用等To C端的應用場景中大量落地后，開始向工業制造、能源、交通、金融、醫療、教育、零售、汽車等傳統To B端行業滲透。

現在的AI技術已經開始滲透進人們日常生活的方方面面了，那么什么樣的AI最有前景，最容易被市場所接受呢？其實未來的AI落地應用可能更多的是一些碎片化的市場，能夠在性能和成本之間取得良好平衡的應用可能更加有市場前景。

碎片化將增加企業成本

不論是工業制造、能源、金融、還是交通行業，很多應用場景都是需要根據具體的場景做更多定制化的服務，這必然會增加AI企業的成本負擔。比如在工業場景中，AI企業需要幫助工廠設計并訓練工業級的高性能AI模型，這就需要AI企業大量的成本投入和深厚的技術沉淀，包括多場景海量數據收集、復雜模型的設計和算法訓練、以及包括軟件框架和硬件系統在內的AI基礎設施來支持大規模運算。而且，由于每個工廠制造的產品是不一樣的，產線環境也各不相同，開發的解決方案可能只適用于一家客戶，成本得不到均攤，自然就會更高。

還有在交通領域，AI需要對特殊的交通事故、道路塌陷、以及火災等不同場景進行識別、分析、評估損失等，這些都是極其具體的要求。

碎片化的應用場景還可能會帶來另一個問題，由于單個場景發生的頻次比較低，可用的數據量會偏少。加上每種模型的生產都需要大量的算力和人力，AI行業的人力投入將會增加，相應AI企業的成本也會增加。

當然，這些碎片化的應用場景，也會有一些好處，那就是大部分的客戶其實是不懂AI的，他們需要的不是一個AI模塊，或者開發包，而是一整套定制化的解決方案，而且，因為這種定制化的方案確實也幫助他們解決了實際問題，因此，他們也更愿意為此類解決方案付費。

AI背后的NPU

所有落地AI應用中，都需要硬件的算力支持，包括目前市場比較火熱的自動駕駛。隨著汽車中攝像頭、毫米波雷達、激光雷達，以及超聲波雷達等環境感知傳感器的增多，自動駕駛系統收集的傳感器數據將會更多，自動駕駛計算芯片需要通過算法處理、匯算這些數據，實現車、路、人等信息融合，對駕駛控制做出決策。而傳感器數量的增多，對自動駕駛計算芯片的算力要求將顯著提升。

而算力的提升，離不開NPU（Neural-network Processing Unit，神經網絡處理器）的支持。它是一類基于DSA (Domain Specific Architecture) 領域專用架構技術的專用于人工智能（特別是人工神經網絡、機器視覺、機器學習等）硬件加速的微處理器。相比于CPU、GPU，NPU在硬件架構上就是針對AI設計的，非常適合神經網絡運算。

NPU與CPU和GPU等通用處理器設計思路不同。通用處理器考慮到計算的通用性，提升的計算能力大部分不能直接轉化為神經網絡處理能力的提升，比如沒有針對MAC運算做專門的提升，而NPU針對神經網絡設計，無需考慮神經網絡并不需要一些計算單元。相較于CPU擅長處理任務和發號施令，GPU擅長進行圖像處理、并行計算，NPU更擅長處理人工智能任務。NPU通過突觸權重實現存儲和計算一體化，從而提高運行效率。

因此，我們可以在很多支持AI應用的處理器，或者SoC中發現NPU的身影，比如蘋果的A15、特斯拉的FSD芯片、地平線的征程系列芯片、OPPO的馬里亞納X芯片等等。除了這些規模較大，性能較高的SoC芯片，其實現在有些MCU產品也開始集成NPU模塊了，以滿足一些邊緣智能應用的需求。

其實，很多支持AI的SoC芯片都是通過集成神經網絡IP來實現的，一般來說，神經網絡IP會于神經網絡算法同步發展，能夠進一步擴展，以應對神經網絡性能日益增長的需求。

新思科技ARC NPX6 NPU IP

新思科技最近推出了全新的NPU IP核和工具鏈，以滿足神經網絡不斷發展的需求。同時提供了強大的可擴展性，單個NPU處理器支持從4K MAC到96K MAC的擴展，可以滿足不同的應用需求，比如：ADAS，監控，數據電視，攝像頭，自然語言處理等等。其ARC NPX6和NPX6FS NPU IP可滿足面向AI應用的具有超低功耗的實時計算需求，提供業界最佳性能，并支持最新、復雜的神經網絡模型。

圖：ARC NPX6 NPU?IP

單個NPU可在5nm工藝中以每秒1.3GHz的速率提供高達250TOPS的算力，或通過使用全新稀疏特征提供高達440TOPS的算力，因此可以提高執行神經網絡性能并降低能耗需求；新IP集成了硬件和軟件鏈接功能，支持實施多個NPU實例，在單個SoC上可以實現高達3500TOPS的性能；在神經處理硬件內部提供可選的16位浮點支持，以極大提高層性能，并簡化了從用于AI原型設計的GPU向大容量功耗和面積優化型SoC的過渡。

ARC NPX6FS NPU IP是針對功能安全應用的神經網絡處理器IP，它滿足嚴格的隨機硬件故障檢測和系統功能安全開發流程要求，完全符合ISO 26262汽車安全完整性等級(ASIL)D級標準。并且，這些處理器包含全面的安全文檔，具有符合ISO 26262標準的專用安全機制，并滿足下一代區域架構的混合關鍵性和虛擬化要求。

此外，為了方便工程師使用，加快產品上市時間，新思科技還提供了全新的DesignWare ARC MetaWare MX開發工具包，該工具包包括了編譯器和調試器、神經網絡軟件開發工具包、虛擬平臺軟件開發工具包、運行時庫以及先進仿真模型。

MetaWare MX提供的單一工具鏈在MAC資源中自動劃分算法以實現高效處理，幫助工程師加速應用開發。另外，對于安全關鍵型汽車應用，該MetaWare MX 安全開發工具包包含了安全手冊和安全指南，可幫助開發者滿足ISO 26262要求并為ISO 26262合規性測試做好準備。

結語

AI技術正在跟各個細分行業緊密結合，以發揮其優勢，在AI技術落地應用越來越多的時候，NPU也變得越來越重要，未來對NPU的需求也將會進一步提升，相信NPU的大時代正在來臨。