作者：Arm 開發(fā)者平臺副總裁 Geraint North

在持續(xù)快速發(fā)展的人工智能 (AI) 時代，我們堅(jiān)定地支持全球數(shù)百萬開發(fā)者，確保他們能夠獲得所需的性能、工具和軟件庫，從而順利打造下一波令人驚嘆的 AI 體驗(yàn)。

為此，我們推出了 Arm Kleidi，這是一項(xiàng)廣泛的軟件和軟件社區(qū)參與計(jì)劃，旨在加速 AI 發(fā)展。其中的第一個舉措是推出面向熱門 AI 框架的 Arm Kleidi 軟件庫。這使開發(fā)者可以直接取得 Arm CPU 的出色 AI 功能，而如今全球從云端到邊緣側(cè)的大多數(shù) AI 推理工作負(fù)載都在這些 Arm CPU 上運(yùn)行。開發(fā)者可以借助 Arm 超過 20 年的架構(gòu)創(chuàng)新，從 Armv7 架構(gòu)首次引入高級單指令多數(shù)據(jù) (SIMD) 擴(kuò)展以支持機(jī)器學(xué)習(xí) (ML) 工作負(fù)載，到如今的 Armv9 架構(gòu)在 Arm CPU 上囊括了加速和保護(hù)高級生成式 AI 工作負(fù)載的功能，這些創(chuàng)新持續(xù)推動 AI 能力和性能的提升。

Kleidi 軟件庫包含面向 AI 工作負(fù)載的 KleidiAI 和面向運(yùn)行于 Arm CPU 上出色的計(jì)算機(jī)視覺工作負(fù)載的 KleidiCV。該軟件庫可以被直接嵌入到熱門的 AI 框架中，開發(fā)者無需進(jìn)行任何操作。如此一來，開發(fā)者可以輕松地啟用 Arm CPU 的 AI 功能，從而快速構(gòu)建 AI 應(yīng)用，并在盡可能廣泛的設(shè)備上實(shí)現(xiàn)最出色性能。

加速 AI 發(fā)展

為了應(yīng)對設(shè)備類型、神經(jīng)網(wǎng)絡(luò)和推理引擎的爆發(fā)式增長，KleidiAI 是我們所給出的解決方案。它由一系列高度優(yōu)化的 AI 內(nèi)核組成，可在生成式 AI 等用例中實(shí)現(xiàn)高性能。KleidiAI 的優(yōu)勢在于，我們不會給開發(fā)者額外增加工作量，而是直接與領(lǐng)先的 AI 框架合作，包括 MediaPipe（通過 XNNPACK）、LLAMA.cpp、PyTorch（通過 ExecuTorch）和 TensorFlow Lite（通過 XNNPACK），以集成 KleidiAI。這不僅加快了開發(fā)流程，并釋放了 AI 性能，為開發(fā)者提供了默認(rèn)的高性能，使他們能夠順利地打造出色的 AI 體驗(yàn)。KleidiAI 還提供了前瞻性的兼容性，隨著我們推出更多的技術(shù)，這將確保開發(fā)者能夠充分利用未來 AI 加速機(jī)會。

KleidiAI 的集成已經(jīng)為生成式 AI 工作負(fù)載帶來了顯著的性能提升。與參考實(shí)現(xiàn)方案（基于 llama.cpp，但不含我們的軟件 Kleidi 優(yōu)化）相比，在新的 Arm Cortex-X925 CPU 上，使用（集成了 KleidiAI 的）llama.cpp 的 Meta Llama 3 和微軟 Phi-3 大語言模型 (LLM) 的詞元 (Token) 首次響應(yīng)時間加快了 190%。KleidiAI 非常易于集成，Arm 的工程團(tuán)隊(duì)只用不到 24 小時就測出了 Llama 3 的優(yōu)化性能。此外，KleidiAI 還通過 XNNPACK 與 MediaPipe 集成，為在移動設(shè)備上運(yùn)行的開源 Gemma LLM 提供支持。得益于此，Google Pixel 8 Pro 智能手機(jī)上 Gemma 2B 的詞元首次響應(yīng)時間縮短了 25%。

與此同時，我們正在與 Unity 合作開發(fā) Sentis，這是一個端側(cè) AI 推理引擎，可讓游戲開發(fā)者在所有支持 Unity 游戲引擎的設(shè)備上打造創(chuàng)新的 AI 游戲體驗(yàn)。在集成 KleidAI 后，Unity Sentis 成功啟用了 int4 量化功能，將模型內(nèi)存占用率降低了 72.5%，同時在運(yùn)行 Phi-2 LLM 時性能提升了 660%。

加速計(jì)算機(jī)視覺發(fā)展

KleidiCV 能夠加速許多攝像頭用例中的計(jì)算機(jī)視覺管線。OpenCV 是全球最大的計(jì)算機(jī)視覺庫，包含 2,500 多種算法，為數(shù)十萬開發(fā)者提供支持。基于 KleidiCV 集成，OpenCV 發(fā)現(xiàn)各種圖像處理任務(wù)的典型性能提升高達(dá) 75%。作為我們與 OpenCV 的戰(zhàn)略軟件合作關(guān)系[1]的一部分，我們還首次將安卓構(gòu)建引入 Maven Central，這是一個面向 Java 開發(fā)的開源軟件組件、軟件庫的資源庫。

CPU 上的 AI 優(yōu)勢

Arm Kleidi 專注于加速 CPU 上的 AI 功能，因?yàn)樵诖蠖鄶?shù)情況下，所有 AI 工作負(fù)載都會從CPU 上開始運(yùn)行。這使得 CPU 成為開發(fā)者在為其 AI 工作負(fù)載設(shè)定目標(biāo)時的最便捷路徑。因此，我們?yōu)殚_發(fā)者提供的這一路徑性能越出色，他們就更有可能在開發(fā)過程中繼續(xù)使用 CPU 并將其作為目標(biāo)。此外，隨著 LLM 變得更小更高效，越來越多的 AI 工作負(fù)載將適合在 CPU 上處理。最終，開發(fā)過程將變得更加順暢、無縫，進(jìn)而優(yōu)化開發(fā)者的 AI 工作負(fù)載性能。

在 Arm 平臺上構(gòu)建 AI 的未來

Arm Kleidi 的推出再次突顯了 Arm 作為端側(cè)生成式 AI 計(jì)算平臺的領(lǐng)先地位。它使開發(fā)者無需學(xué)習(xí)額外的工具和技能，就能夠在非常廣泛的硬件中獲得 Arm CPU 的出色 AI 性能。隨著我們不斷創(chuàng)新，持續(xù)為新一代 AI 打造前沿架構(gòu)，開發(fā)者未來將能夠獲得更強(qiáng)大、更先進(jìn)的 AI 功能。對于最終用戶來說，這意味著更快速、更智能、更具交互性、更沉浸式、更安全的出色 AI 體驗(yàn)。

Arm Kleidi 的推出只是一個開端，我們未來還計(jì)劃推出更多軟件庫、計(jì)算內(nèi)核和引擎集成。我們將持續(xù)在 Arm 平臺上構(gòu)建 AI 的未來。