隨著人工智能 (AI) 加速向智能手機、PC 與物聯網終端等滲透，如何在邊緣設備上實現高性能、低功耗的智能體驗，已成為行業共同關注的核心議題。

騰訊混元今日發布了 HY-1.8B-2Bit，這是一款等效參數量僅有 0.3B 的極低比特壓縮模型，有助于移動設備廠商和開發者加速實現生成式 AI 的創新落地。作為全球應用最為廣泛的高性能、高能效計算平臺，Arm 率先完成了對該模型的成功適配。HY-1.8B-2Bit 現已能夠在搭載啟用第二代可伸縮矩陣擴展 (SME2) 技術的 Armv9 計算平臺的移動設備上實現高效運行。

在資源受限的邊緣設備上部署與運行生成式 AI，普遍面臨性能、能效、內存等諸多挑戰。通過有效縮減模型規模，是將生成式 AI 用例拓展至更廣泛設備的行之有效的方法之一。規模更小的模型在與原始模型保持相近推理精度的前提下，能在端側實現更出色的性能表現與能效水平，進而在兼顧設備續航表現的同時，為用戶帶來響應更迅捷、運行更流暢的端側 AI 體驗。

騰訊混元此次推出的 HY-1.8B-2Bit 通過對 HY?1.8B?Instruct 模型進行 2 比特量化感知訓練 (QAT) 產出，對比原始精度模型等效參數量降低了 6 倍，可以在邊緣設備上靈活部署，并保持了與 INT4-PTQ 方法相當的模型性能。同時，該模型沿用了 HY-1.8B-Instruct 的全思考能力，用戶可以根據其應用的復雜性和資源限制，靈活地選擇推理模式。得益于上述優勢，HY-1.8B-2Bit 在實時性要求高、資源受限的場景中依然能夠提供快速且可靠的推理表現。

而在此基礎上，Arm SME2 技術使得移動端開發者能更輕松獲取端側 AI 加速功能。SME2 是 Armv9 架構中的高級 CPU 指令，能夠在 AI 異構計算框架下，高效支持各類實時移動端推理任務。實際測試結果顯示，HY-1.8B-2Bit 運行在啟用 SME2 技術的移動設備上時，對比 HY-1.8B-Q4 模型，在不同窗口大小下的首詞元延遲 (TTFT) 和生成速度均實現了顯著提升。這將有助于在資源受限的場景中，實現更卓越、流暢、智能的使用體驗。例如，通用聊天機器人和 AI 助手能夠在端側實現更復雜、自然的語言處理能力。與此同時，SME2 已被集成至多個主流框架中，深度嵌入軟件棧。開發者可通過 llama.cpp 直接在啟用 SME2 技術的硬件上部署 HY-1.8B-2Bit 模型，加速實現生成式 AI 應用的性能躍升。

模型地址：

https://huggingface.co/AngelSlim/HY-1.8B-2Bit

https://huggingface.co/AngelSlim/HY-1.8B-2Bit-GGUF

各位開發者們，也可點擊閱讀原文，跳轉模型地址，了解更多關于 HY-1.8B-2Bit 的信息及如何部署！

SME2 技術已獲得業界領先生態伙伴的廣泛采用與認可。vivo、OPPO 等手機廠商已推出集成啟用 SME2 的 Arm C1 CPU 與 Mali G1-Ultra GPU 的旗艦智能手機，為端側 AI 帶來了實際的體驗提升；此外，SME2 也已在 iOS 中大幅啟用。而開發者們正借助 SME2 技術，加速語言模型推理、圖像處理、音頻生成等核心能力，為各類主流應用打造出更迅捷的實時體驗。與此同時，Arm 也正積極將 SME2 技術擴展至更廣泛的 CPU 平臺。預計到 2030 年，SME 與 SME2 技術將為超過 30 億臺設備新增超 100 億 TOPS 的計算能力，持續降低端側 AI 的部署成本與隱私風險。

Arm 與騰訊混元持續依托技術創新，攜手推動端側應用功能與用戶體驗的優化升級，助力本土開發者更高效、順暢地開展端側 AI 創新開發。