隨著人工智能技術的迅速發展，傳統的個人電腦已經面臨升級的需求。AI PC時代，如何能使大模型更好地服務企業和個人？中科創達交出了第一份答卷。

近日，中科創達憑借其在終端、邊緣計算領域的多年技術沉淀以及在大模型領域的創新探索，利用模型壓縮、分布式以及張量并行技術，成功在搭載了高通8系列芯片平臺的邊緣設備上實現了LLaMA-2 130億參數模型的穩定運行，成為業內首家取得此突破的大模型企業。這一創舉將使得端側設備能夠運行更大參數的模型，同時提高了端側設備的推理速度，為大模型在端側的應用奠定了堅實的基礎。

模型壓縮及張量并行技術提升端側AI效率

自今年3月份ChatGPT-3對外開放以來，大模型及其應用以極其驚人的發展速度席卷全球，由此帶來了對于算力需求的急速攀升。云端算力面臨成本和供給壓力，無法滿足AI算力需求，端側AI為這一難題提供了解決方案。隨著高通、Intel等芯片廠商陸續發布具有更高算力并支持生成式AI的終端芯片，AI PC時代拉開序幕。

AI PC作為終端、邊緣與云技術融合的創新產物，具有成本、時延和隱私方面的天然優勢，可以作為云端算力的補充。在即將到來的AI PC時代，中科創達將能夠充分發揮自身在終端、操作系統、邊緣計算、軟件以及生態合作方面的優勢，助力品牌商和開發者抓住行業轉型的契機，為終端用戶帶來在辦公、娛樂、學習等多場景下的更為高效便捷的體驗。

邊緣AI加速大模型在B端落地應用

此次中科創達的成功實踐不僅驗證了13B大模型在端側的落地，也為大模型在邊緣的應用打開了新的可能性。以往，大型模型主要在云端進行訓練和推理，而現在，邊緣設備也能夠勝任更大參數的模型。這將為各行各業帶來更多的機會和挑戰，無論是語音識別、圖像處理還是自然語言處理，都能夠受益于這一創新。

未來，AI將以端云協同的模式，即云端進行模型訓練，而推理則集中在離數據產生距離更近的端側及邊緣側進行，有效緩解AI算力不足的需求和缺口。由此加速大模型應用在智能駕駛、具身智能、智能家居、智能物聯網等場景的落地。

審核編輯：彭菁