2024年7月5日，中國上海——燧原科技今日宣布與人工智能系統(tǒng)軟件商清程極智簽署戰(zhàn)略合作協(xié)議，聯(lián)合開發(fā)面向超萬億參數(shù)大模型和超大規(guī)模集群的高性能系統(tǒng)軟件方案。

人工智能大模型在加速提升算法模型的智能化水平和場景泛化性的同時，其日益增長的模型參數(shù)、海量的語料庫以及廣泛的場景需求對人工智能的算力基礎(chǔ)設(shè)施提出了巨大的挑戰(zhàn)，如何使超大規(guī)模集群能夠同時具備高效率和高性價比成為業(yè)界亟需解決的關(guān)鍵問題。

基于此，燧原科技和清程極智簽署戰(zhàn)略合作協(xié)議，致力于共同打造超大規(guī)模智算集群的訓(xùn)練方案，針對大模型實際應(yīng)用場景進(jìn)行軟硬協(xié)同的開發(fā)與優(yōu)化。在滿足基礎(chǔ)大模型的預(yù)訓(xùn)練、行業(yè)大模型的微調(diào)和大模型推理部署等不同的應(yīng)用場景和多元的算力需求，提供更高性能、更高效率、更高性價比的算力方案。

此次戰(zhàn)略合作協(xié)議的簽署是燧原科技和清程極智進(jìn)一步深化合作的又一個重要里程碑。此前，雙方已經(jīng)在技術(shù)領(lǐng)域開展了重要合作。其中，基于燧原的新一代人工智能推理加速卡“燧原S60”和清程極智的高性能推理框架“FastDecode”，共同研發(fā)了千億參數(shù)規(guī)模大模型的高性能推理平臺，該平臺在不同場景下可實現(xiàn)1到10倍不等的吞吐量提升，實測的并發(fā)量是vLLM等開源框架的4倍，為進(jìn)一步降低相關(guān)應(yīng)用場景的算力使用成本提供了可規(guī)模落地的技術(shù)產(chǎn)品方案。

燧原科技創(chuàng)始人、董事長、CEO趙立東認(rèn)為：“隨著大語言模型的迅猛發(fā)展和模型參數(shù)的指數(shù)級增長，借助超大規(guī)模計算集群來運(yùn)行復(fù)雜模型的需求也日益迫切。清程極智的系統(tǒng)軟件方案，有效提升大模型訓(xùn)練和推理算力利用率，顯著降低使用成本。燧原科技與清程極智合作，通過創(chuàng)新的技術(shù)和優(yōu)化的算法，面向超萬億參數(shù)大模型和超大規(guī)模算力集群，攜手打造高效、可擴(kuò)展和穩(wěn)定的系統(tǒng)軟件解決方案，推動生成式人工智能的變革，助力中國數(shù)字經(jīng)濟(jì)發(fā)展。”

“清程極智與燧原科技的戰(zhàn)略合作正逢其時，燧原在本土人工智能算力產(chǎn)品及智算集群等方面能力卓越，而我司在分布式訓(xùn)練框架、高性能推理框架、算子優(yōu)化、通信庫優(yōu)化等軟件棧技術(shù)與產(chǎn)品方面擁有領(lǐng)先的研發(fā)能力。雙方優(yōu)勢互補(bǔ)，在聯(lián)合開發(fā)高性能推理軟件棧、打造超大規(guī)模智算集群，為業(yè)界提供高效率、高性價比解決方案方面具有巨大的協(xié)同潛力。我相信，隨著雙方合作的深入，將進(jìn)一步拓展合作維度，在更多前沿技術(shù)研發(fā)領(lǐng)域協(xié)同創(chuàng)新，切實推動我國人工智能產(chǎn)業(yè)的發(fā)展，共同賦能新質(zhì)生產(chǎn)力的構(gòu)建。”清程極智CEO湯雄超表示。