電子發(fā)燒友網(wǎng)報道（文/莫婷婷）AI大模型應(yīng)用在2024年進(jìn)入新的階段。Transformer等技術(shù)正在推動著行業(yè)從單一模態(tài)的大語言模型，向多模態(tài)大模型進(jìn)化。

業(yè)內(nèi)普遍認(rèn)為，未來3到5年我們會快速邁入AI3.0時代，屆時進(jìn)入以機(jī)器人為代表的具身智能時代，當(dāng)人形機(jī)器人搭載了多模態(tài)大模型，和物理世界進(jìn)行交互后，就會發(fā)展成行為大模型，成為自進(jìn)化智能體，進(jìn)一步實現(xiàn)AGI通用人工智能，由此打開第四次工業(yè)革命的大門。

云天勵飛董事長兼CEO陳寧認(rèn)為，未來3年全球80%的企業(yè)將使用大模型，未來5年機(jī)器人和數(shù)字人的數(shù)量將超越人類的數(shù)量，未來7年，也就是到2030年行業(yè)將實現(xiàn)通用人工智能，AI的智慧程度超越全人類大腦的組合。

他進(jìn)一步提到，我們還有3年的時間可以轉(zhuǎn)型到大模型時代，借助大模型生產(chǎn)力的變革去賦能企業(yè)。那么，企業(yè)如何擁有屬于自己的大模型，訓(xùn)推一體機(jī)成為焦點之一。

千元級AI模盒，大模型進(jìn)入平民化階段

目前，行業(yè)內(nèi)已經(jīng)有多家企業(yè)推出訓(xùn)推一體機(jī)，但是在訓(xùn)練專屬大模型過程中，訓(xùn)推一體機(jī)的痛點也隨之暴露出來。成本是其中一個關(guān)鍵問題，主流的訓(xùn)推一體機(jī)價格普遍在百萬級。另外還有大參數(shù)、大算力、大數(shù)據(jù)、專業(yè)人才等，要知道GPT-4模型訓(xùn)練數(shù)據(jù)ToKen量已經(jīng)達(dá)到130000億。為了加速AI普惠化，訓(xùn)推一體機(jī)亟需迭代。

就在今年3月，云天勵飛推出“深目”AI模盒，面向邊緣訓(xùn)推場景。官方介紹，“深目”AI模盒搭載了自研的14nm Chiplet大模型邊緣訓(xùn)推芯片DeepEdge10 Max、自研多模態(tài)大模型“云天天書”，基于云天勵飛的核心能力算法芯片化，實現(xiàn)了算法場景覆蓋超過90%、算法精度超過90%，使用成本降低90%。其中，DeepEdge10 Max適配并可承載10億級SAM、百億級Llama2等大模型運算。

值得一提的是，“深目”AI模盒售價在千元級。可以說，在一定程度上，云天勵飛將訓(xùn)推一體機(jī)“打下”千元級，促進(jìn)了大模型平民化，解決大模型在場景落地最后一公里的問題，幫助更多中小企業(yè)客戶輕松使用大模型。

智慧城市場景里還存在非常多的問題沒有完全解決，例如長尾場景，只有一個模型能夠解決跨場景的問題，才有可能低成本解決智慧城市的碎片化問題。

在現(xiàn)實問題中，天災(zāi)人禍等極端場景識別訓(xùn)練的數(shù)據(jù)幾乎空白，云天勵飛副總裁羅憶以加油站場景的吸煙識別為例進(jìn)行介紹，平臺能夠利用大模型能力，以加油站為背景，生成在該環(huán)境抽煙行為的人物，并將數(shù)據(jù)用于算法訓(xùn)練中，填補(bǔ)訓(xùn)練數(shù)據(jù)的空白。

“我們通過可控的生成，對于指定的場景、部位可以做到細(xì)節(jié)可控、真實合理、高保真，而且可以批量生成數(shù)據(jù)。”目前，云天勵飛已經(jīng)生成了千萬級的數(shù)據(jù)用于各類算法的訓(xùn)練，而且生成的數(shù)據(jù)不僅能夠用于算法的訓(xùn)練，還能用于算法能力的測試。

“從生成訓(xùn)練到檢測，這個閉環(huán)打通，也為將來它的自學(xué)習(xí)奠定基礎(chǔ)。”羅憶再次表示。使用AI合成數(shù)據(jù)來訓(xùn)練算法，逐漸成為大模型時代下訓(xùn)練新算法和提升算法精度的方式之一。

推理芯片將是AI大模型的發(fā)展關(guān)鍵之一

未來，AI大模型的發(fā)展一定是降低推理成本，陳寧在接受電子發(fā)燒友網(wǎng)等媒體采訪時表示，關(guān)于大模型的訓(xùn)練，業(yè)內(nèi)的重視度已經(jīng)比較高了，GPU一卡難求，中國也掀起了智算，上下游的企業(yè)都參與到智能算力的建設(shè)過程中，云天勵飛也抓住了機(jī)遇。“我們認(rèn)為2024年如果是大模型落地應(yīng)用之年，推理就會越來越重要。”

云天勵飛自成立之初就將AI芯片定位在推理的應(yīng)用，此次將其在推理領(lǐng)域的深厚技術(shù)積累賦能給了“深目”。

“深目”內(nèi)置了自研的SPACE訓(xùn)練推理引擎，羅憶表示，“我們要讓大模型在邊緣側(cè)跑起來，不僅要推理，還要具備一定的訓(xùn)練能力，要提高它的精度，首先要解決速度的問題，確保訓(xùn)練有效的前提下，只要進(jìn)行少樣本的訓(xùn)練，即可進(jìn)行場景自適應(yīng)。”

根據(jù)介紹，基于SPACE訓(xùn)練推理引擎的高效訓(xùn)練架構(gòu)，對比全量訓(xùn)練，“深目”AI模盒訓(xùn)練速度提升100倍，內(nèi)存消耗降低20倍。通過混合精度訓(xùn)練，模型99%的計算采用int8+fP16精度訓(xùn)練，只有不到1%的計算才用得fp32精度訓(xùn)練。而且做到了存儲及功耗均大幅下降，推理速度同比提升50%，推理成本更是降低10倍。

通過SPACE訓(xùn)練推理引擎和神經(jīng)網(wǎng)絡(luò)處理器芯片架構(gòu)的深度耦合，“深目”在邊緣端48T至64T的有限算力情況下，一樣可以實現(xiàn)高精度的推理大模型，并且可以微調(diào)和訓(xùn)練。陳寧表示，面向邊緣場景，云天勵飛強(qiáng)化了多模態(tài)大模型場景泛化和在線學(xué)習(xí)、訓(xùn)練的能力，通過一系列的性能提升，解決場景價值閉環(huán)的問題。

一般來說，AI芯片可以分為兩種：推理芯片、訓(xùn)練芯片。“但是算法的訓(xùn)練不是目的，千行百業(yè)的推理應(yīng)用才是最終目的，人形機(jī)器人、無人機(jī)、無人車、可穿戴設(shè)備、AIPC、AI手機(jī)等，萬物智聯(lián)的智能硬件都需要一顆或者幾顆神經(jīng)網(wǎng)絡(luò)處理器的推理芯片”，陳寧表示。

2024年，AI行業(yè)在推理芯片領(lǐng)域迎來了新的進(jìn)展。例如，AI芯片創(chuàng)企Groq自研的新型AI芯片——LPU（Language Processing Units）在AI行業(yè)內(nèi)“出圈”，該芯片專為AI推理而生。公開資料顯示，由Groq LPU驅(qū)動Meta Llama 2模型，推理性能可以做到頂級云計算供應(yīng)商的18倍。英偉達(dá)在GTC 2024上也發(fā)布了全新的 GPU——Blackwell芯片，推理能力是Hopper的30倍。

如今，推理芯片領(lǐng)域還沒有壟斷性的巨頭，推理芯片是一個萬億顆芯片的大藍(lán)海市場，而中國市場擁有豐富的場景，未來推理芯片會應(yīng)用到各個行業(yè)中，解決各個場景的問題，國內(nèi)的AI芯片企業(yè)也會在推理芯片領(lǐng)域迎來新的進(jìn)展。