最近跟一位企業(yè)的CIO交流，對方關(guān)于大模型的認(rèn)知讓我驚呆了，他說，“聽說做私域大模型要兩千萬的軟件投入和兩千萬的算力投入，我們公司沒有這個預(yù)算”。

于是我問道：“那如果按照你們公司的數(shù)據(jù)基礎(chǔ)和業(yè)務(wù)場景，只需要十分之一甚至更少的投入，你愿意做大模型嗎？”

他馬上表示：“這個預(yù)算可以搞！”

如果只關(guān)注基礎(chǔ)模型廠商和賣“鏟子”的英偉達(dá)的發(fā)布會，會覺得大模型立馬就可以將企業(yè)用戶“帶飛”。事實(shí)上，很多企業(yè)在應(yīng)用大模型時，還有大量的困惑與難題。

比如以為需要大算力、大投入，要么望而卻步，要么盲目囤了很多卡/服務(wù)器，卻發(fā)現(xiàn)基座模型與業(yè)務(wù)融合的過程漫長且復(fù)雜，涉及大量試錯、調(diào)優(yōu)等工作，后續(xù)訓(xùn)練、推理、部署等環(huán)節(jié)的算力資源消耗與浪費(fèi)情況，是容易被忽略的隱藏問題。

這有點(diǎn)像我們要去一個地形復(fù)雜、風(fēng)景優(yōu)美的陌生城市旅游，提前按照攻略買好了各種機(jī)酒門票，但實(shí)際行程卻總被意外情況拖慢，無法高效地推進(jìn)，導(dǎo)致很多資源都被浪費(fèi)掉了。

企業(yè)做大模型也是如此。大模型開發(fā)，涉及一個相當(dāng)漫長且復(fù)雜的產(chǎn)業(yè)鏈，每個環(huán)節(jié)對于企業(yè)用戶來說，都有相對陌生的地方，難以將稀缺昂貴的算力發(fā)揮出最大價值。

企業(yè)能否落地大模型的關(guān)鍵，就在于是否能夠?qū)⒉煌h(huán)節(jié)的技術(shù)、產(chǎn)品整合起來，構(gòu)筑一體化的解決方案。怎么實(shí)現(xiàn)呢？

腦極體曾報道過，相比單純售賣AI服務(wù)和API的商業(yè)模式，開箱即用的大模型一體機(jī)，能夠縮短部署周期、深度結(jié)合場景、降低落地門檻，是更符合當(dāng)下國內(nèi)大模型產(chǎn)業(yè)現(xiàn)狀的一種選擇，解決企業(yè)在AI落地過程中的最后一公里問題。

最近，我們關(guān)注到潞晨科技也推出了訓(xùn)推一體機(jī)，在集成高性能硬件的基礎(chǔ)上，還集成了Colossal-AI加速框架，支持多種微調(diào)fine-tune方式，幫助企業(yè)更輕松地實(shí)現(xiàn)AI技術(shù)的深度融合和業(yè)務(wù)創(chuàng)新。

我想，如果開篇中那位CIO更早認(rèn)識了這款產(chǎn)品，肯定不會因軟硬件成本而對大模型望而卻步，可以放心大膽地踏上AI創(chuàng)新之旅。

本文就以潞晨訓(xùn)推一體機(jī)為例，聊聊一體機(jī)如何將遠(yuǎn)方未知的大模型技術(shù)，變成企業(yè)身邊的AI風(fēng)景，又如何打磨好“一條龍式”的一站式AI解決方案。

散裝的大模型，在跋涉中折騰的企業(yè)

提到互聯(lián)網(wǎng)，我們會想到電商、直播、手機(jī)游戲、社交媒體等豐富多彩的應(yīng)用，而不是光纖、網(wǎng)關(guān)、路由器這些底層設(shè)施。但觀察今天的企業(yè)，提到大模型，第一時間想到的依然是算卡、API、tokens這些詞，而不是適配業(yè)務(wù)的AI應(yīng)用。盡管企業(yè)迫切希望運(yùn)用大模型來加速業(yè)務(wù)創(chuàng)新，但在實(shí)際操作中卻可能面臨各種各樣的問題。

大模型訓(xùn)練、推理、部署的一系列環(huán)節(jié)，都是“散裝”的，不成體系。企業(yè)想用業(yè)務(wù)數(shù)據(jù)做專屬大模型，得一山一水地跋涉，不僅效率低，還會在選型、適配、兼容、迭代等各個階段反復(fù)折騰，走很多彎路，吃不少悶虧。

舉個例子，今天，高端AI算力依然是中小微企業(yè)難以搞定的珍稀資源，好不容易搞來了算卡，一個模型在TensorFlowPyTorch上跑一次好幾天，驗(yàn)證一次好幾天，發(fā)現(xiàn)問題迭代調(diào)試，流程再來一遍，眼看著友商已經(jīng)用上了AI，只能干著急。這種進(jìn)度，顯然是追求競爭效率和創(chuàng)新速度的企業(yè)所難以接受的。

所以目前這個階段，大量企業(yè)都不希望“散裝”亂折騰，大模型致用，需要一條龍解決方案，即軟硬件緊耦合的大模型一體機(jī)。

目前，有許多國內(nèi)頭部AI廠商和ICT服務(wù)商都推出大模型一體機(jī)。為什么我們會關(guān)注到潞晨科技的訓(xùn)推一體機(jī)呢？

企業(yè)做大模型，“散裝自由行”有些昂貴和繁瑣，潞晨訓(xùn)推一體機(jī)的深度優(yōu)化與打磨，帶來了“訓(xùn)推一條龍”路線圖，在企業(yè)和大模型之間架起了一條效率高速。奔跑在潞晨訓(xùn)推一體機(jī)上的企業(yè)大模型之旅，能看到怎樣的風(fēng)景？

第一道風(fēng)景：訓(xùn)推協(xié)同的澎湃算力，助推企業(yè)創(chuàng)新

做大模型，跟旅游一樣，最掃興的情況就是目的地還沒到，隊(duì)友已經(jīng)走不動了。大模型訓(xùn)練中，因硬件性能不足、聯(lián)接故障而中斷，會帶來時間成本和機(jī)會成本的損失。

高性能硬件的澎湃算力供給，是企業(yè)用好大模型的前提條件，也是潞晨訓(xùn)推一體機(jī)帶給企業(yè)的第一道風(fēng)景線。

目前，NVIDIA GPU是AI芯片 “一哥”，在AI訓(xùn)練領(lǐng)域一家獨(dú)大，幾乎無敵手。潞晨訓(xùn)推一體機(jī)，采用英偉達(dá)H20作為底層硬件，每臺一體機(jī)配有8張H20卡，每卡有高達(dá)96GB的顯存，在單臺設(shè)備上即可完成 32B Qwen1.5 模型的全參數(shù)微調(diào)，更可支持單卡 34B Yi1.5模型的推理。

H20采用Hopper架構(gòu)，卡間互聯(lián)速度達(dá)到了驚人的900GB/s，整機(jī)配備4個400GB/s的IB網(wǎng)口，無論是多卡互聯(lián)還是多機(jī)互聯(lián)，都有極高的效率。這對于需要大規(guī)模并行計(jì)算和協(xié)同工作的AI任務(wù)尤為重要，可以減少等待時間，提高開發(fā)效率。

參數(shù)大代表了硬件的“發(fā)動機(jī)”強(qiáng)，還需要結(jié)合框架這一“動力引擎”，壓榨出硬件的最優(yōu)性能表現(xiàn)。與硬件適配度更高的框架，協(xié)同更高效，可以帶來更高的訓(xùn)練推理效率。比如，潞晨科技就為這套硬件量身定做了極致優(yōu)化的訓(xùn)推加速方案。

使用Colossal-AI優(yōu)化，在8卡規(guī)模下的上機(jī)實(shí)測中，平均每卡算力相較原生速度提升21%，大幅度提高效率。微調(diào)Qwen 7B的大模型，僅需半天，即可完成1B數(shù)據(jù)的學(xué)習(xí)與迭代。

總結(jié)一下，潞晨訓(xùn)推一體機(jī)性能領(lǐng)先、軟硬協(xié)同、訓(xùn)推一體的緊耦合架構(gòu)，降低了使用大模型的門檻和成本。企業(yè)可以減少人力和物力的投入，“輕裝上陣”踏上業(yè)務(wù)創(chuàng)新之旅，探索代表未來的智能世界。

第二道風(fēng)景：內(nèi)置軟件，帶來轉(zhuǎn)型松弛感

算力作為動力，而模型算法才是業(yè)務(wù)價值和競爭力的創(chuàng)造者。企業(yè)探索AI，既要選擇先進(jìn)的基礎(chǔ)模型，來確保高效、準(zhǔn)確的預(yù)測和決策能力，又要將模型與業(yè)務(wù)深度結(jié)合，確保開發(fā)出來的AI產(chǎn)品能夠滿足業(yè)務(wù)邏輯和需求，為企業(yè)帶來真正的商業(yè)價值。

那么問題來了，如何獲得更適合企業(yè)業(yè)務(wù)需求的先進(jìn)模型，并輕松上手？

潞晨訓(xùn)推一體機(jī)的“一條龍”路線圖，在模型層、平臺層、應(yīng)用層，都內(nèi)置了定制的AI軟件，方便使用。

模型層：潞晨訓(xùn)推一體機(jī)集成了眾多精選的優(yōu)質(zhì)開源模型，例如LLaMA3、Mixtral、Qwen等，方便企業(yè)用戶調(diào)用，快速體驗(yàn)到不同開源模型的能力。同時，借助潞晨訓(xùn)推框架的優(yōu)化，上述模型在一體機(jī)上的訓(xùn)練推理效率，會比原生硬件更高。

平臺層：平臺層的軟件工具下接算力、上接應(yīng)用，讓大模型從底層算力到上層應(yīng)用，實(shí)現(xiàn)順暢運(yùn)行和高效協(xié)作。潞晨訓(xùn)推一體機(jī)搭載的訓(xùn)推軟件Colossal LLM Studio，配備了直觀易用的UI界面，讓非技術(shù)背景的用戶也能輕松操作，通過低代碼、可視化的方式進(jìn)行模型訓(xùn)練微調(diào)，企業(yè)不再需要付費(fèi)外包，一個軟件就相當(dāng)于一支大模型訓(xùn)練團(tuán)隊(duì)。

應(yīng)用層：開箱即用的AI應(yīng)用，實(shí)用性強(qiáng)，可以將大模型的能力快速集成到企業(yè)現(xiàn)有的業(yè)務(wù)系統(tǒng)或應(yīng)用中，帶來實(shí)際的價值和效益。通過潞晨訓(xùn)推一體機(jī)，企業(yè)用戶用到潞晨科技推出的Colossal Reader，一款專為提升文檔理解效率而設(shè)計(jì)的AI智能助手。一方面，經(jīng)過精細(xì)調(diào)整和優(yōu)化的 RAG 流程，具備長文本能力，支持深度解析復(fù)雜文檔，如財(cái)務(wù)報表和法律文件，幫助用戶迅速掌握關(guān)鍵信息，實(shí)現(xiàn)高效辦公。同時，基于一體機(jī)的私有化部署既保證了長期使用的穩(wěn)定，又保障了企業(yè)內(nèi)部文檔等的數(shù)據(jù)安全。

Sora開啟了文生視頻的新階段，展現(xiàn)出AIGC在影視制作、游戲開發(fā)和廣告創(chuàng)意等方面的諸多可能。企業(yè)想在業(yè)務(wù)中引入類Sora能力，潞晨訓(xùn)推一體機(jī)上，免費(fèi)提供Open-Sora開源版本的本地推理部署。

潞晨科技團(tuán)隊(duì)傾力打造的文生視頻大模型Open-Sora，自3月19日登上GitHub Trending榜，受到大量開發(fā)者關(guān)注，星數(shù)持續(xù)增長，熱度僅次于Grok-1。其中LambdaLabs團(tuán)隊(duì)基于Open-Sora模型進(jìn)行微調(diào)打造了一個具有獨(dú)特藝術(shù)風(fēng)格的樂高動畫世界，展現(xiàn)了潞晨科技的技術(shù)領(lǐng)先性和實(shí)力。而這一優(yōu)秀模型，潞晨訓(xùn)推一體機(jī)的用戶可以直接在本地部署，基于高配硬件，結(jié)合企業(yè)的應(yīng)用場景，將文生視頻能力落地在自身業(yè)務(wù)中。

從模型層、平臺層、應(yīng)用層，潞晨訓(xùn)推一體機(jī)完整的AI軟件體系支持，讓企業(yè)不必有“FOMO（害怕錯過）情緒”，快速上手大模型及應(yīng)用。簡單易用的軟件風(fēng)景，為企業(yè)探索大模型營造了難得的松弛感。

第三道風(fēng)景：全周期服務(wù)，一路護(hù)航

有人會問，數(shù)據(jù)預(yù)處理、特征工程、模型訓(xùn)練、部署與監(jiān)控等一系列復(fù)雜的工程化任務(wù)，帶來了大量挑戰(zhàn)，企業(yè)是不是要構(gòu)建一支既懂技術(shù)又懂業(yè)務(wù)的團(tuán)隊(duì)？如果吸引不到這樣的人才怎么辦？

讓企業(yè)聚焦在業(yè)務(wù)創(chuàng)新上，需要相應(yīng)的運(yùn)維服務(wù)及售后服務(wù)，免除客戶的后顧之憂。

選擇潞晨訓(xùn)推一體機(jī)的企業(yè)客戶，將獲得潞晨科技的技術(shù)團(tuán)隊(duì)提供為期一周的免費(fèi)專業(yè)咨詢服務(wù)，解決數(shù)據(jù)處理和模型選擇等技術(shù)問題，以及最高級別的服務(wù)優(yōu)先權(quán)，并將優(yōu)先支持其他付費(fèi)服務(wù)。

我們知道，任何一個產(chǎn)業(yè)和企業(yè)都有自己的獨(dú)特性，即使擁有強(qiáng)大的通用性AI軟硬件，也容易施展不開手腳。讓大模型與行業(yè)特征、企業(yè)周期、業(yè)務(wù)場景相結(jié)合，是最難的一道關(guān)卡，也是潞晨科技希望通過服務(wù)加持助力企業(yè)消除與技術(shù)的隔閡。

獨(dú)行快、眾行遠(yuǎn)，去陌生的技術(shù)領(lǐng)域探索未知的景色，這個過程中，企業(yè)和潞晨科技的攜手，讓AI風(fēng)景可以長長久久地綿延下去。

一條龍深度游：“導(dǎo)游”潞晨的獨(dú)特AI打開方式

算力不折騰，簡單用，放心用，輕松用，潞晨訓(xùn)推一體機(jī)改變了大模型開發(fā)的“散裝”流程，用“訓(xùn)推一條龍”，推動大模型深入企業(yè)業(yè)務(wù)，加速落地。

從中，我們可以看到潞晨科技帶來的企業(yè)智能打開方式：

1.高集成。企業(yè)能夠在一個平臺上完成從模型訓(xùn)練到部署的全過程，無需在多個系統(tǒng)或工具之間切換，大大提高了工作效率。

2.質(zhì)價比。大模型，可以看做企業(yè)智能的“消費(fèi)升級”，有望帶來更高的智慧水平。訓(xùn)推一體機(jī)，提高算效，讓大模型變得物美價廉。總體來看，企業(yè)智能的質(zhì)價比正在提高，成為新的競爭力。

3.廣覆蓋。訓(xùn)推一體機(jī)降低了大模型應(yīng)用門檻，意味著更多行業(yè)和企業(yè)，尤其是缺乏自建智算中心能力的中小企業(yè)和傳統(tǒng)行業(yè)，可以在低門檻、輕成本的前提下，快速進(jìn)入智能階段，提高AI的滲透率和廣覆蓋。

作為企業(yè)智能的“一條龍導(dǎo)游”，潞晨訓(xùn)推一體機(jī)，讓大模型從大廠實(shí)驗(yàn)室和論壇峰會的神壇中走下來，進(jìn)入企業(yè)觸手可及的范圍之內(nèi)，變成水、電、網(wǎng)絡(luò)一樣的必需品和常規(guī)消費(fèi)品。

撬動企業(yè)智能的龐大市場，潞晨訓(xùn)推一體機(jī)正在兌現(xiàn)大模型的真正利好。欲知詳情，可移步潞晨科技公眾號。

審核編輯 黃宇