他表示：“在開(kāi)始使用 NVIDIA NeMo 后，我們就能夠建立行業(yè)級(jí)模型了，參數(shù)量從 30 億個(gè)增加到 200 億個(gè)，再到現(xiàn)在的 400 億個(gè)，而且還在不斷擴(kuò)大。”

NeMo 是一個(gè)可以幫助企業(yè)整理其訓(xùn)練數(shù)據(jù)集、構(gòu)建和定制大語(yǔ)言模型（LLM），并在生產(chǎn)中大規(guī)模運(yùn)行這些模型的應(yīng)用框架。從韓國(guó)到瑞典，世界各地的企業(yè)都在使用它來(lái)定制本地語(yǔ)言和行業(yè)的大語(yǔ)言模型（LLM）。

Alshikh 表示：“在使用 NeMo 之前，我們需要四個(gè)半月的時(shí)間來(lái)構(gòu)建一個(gè)新的十億級(jí)參數(shù)模型。而現(xiàn)在我們只需要 16 天就能完成，這真令人難以置信。”

模型帶來(lái)機(jī)遇

今年上半年，這家初創(chuàng)企業(yè)不到 20 名的 AI 工程師團(tuán)隊(duì)利用 NeMo 開(kāi)發(fā)了 10 個(gè)模型，每個(gè)模型都有超過(guò) 300 億個(gè)或更多的參數(shù)。

這帶來(lái)了巨大的機(jī)遇。現(xiàn)在，已經(jīng)有數(shù)百家企業(yè)在使用 NeMo 為金融、醫(yī)療、零售和其他垂直市場(chǎng)定制的 Writer 模型。

Writer 的 Recap 工具可根據(jù)采訪

或活動(dòng)錄音制作書面摘要

這家初創(chuàng)企業(yè)的客戶包括德勤、歐萊雅、財(cái)捷、優(yōu)步等家喻戶曉的 500 強(qiáng)企業(yè)。

Writer 使用 NeMo 取得的成功僅僅是故事的開(kāi)始。目前，已經(jīng)有數(shù)十家其他公司下載了 NeMo。

這款包含在 NVIDIA AI Enterprise 中的軟件將很快可供使用。NVIDIA AI Enterprise 是一套專為加速生成式 AI 工作負(fù)載而優(yōu)化，并以企業(yè)級(jí)支持、安全性和應(yīng)用編程接口穩(wěn)定性為保障的全棧式軟件。

Writer 為企業(yè)用戶提供全棧式平臺(tái)

每月一萬(wàn)億次 API 調(diào)用

一些客戶在自己的系統(tǒng)或云服務(wù)上運(yùn)行 Writer 的模型，另一些客戶則要求 Writer 托管模型或者使用 Writer 的 API。

Alshikh 表示：“我們的云基礎(chǔ)設(shè)施基本上由兩個(gè)人管理，每月托管的 API 調(diào)用達(dá)萬(wàn)億次，每秒生成 90,000 個(gè)單詞。我們提供的高質(zhì)量模型可以與團(tuán)隊(duì)規(guī)模更大、預(yù)算更多的公司所提供的產(chǎn)品相媲美。”

NVIDIA NeMo 支持從數(shù)據(jù)整理

一直到推理的整個(gè)端到端生成式 AI 流程

Writer 使用與 NeMo 打包在一起的 Triton 推理服務(wù)器為其客戶在生產(chǎn)中運(yùn)行模型。Alshikh 表示，許多運(yùn)行 LLM 的公司都在使用 Triton。與其他程序相比，Triton 可實(shí)現(xiàn)更低的延遲和更高的吞吐量。

“這意味著你可以將運(yùn)行一些服務(wù)的成本從 10 萬(wàn)美元減少到 2 萬(wàn)美元，這樣就能夠投入更多資金構(gòu)建有意義的功能。” Alshikh 說(shuō)道。

廣闊的視野

Writer 還是 NVIDIA 初創(chuàng)加速計(jì)劃（https://www.nvidia.cn/startups/）的成員，該計(jì)劃旨在培育前沿初創(chuàng)企業(yè)。Alshikh 表示：“多虧了 NVIDIA 初創(chuàng)加速計(jì)劃，我們才有機(jī)會(huì)盡早使用 NeMo，還有一些了不起的人指導(dǎo)我們?nèi)绾螌ふ液褪褂盟璧墓ぞ摺！?/p>

如今，Writer 的文本產(chǎn)品已經(jīng)開(kāi)始受到關(guān)注，Alshikh 在佛羅里達(dá)州和加利福尼亞州兩地奔波，探尋接下來(lái)的發(fā)展方向。在生成式 AI 這片廣闊的“疆域”，他看到了圖像、音頻、視頻、3D 等領(lǐng)域的機(jī)遇，而且這些機(jī)遇可能會(huì)同時(shí)出現(xiàn)。

他表示：“我們認(rèn)為多模態(tài)是未來(lái)的趨勢(shì)”。

在此頁(yè)面（https://developer.nvidia.com/nemo）了解如何開(kāi)始使用 NeMo。訪問(wèn)此頁(yè)面（https://developer.nvidia.com/nemo-framework-open-beta）了解多模態(tài) NeMo 的搶先體驗(yàn)計(jì)劃。

如果您喜歡這篇文章，請(qǐng)使用以下 Writer 建議的摘要轉(zhuǎn)發(fā)給社交網(wǎng)絡(luò)上的朋友：

“了解初創(chuàng)企業(yè) Writer 如何利用 NVIDIA NeMo 軟件為數(shù)百家公司生成內(nèi)容，并以少量人員和預(yù)算獲得可觀的收入。”

SIGGRAPH 2023

NVIDIA 精彩發(fā)布

更多精彩，仍在繼續(xù)...

敬請(qǐng)持續(xù)關(guān)注