“Writer”利用 NVIDIA AI 軟件構建的大語言模型（LLM）幫助數百家公司創建內容。

機器學習幫助 Waseem Alshikh 在大學里讀完了課本。如今，他正在利用生成式 AI 為數百家公司創建內容。

在敘利亞出生和長大的 Alshikh 不會說英語，但他精通軟件。他在黎巴嫩上大學期間，將這一天賦發揮得淋漓盡致。

他回憶道：“第一天他們就給了我一摞課本，每本都有上千頁厚，而且全是用英語寫的。”

于是，他編寫了一個粗糙但有效的統計分類器程序來生成這些課本的內容摘要，然后進行學習。

從提出概念到創業

2014 年，他向在迪拜工作時結識的企業家 May Habib 分享了自己的故事。他們一拍即合，決定創辦一家初創企業，幫助總是要求“事半功倍”的營銷部門利用機器學習快速創建網頁、博客、廣告等內容。

Alshikh 在該初創企業擔任首席技術官。他表示：“最初我們無法實現這種技術。直到 Transformer 模型發布后，我們才基于此構建了這種技術。”

“我們找了幾位工程師，花了近六個月的時間建立了我們的第一個模型。這是一個幾乎無法運行的神經網絡，擁有約 1.28 億個參數。”參數數量是衡量 AI 模型能力的常用指標。

一路走來，這家年輕的公司逐漸贏得了一些業務，更名為 Writer，并與 NVIDIA 建立了聯系。

駛入快車道

他表示：“在開始使用NVIDIA NeMo后，我們就能夠建立行業級模型了，參數量從 30 億個增加到 200 億個，再到現在的 400 億個，而且還在不斷擴大。”

NeMo 是一個可以幫助企業整理其訓練數據集、構建和定制大語言模型（LLM），并在生產中大規模運行這些模型的應用框架。從韓國到瑞典，世界各地的企業都在使用它來定制本地語言和行業的大語言模型（LLM）。

Alshikh 表示：“在使用 NeMo 之前，我們需要四個半月的時間來構建一個新的十億級參數模型。而現在我們只需要 16 天就能完成，這真令人難以置信。”

模型帶來機遇

今年上半年，這家初創企業不到 20 名的 AI 工程師團隊利用 NeMo 開發了 10 個模型，每個模型都有超過 300 億個或更多的參數。

這帶來了巨大的機遇。現在，已經有數百家企業在使用 NeMo 為金融、醫療、零售和其他垂直市場定制的 Writer 模型。

▲ Writer 的 Recap 工具可根據采訪或活動錄音制作書面摘要

這家初創企業的客戶包括德勤、歐萊雅、財捷、優步等家喻戶曉的 500 強企業。

Writer 使用 NeMo 取得的成功僅僅是故事的開始。目前，已經有數十家其他公司下載了 NeMo。

這款包含在NVIDIA AI Enterprise中的軟件將很快可供使用。NVIDIA AI Enterprise 是一套專為加速生成式 AI 工作負載而優化，并以企業級支持、安全性和應用編程接口穩定性為保障的全棧式軟件。

▲ Writer 為企業用戶提供全棧式平臺

每月一萬億次 API 調用

一些客戶在自己的系統或云服務上運行 Writer 的模型，另一些客戶則要求 Writer 托管模型或者使用 Writer 的 API。

Alshikh 表示：“我們的云基礎設施基本上由兩個人管理，每月托管的 API 調用達萬億次，每秒生成 90,000 個單詞。我們提供的高質量模型可以與團隊規模更大、預算更多的公司所提供的產品相媲美。”

▲NVIDIA NeMo 支持從數據整理一直到推理的整個端到端生成式 AI 流程

Writer 使用與 NeMo 打包在一起的 Triton 推理服務器為其客戶在生產中運行模型。Alshikh 表示，許多運行 LLM 的公司都在使用 Triton。與其他程序相比，Triton 可實現更低的延遲和更高的吞吐量。

“這意味著你可以將運行一些服務的成本從 10 萬美元減少到 2 萬美元，這樣就能夠投入更多資金構建有意義的功能。” Alshikh 說道。