ChatGPT引發了大型語言模型（LLM）的創新浪潮，比以往任何時候都有更多的公司將自然語言交互的能力融入到他們的產品中。LLM API的應用正在創造一個新的生態，將生成式文字和語音的融合發展到一個新的水平，使得人機交互更加便捷。許多企業都正在積極探索，并制定新的人工智能（AI）戰略，以不同的方式來定制各個領域或行業的大型模型。未來充滿了發展的潛力，讓我們共同期待吧。 ?

1. 紅杉網絡中的幾乎每家公司都在為他們的產品建立大語言模型。 我們已經看到了神奇的自動完成功能，從代碼（Sourcegraph, Warp, Github）到數據科學（Hex）。我們已經看到了更好的聊天機器人：從客戶支持、員工支持到消費者娛樂。其他公司正在用“AI優先”的理念重新想象整個工作流程：視覺藝術（Midjourney）、營銷（Hubspot、Attentive、Drift、Jasper、Copy、Writer）、銷售（Gong）、聯絡中心（Cresta）、法律（Ironclad、Harvey）、會計（Pilot）、生產力（Notion）、數據工程（dbt）、搜索（Glean、Neeva）、雜貨購物（Instacart）、消費者支付（Klarna）和旅行規劃（Airbnb）。這些只是幾個例子，它們只是開始，未來這類應用會有爆發式增長。

2. 這些應用新生態：以語言模型API、檢索和協調為中心，但開源的使用也在增長。

65%的人開始使用這類LLM的應用程序，比兩個月前的50%要高，而其余的人仍在試驗。

94%的人正在使用基礎模型API。在我們的樣本中，OpenAI的GPT顯然是最受歡迎的，占91%，然而Anthropic的興趣在上個季度增長到15%。(一些公司正在使用多種模型）。

88%的人認為檢索機制，如矢量數據庫，仍然是應用生態的一個關鍵部分。檢索相關的上下文供模型推理，有助于提高結果的質量，減少 "幻覺"（不準確），并解決數據新鮮度問題。有些人使用特制的矢量數據庫（Pinecone、Weaviate、Chroma、Qdrant、Milvus等等），而其他人則使用pgvector或AWS的產品。

38%的人對LangChain這樣的LLM協調和應用開發框架感興趣。一些人將其用于原型設計，而其他人則在生產中使用。在過去的幾個月里，采用率有所增加。

10%以下的人在尋找監測LLM產出、成本或性能以及A/B測試提示的工具。我們認為，隨著更多的大公司和受監管的行業采用大語言模型，對這些領域的興趣可能會增加。

少數公司正在研究互補的生成技術，如生成性文本和語音如何更好結合起來。我們也相信這是一個令人興奮的增長領域。

15%的公司從零開始或開放源碼建立了自定義語言模型，通常在使用LLM的API之外。自定義模型訓練比幾個月前有意義地增加。這需要自己的計算、模型中心、托管、訓練框架、實驗跟蹤等方面的能力，這些能力的組件來自Hugging Face、Replicate、Foundry、Tecton、Weights & Biases、PyTorch、Scale等公司。

我們采訪的每一位從業者都說，人工智能發展太快，對最終狀態的堆棧信心不足，但大家一致認為，LLM的API仍將是一個關鍵支柱，其次是檢索機制和LangChain等開發框架的普及。開源和定制的模型訓練和調整似乎也在上升，而且有必要，但目前成熟度較低。

3. 公司希望根據其獨特的環境定制大語言模型。 通用的大語言模型是強大的，但對于許多用例來說并不具有差異性或充分性。公司希望在自己的數據上實現自然語言交互，能充分使用開發者文檔、制品庫或測試件、人力資源或IT規則等。在某些情況下，公司也想根據用戶的數據定制應用領域大模型：用戶的個人筆記、設計布局、數據指標或代碼庫。 現在，有三種主要的方式來定制領域/行業大模型：?

從頭開始訓練一個自定義模型，困難程度最高。這是解決這個問題的經典和最難的方法。它通常需要高度熟練的ML科學家、大量的相關數據、訓練基礎設施和計算。這也是歷史上許多自然語言處理（NLP）創新發生在巨型科技公司內的主要原因之一。BloombergGPT是一個很好的例子，它是在巨型科技公司之外的定制模型工作，它使用了Hugging Face和其他開源工具的資源。隨著開源工具的改進和更多公司對LLMs的創新，我們希望看到更多的定制和預訓練模型的使用。

微調一個基礎模型。難度中等。這是通過進一步的專有或特定領域數據的額外訓練來更新預訓練模型的權重。開放源碼的創新也使得這種方法越來越容易獲得，但它仍然經常需要一個復雜的團隊。一些從業者私下承認，微調比聽起來要難得多，而且可能會產生意想不到的后果，比如模型漂移和在沒有警告的情況下 "破壞 "模型的其他技能。雖然這種方法有更大的機會變得更普遍，但目前對大多數公司來說仍然遙不可及，但另一方面，這種情況正在迅速得到改善。

使用預先訓練好的模型并檢索相關背景。最低的難度。人們常常認為他們想要一個只為他們而微調的模型，而實際上他們只是想讓模型在正確的時間對他們的信息進行推理。有很多方法可以在正確的時間為模型提供正確的信息：對SQL數據庫進行結構化查詢，在產品目錄中搜索，調用一些外部API或使用嵌入（embedding）檢索。嵌入檢索的好處是，它使非結構化數據很容易使用自然語言進行搜索。從技術上講，這是通過收集數據將其轉化為嵌入，將其存儲在一個矢量數據庫中，當查詢發生時，搜索這些嵌入數據以獲得最相關的背景，并將其提供給模型。這種方法可以幫助我們破解模型有限的上下文窗口，成本較低，解決了數據的新鮮度問題（例如，ChatGPT不知道2021年9月以后的世界），而且它可以由一個沒有經過正式機器學習培訓的單獨開發者完成。

矢量數據庫很有用，因為在高規模下，它們使存儲、搜索和更新嵌入更容易。到目前為止，我們觀察到較大的公司停留在其企業云協議內，并使用其云供應商提供的工具，而初創公司傾向于使用特制的矢量數據庫。然而，這類應用也是高度動態的。上下文窗口增長很快（將 LLaMA、GPT-4 上下文都擴展到32k token，這相當于 50 頁的文字，基于 OpenLLaMA 大型語言模型將上下文的長度擴展到 256k token），未來上下文的擴展能力不可限量。基礎模型和云數據庫可能直接將檢索嵌入其服務中。我們正在密切關注這個市場的發展。

4. 今天，LLM APIs的生態與定制模型訓練生態是分開的，但隨著時間的推移，這些正在融合在一起。 我們感覺有兩個生態的故事：利用LLM API的生態（更封閉的源代碼、面向開發者）與訓練自定義LLM的生態（更開放的源代碼、面向更復雜的ML團隊）。有些人想知道，LLM通過API隨時可用是否意味著公司會減少自己的定制訓練。到目前為止，我們看到的情況正好相反。隨著對AI興趣的增長和開源開發的加速，許多公司對訓練和微調自己的模型越來越感興趣。我們認為，隨著時間的推移，LLM API和自定義模型兩種生態將越來越趨于一致。例如，一家公司可能會從開源中訓練自己的LLMs，但通過矢量數據庫補充檢索以解決數據的新鮮度問題。聰明的初創公司為定制LLM建立工具，也在努力擴展他們的產品，使之與LLM API革命更加相關。 ? ?

5. LLM生態正變得越來越對開發者友好。 LLM API將強大的現成模型交到普通開發者的手中，而不僅僅是ML團隊。現在，使用LLM的人群已經顯著地擴展到了所有的開發者，我們相信未來會看到更多面向開發者的工具。例如，LangChain通過抽象化常見的問題來幫助開發者建立LLM應用：將模型結合到更高層次的系統中，將對LLM的多個調用鏈能組合在一起，通過工具將模型和數據源連接起來，建立可以操作這些工具的代理，并通過使LLM轉換更加容易，以幫助我們避免廠商鎖定。一些人將LangChain用于原型設計，而另一些人則繼續在生產中使用它。

6. LLM需要變得更值得信賴（輸出質量、數據隱私、安全）才能被全面采用。 在我們應用中完全釋放LLM能量之前，許多公司希望有更好的工具來處理數據隱私、隔離、安全、版權和監控模型輸出。從金融科技到醫療保健等受監管行業的公司特別關注這個問題，并報告說很難找到軟件解決方案來解決這個問題。好消息是，chatGPT可以在具有防火墻保護的安全沙箱環境中運行，確保代碼執行、數據分析和文件管理的最大安全性，具體可以參考：chatGPT 神器 Code Interpreter 的三大超級特性、十大驚人魔法。理想的情況是，有軟件可以提醒（如果不是阻止）模型產生錯誤/幻覺、歧視性內容、危險內容或其他問題。一些公司還關注與模型共享的數據如何用于訓練：例如，很少有人清楚：ChatGPT消費者數據是默認用于訓練的，而ChatGPT商業版本和API數據則不會用于訓練。隨著政策的明確和更多護欄的到位，LLM將得到更好的信任，我們可能會看到采用的另一個步驟的變化。

? 7. 語言模型應用將變得越來越多模態

公司已經在尋找有趣的方法來結合多種生成模型，以達到巨大的效果：融合了文本和語音生成的聊天機器人體現了更高的對話體驗水平。文字和語音模型可以結合起來，幫助我們快速地修正/覆蓋視頻錄制的一些錯誤，而不是重新錄制整個過程。模型本身正變得越來越多的多模態。我們可以想象，未來豐富的消費者和企業AI應用將結合文本、語音/音頻和圖像/視頻生成，創造更有吸引力的用戶體驗，完成更復雜的任務。 AI剛剛開始滲入技術的每個縫隙。今天，只有65%的受訪者在產品開發中應用LLM，而且其中許多是相對簡單的應用。隨著越來越多的公司推出LLM應用，新的障礙、困難將會出現，需要我們面對挑戰、去克服困難。基礎設施層將在未來幾年內繼續快速發展，進一步推動LLM的應用，越來越多的產品會融入LLM，增加產品用戶體驗，更高效完成任務，未來越來越多的產品將讓我們更加興奮，值得期待。

編輯：黃飛

?