如果說 AI 正處于改變歷史的“iPhone 時刻”，那么聊天機器人就是其首批熱門應用之一。

聊天機器人的誕生離不開大語言模型，這是一種基于大規模數據集進行預訓練的深度學習算法，能夠識別、總結、翻譯、預測和生成文本及其他形式的內容。這類模型可以在由 NVIDIA GeForce 和 RTX GPU 提供支持的 PC 和工作站上本地運行。

大語言模型擅長總結大量文本，通過數據分類和挖掘來獲取見解，以及按照用戶指定的風格、語氣或形式生成新文本。它們可以促進以各種語言進行的交流，甚至包括人類語言之外的非常規“語言”，例如計算機代碼或蛋白質和基因序列。

首代大語言模型只能處理文本，但后續迭代針對其他類型的數據進行了訓練。這些多模態大語言模型可以識別和生成圖像、音頻、視頻和其他內容形式。

像 ChatGPT 這樣的聊天機器人是首批將大語言模型帶給消費者的技術應用之一，它們提供了人們熟悉的界面，可以用自然語言提示詞對話并作出回復。此后，大語言模型用于幫助開發者編寫代碼，以及協助科學家推進藥物研發和疫苗研制。

然而，很多 AI 模型對算力的需求也不容小覷。將各類先進優化技術和算法（例如量化）與專為 AI 打造的 RTX GPU 結合，可為大語言模型“剪枝”，以使其可運行于 PC 本地，而無需連接互聯網。Mistral（為 Chat with RTX 提供支持的大語言模型之一）等新型輕量化大語言模型的異軍突起，降低了對算力和存儲空間的需求。

為何說大語言模型很重要？

大語言模型的適用性很寬，可用于各個行業和工作流。借助這種多功能性及其本身的高速性能，大語言模型能夠為幾乎所有基于語言的任務帶來性能和效率提升。

運行在云端 NVIDIA GPU 上的 DeepL

通過 AI 提供精準的翻譯服務。

由于通過 AI 和機器學習來確保輸出的準確性，因此像 DeepL 這樣的大語言模型被廣泛應用于語言翻譯。

醫學研究人員正在使用教科書和其他醫學數據訓練大語言模型，以期改善患者護理。零售商正在利用由大語言模型賦能的聊天機器人，為用戶提供出色的客戶支持體驗。金融分析師正在利用大語言模型記錄財報電話會議及其他重要會議，并總結會議內容。而這些只是大語言模型應用方式的冰山一角。

Chat with RTX 等聊天機器人和基于大語言模型構建的寫作助手正在知識型工作的方方面面留下自己的身影，無論是內容營銷、文案寫作還是法律相關的任務。編碼助手是大語言模型首批支持的應用之一，預示著由 AI 輔助開發軟件的未來。目前，ChatDev 為代表的項目，就是將大語言模型和 AI 智能體（可自主幫助回答問題或執行任務的智能機器人）結合起來，構建了由 AI 驅動的，可按需提供服務的虛擬軟件公司。用戶只需告訴系統需要何種應用，就可以看著系統開展工作了。

如同日常對話一般輕松

許多人第一次接觸生成式 AI 是通過 ChatGPT 等聊天機器人，這類機器人通過自然語言簡化了大語言模型的使用方式，用戶只需告訴模型需要做什么即可。

由大語言模型提供支持的聊天機器人可以幫助起草營銷文案，提供度假建議，撰寫客戶服務郵件，甚至創作原創詩歌。

大語言模型在圖像生成和多模態方面取得的進步，擴展了聊天機器人的應用領域，增加了分析和生成圖像的功能，同時保留了簡單易用的用戶體驗。用戶只需向機器人描述圖像或上傳照片并要求系統對其進行分析即可。除了聊天之外，還可以利用圖像做視覺輔助。

未來的技術進步將幫助大語言模型擴展在邏輯、推理、數學等方面的能力，賦予它們復雜的請求分解為更小子任務的能力。

AI 智能體方面也取得了進展，這類應用能夠接受復雜提示詞，將其分解為更小的提示詞，并自主與大語言模型和其他 AI 系統合作，以便完成提示詞交代的任務。ChatDev 是一種典型 AI 智能體，并不意味著智能體的僅能用于技術型任務。

例如，用戶可以要求個人 AI 旅行智能體為全家預訂出國度假游。該智能體可以將該任務分解為多個子任務，包括行程規劃、預訂旅游項目和住宿、創建裝箱單、尋找遛狗服務人員，然后按順序逐一獨立執行。

借助 RAG 解鎖個人數據

雖然大語言模型和聊天機器人在通用場景下已經非常強大，但如果能與個人用戶的數據結合使用，它們將變得更加實用。通過這種方式，它們可以幫助分析電子郵件以發現各種趨勢，梳理內容繁復的用戶手冊以找到某個技術問題的解答，或綜合和分析多年累積的銀行和信用卡對賬單。

將特定數據集與大語言模型掛接，檢索增強生成（RAG）是最簡單有效的方法之一。

PC 上的 RAG 示例。

RAG 可利用從外部來源獲取的事實資料來提高生成式 AI 模型的準確性和可靠性。通過將大語言模型與幾乎任意外部資源連接，用戶可通過 RAG 與數據倉庫“對話”，同時大語言模型也能借助 RAG 直接引用來源。用戶體驗相當簡便，只需為聊天機器人指明文件或目錄即可。

例如，在內容策略最佳實踐、營銷手段以及對特定行業或客戶群體的基本見解等方面，標準的大語言模型具備相關常識。然而，如果通過 RAG 將其與用于產品發布的營銷素材連接起來，大語言模型將能夠分析內容并幫助規劃量身定制的策略。

RAG 適用于任何大語言模型，只要應用本身支持 RAG 即可。NVIDIA Chat with RTX 是通過 RAG 將大語言模型連接到個人數據集的一個演示示例。它可本地運行于配備了 GeForce RTX GPU 或 NVIDIA RTX 專業 GPU 的系統上。

體驗 Chat with RTX 的速度與私密性

Chat With RTX 是一款能在本地運行的個性化聊天機器人演示應用，不僅易于使用，還可免費下載。它基于 RAG 構建，且支持 TensorRT-LLM 和 RTX 加速 Chat With RTX 支持多個開源大語言模型，包括 Llama 2 和 Mistral。對 Google 的 Gemma 模型的支持將在后續更新中提供。

Chat with RTX 可通過 RAG

將用戶與其個人數據連接起來。

用戶只需將文件放入一個文件夾，并為 Chat With RTX 指明該文件夾的位置，即可輕松將 PC 上的本地文件連接到受支持的大語言模型。之后，Chat With RTX 便可快速回答各類查詢，給出相關的回復。

Chat with RTX 運行在 GeForce RTX PC 和 NVIDIA RTX 工作站的 Windows 系統上，因此其速度很快，同時用戶的數據保存在本地。Chat with RTX 并不依賴基于云的服務，用戶可以在本地 PC 上處理敏感數據，因此無需與第三方共享數據或連接互聯網。

審核編輯：劉清