大型語言模型能識別、總結(jié)、翻譯、預(yù)測和生成文本及其他內(nèi)容。

AI 應(yīng)用在大型語言模型的幫助下，可用于解決總結(jié)文章、編寫故事和參與長對話等多種繁重工作。

大型語言模型（LLM）是一種深度學(xué)習(xí)算法，可以通過大規(guī)模數(shù)據(jù)集訓(xùn)練來學(xué)習(xí)識別、總結(jié)、翻譯、預(yù)測和生成文本及其他內(nèi)容。

大型語言模型是 Transformer 模型最成功的應(yīng)用之一。它們不僅將人類的語言教給 AI，還可以幫助 AI 理解蛋白質(zhì)、編寫軟件代碼等等。

除了加速翻譯軟件、聊天機(jī)器人、AI 助手等自然語言處理應(yīng)用之外，大型語言模型還在醫(yī)療、軟件開發(fā)等許多其他領(lǐng)域被使用。

大型語言模型的用途有哪些？

語言不僅僅是人類間的交流。

計(jì)算機(jī)的語言是代碼、生物學(xué)的語言是蛋白質(zhì)和分子序列……大型語言模型可用于此類語言或跨越多類型交流方式的場景。

這些模型擴(kuò)大了 AI 在各行各業(yè)中的影響，并有望推動新一輪的研究、創(chuàng)造和生產(chǎn)浪潮。因?yàn)樗鼈兛梢詭椭扇蚣謫栴}的復(fù)雜解決方案。這些模型擴(kuò)大了 AI 在各行各業(yè)中的影響，并有望推動新一輪的研究、創(chuàng)造和生產(chǎn)浪潮。因?yàn)樗鼈兛梢詭椭扇蚣謫栴}的復(fù)雜解決方案。

例如，使用大型語言模型的 AI 系統(tǒng)可以學(xué)習(xí)分子和蛋白質(zhì)結(jié)構(gòu)數(shù)據(jù)庫，然后運(yùn)用這些知識提出可行的化合物方案，幫助科學(xué)家開發(fā)出突破性的疫苗或療法。

大型語言模型還能幫助重構(gòu)搜索引擎、指導(dǎo)聊天機(jī)器人以及歌曲、詩歌、故事和營銷材料的編寫工具等等。

大型語言模型如何運(yùn)作？

大型語言模型從海量數(shù)據(jù)中學(xué)習(xí)。顧名思義，大型語言模型的核心就是訓(xùn)練它的數(shù)據(jù)集的大小。但對“大型”的定義正在隨著 AI 的發(fā)展而不斷擴(kuò)大。

目前，用于訓(xùn)練大型語言模型的數(shù)據(jù)集通常大到包含互聯(lián)網(wǎng)長時(shí)間跨度內(nèi)的幾乎所有內(nèi)容。

當(dāng)一個(gè)模型獲得了一個(gè)數(shù)據(jù)集但沒有收到關(guān)于該如何處理它的明確指示時(shí)，這些海量文本就會通過無監(jiān)督學(xué)習(xí)被輸入到 AI 算法中。大型語言模型通過這種方法來學(xué)習(xí)單詞、單詞之間的關(guān)系以及其背后的概念。例如它可以學(xué)會根據(jù)上下文來區(qū)分“bark”這個(gè)詞的不同含義。

就像掌握了一門語言的人可以猜測一個(gè)句子或段落接下來可能出現(xiàn)的內(nèi)容，甚至可以自己想出新的詞匯或概念一樣，大型語言模型可以使用其掌握的知識來預(yù)測和生成內(nèi)容。

大型語言模型也可以為特定用例進(jìn)行定制，包括通過微調(diào)或提示調(diào)整（prompt-tuning）等技術(shù)。Prompt-tuning 向模型提供小塊數(shù)據(jù)，來集中訓(xùn)練其勝任特定應(yīng)用。

憑借并行處理序列的計(jì)算效率，Transformer 模型架構(gòu)正在成為規(guī)模最大、性能最強(qiáng)的大型語言模型背后的構(gòu)建塊。

大型語言模型的主要用途

大型語言模型正在為搜索引擎、自然語言處理、醫(yī)療、機(jī)器人、代碼生成等領(lǐng)域開辟新的可能性。

當(dāng)下熱門的 ChatGPT 人工智能聊天機(jī)器人就是大型語言模型的應(yīng)用之一，它可以用于無數(shù)自然語言處理任務(wù)。

大型語言模型的應(yīng)用范圍近乎無限，包括：

• 零售商和其他服務(wù)商可以使用大型語言模型通過動態(tài)聊天機(jī)器人、AI 助手等方式提供更好的客戶體驗(yàn)。

• 搜索引擎可以使用大型語言模型提供更加直接且貼近人類的答案。

• 生命科學(xué)研究者可以訓(xùn)練大型語言模型理解蛋白質(zhì)、分子、DNA 和 RNA。

• 開發(fā)者可以使用大型語言模型編寫軟件和教機(jī)器人完成體力活。

• 營銷人員可以訓(xùn)練大型語言模型，將客戶的要求與反饋歸類或根據(jù)產(chǎn)品描述將產(chǎn)品分類。

• 金融顧問可以使用大型語言模型總結(jié)財(cái)報(bào)會議并創(chuàng)建重要會議的記錄。信用卡公司可以使用大型語言模型進(jìn)行異常檢測和欺詐分析以保護(hù)消費(fèi)者。

• 法務(wù)團(tuán)隊(duì)可以使用大型語言模型輔助進(jìn)行法律釋義和文件起草。

為了在生產(chǎn)中高效運(yùn)行這些大型模型，需要具備大量資源、技術(shù)專長等。因此，企業(yè)開始轉(zhuǎn)向 NVIDIA Triton Inference Server。這款軟件可以幫助實(shí)現(xiàn)模型部署的標(biāo)準(zhǔn)化并為生產(chǎn)提供快速、可擴(kuò)展的 AI。

在哪里可以獲得大型語言模型

2020 年 6 月，OpenAI 發(fā)布了 GPT-3 服務(wù)。該服務(wù)由一個(gè)具有 1750 億參數(shù)的模型驅(qū)動，可以根據(jù)簡短的書面提示生成文本和代碼。

2021 年，NVIDIA 和 Microsoft 開發(fā)了 Megatron-Turing Natural Language Generation 530B。作為世界最大的閱讀理解和自然語言推理模型之一，它能夠輕松完成總結(jié)歸納和內(nèi)容生成等任務(wù)。

HuggingFace 在去年發(fā)布了 BLOOM。這個(gè)開放式大型語言模型能夠生成 46 種自然語言和十幾種編程語言文本。

另一個(gè)大型語言模型 Codex 能幫助軟件工程師和其他開發(fā)者將文本轉(zhuǎn)換成代碼。

NVIDIA 提供了一些工具來簡化大型語言模型的構(gòu)建和部署：

• NVIDIA NeMo LLM服務(wù)，可提供一條快速路徑，以便自定義和使用在多個(gè)框架上訓(xùn)練的大型語言模型。開發(fā)者可以在私有云和公有云上使用 NeMo LLM 部署企業(yè) AI 應(yīng)用。

• NVIDIA AI 平臺內(nèi)置的NVIDIA NeMo Megatron是一個(gè)能夠簡單、高效、經(jīng)濟(jì)地訓(xùn)練和部署大型語言模型的框架。NeMo Megatron 專為開發(fā)企業(yè)級應(yīng)用而設(shè)計(jì)，它所提供的端到端工作流程可用于自動化分布式數(shù)據(jù)處理、訓(xùn)練 GPT-3 和 T5 等大規(guī)模自定義模型以及將這些模型部署到大規(guī)模推理中。

• NVIDIA BioNeMo是一個(gè)用于蛋白質(zhì)組學(xué)、小分子、DNA 和 RNA 大型語言模型的特定領(lǐng)域代管服務(wù)和框架。是一款基于 NVIDIA NeMo Megatron 構(gòu)建的 AI 賦能藥物研發(fā)云服務(wù)和框架，用于在超級計(jì)算規(guī)模下訓(xùn)練和部署大型生物分子 Transformer AI 模型。

大型語言模型所面臨的挑戰(zhàn)

擴(kuò)展和維護(hù)大型語言模型是一件困難且昂貴的事。

要建立一個(gè)基礎(chǔ)大型語言模型通常需要花費(fèi)數(shù)百萬美元進(jìn)行數(shù)月時(shí)間的訓(xùn)練。

而且由于大型語言模型訓(xùn)練的巨大數(shù)據(jù)需求，開發(fā)者和企業(yè)會發(fā)現(xiàn)想要獲得足夠多的數(shù)據(jù)集十分困難。

大型語言模型的規(guī)模使得想要部署它們需要具備一定的技術(shù)專長，包括對深度學(xué)習(xí)、Transformer 模型以及分布式軟件和硬件的深入了解。

許多技術(shù)領(lǐng)導(dǎo)者正在努力推進(jìn)開發(fā)工作，努力建立能夠擴(kuò)大大型語言模型接入范圍的資源來幫助個(gè)人和各規(guī)模企業(yè)都能從中受益。

點(diǎn)擊閱讀原文，進(jìn)一步了解大型語言模型。

掃描下方海報(bào)二維碼，即可免費(fèi)注冊 GTC23，在 3 月 24 日 聽 OpenAI 聯(lián)合創(chuàng)始人與 NVIDIA 創(chuàng)始人的爐邊談話，將由 NVIDIA 專家主持，配中文講解和實(shí)時(shí)答疑，一起看 AI 的現(xiàn)狀和未來！