瑞典國家圖書館正在使用五百年來的瑞典語文本訓(xùn)練最先進的 AI 模型，以支持歷史、語言學(xué)、媒體研究等方面的人文研究。

從價值連城的中世紀手稿到今天的披薩店菜單，瑞典國家圖書館在過去 500 年中收藏了幾乎所有瑞典語出版物。

由于瑞典法律要求一切瑞典語出版物都要上交副本至瑞典國家圖書館（也稱為瑞典皇家圖書館），因此該圖書館的藏品涵蓋了各清晰度的書籍、報紙、無線廣播、電視廣播、互聯(lián)網(wǎng)內(nèi)容、博士論文、明信片、菜單和電子游戲。這個內(nèi)容豐富的收藏集含近 26 PB 的數(shù)據(jù)，是訓(xùn)練尖端 AI 的最佳選擇。

瑞典國家圖書館數(shù)據(jù)實驗室 KBLab 的負責(zé)人 Love B?rjeson 表示：“我們有最好的數(shù)據(jù)，所以我們可以構(gòu)建最先進的瑞典語 AI 模型。”

該團隊使用 NVIDIA DGX 系統(tǒng)開發(fā)了二十多個可在 Hugging Face 上使用的開源 Transformer 模型。這些模型推動了圖書館和其他學(xué)術(shù)機構(gòu)的研究，每月的開發(fā)者下載量多達 20 萬。

B?rjeson 表示：“在我們的實驗室成立前，研究者無法在圖書館訪問數(shù)據(jù)集，他們每次只能查閱一個對象。因此，為幫助那些需要大量查閱資料的研究者，創(chuàng)建圖書館的數(shù)據(jù)集十分必要。”

這樣，研究者很快就能創(chuàng)建專門的數(shù)據(jù)集。例如，調(diào)出所有描繪教堂的瑞典明信片、所有特定風(fēng)格的文本或是所有提到某一歷史人物的書籍、報紙文章及電視廣播。

從圖書館檔案到 AI 訓(xùn)練數(shù)據(jù)

瑞典國家圖書館的數(shù)據(jù)集涵蓋了瑞典語的所有變體，包括各種正式和非正式變體、地區(qū)方言以及隨著時間的推移而產(chǎn)生的變化。

B?rjeson 表示：“數(shù)據(jù)還在持續(xù)不斷地涌入并增長，我們每個月都會增加超過 50 TB 的新數(shù)據(jù)。在處理成倍增長的數(shù)據(jù)的同時，我們還要將數(shù)百年前的實物藏品轉(zhuǎn)換成數(shù)據(jù)錄入，所以我們一直在不斷擴大我們的數(shù)據(jù)集。”

2019 年 KBLab 成立后不久，B?rjeson 就看到了運用龐大的圖書館檔案訓(xùn)練 Transformer 語言模型的潛力。谷歌早期的多語言自然語言處理模型含有 5GB 瑞典語文本，他從此受到了啟發(fā)。

KBLab 的第一個模型使用了谷歌多語言自然語言處理模型 4 倍之多的數(shù)據(jù)——B?rjeson 團隊的目標是使用至少 1 TB 的瑞典語文本訓(xùn)練模型。在發(fā)現(xiàn)多語言數(shù)據(jù)集可能提高 AI 的性能之后，這座實驗室開始進行實驗，在其數(shù)據(jù)集中添加荷蘭語、德語和挪威語內(nèi)容。

NVIDIA AI 和 GPU 加速模型開發(fā)

該實驗室一開始使用的是消費級 NVIDIA GPU，但 B?rjeson 很快發(fā)現(xiàn)他的團隊需要數(shù)據(jù)中心規(guī)模的計算來訓(xùn)練更大的模型。

B?rjeson 表示：“我們意識到在小型工作站上無法完成這項工作，所以 NVIDIA DGX 是明智之選。我們很多的工作離不開 DGX 系統(tǒng)。”

該實驗室使用兩套來自瑞典供應(yīng)商 AddPro 的 NVIDIA DGX 系統(tǒng)進行本地 AI 開發(fā)。這些系統(tǒng)用于處理敏感數(shù)據(jù)、開展大規(guī)模實驗和微調(diào)模型。它們還準備在全歐盟搭載 GPU 的大型超級計算機上進行更大規(guī)模的運行，其中包括盧森堡的 MeluXina 系統(tǒng)。

B?rjeson 表示：“我們在 DGX 系統(tǒng)上的工作至關(guān)重要，因為我們希望能夠在高性能計算環(huán)境中做到最好，這必須將超級計算機的作用發(fā)揮到極致。”

該團隊還采用了用于訓(xùn)練大型語言模型的 PyTorch 框架 NVIDIA NeMo Megatron。其內(nèi)置的 NVIDIA CUDA 和 NVIDIA NCCL 庫可優(yōu)化 GPU 在多節(jié)點系統(tǒng)中的使用。

B?rjeson 表示：“我們十分依賴 NVIDIA 的框架。因為我們實驗室的規(guī)模較小，無法派出 50 名工程師優(yōu)化每個項目的 AI 訓(xùn)練，NVIDIA 的優(yōu)勢在這就十分明顯了。”

利用多模態(tài)數(shù)據(jù)開展人文科學(xué)研究

除了能夠理解瑞典語文本的 Transformer 模型外，KBLab 還有一個能將聲音轉(zhuǎn)換成文本的 AI 工具。這使得圖書館能夠?qū)⑵浯罅康臒o線廣播收藏轉(zhuǎn)換成數(shù)據(jù)集，以便研究者能夠搜索錄音中的具體內(nèi)容。

KBLab 還在開發(fā)生成式文本模型，同時還在研究一個可以處理視頻并自動生成內(nèi)容描述的 AI 模型。

B?rjeson 表示：“我們還希望將各種模態(tài)的數(shù)據(jù)聯(lián)系起來。當(dāng)你在圖書館數(shù)據(jù)庫中搜索一個特定的詞語時，系統(tǒng)將能夠返回包括文本、音頻和視頻在內(nèi)的結(jié)果。”

KBLab 與哥德堡大學(xué)的研究者開展了合作。這些研究者正在使用該 KBLab 的模型開發(fā)用于語言學(xué)研究的下游應(yīng)用程序。項目之一是幫助瑞典學(xué)院升級用于創(chuàng)建瑞典語詞典的數(shù)據(jù)驅(qū)動技術(shù)。

B?rjeson 表示：“這些模型的社會效益遠遠超出了我們的最初預(yù)想。”

點擊“閱讀原文”或掃描下方海報二維碼，即可免費注冊 GTC 23，切莫錯過這場 AI 和元宇宙時代的技術(shù)大會！