作者：吳敏達，IBM 科技事業部 數據與人工智能資深技術專家

? ? ? ? ? ? ? ? ?

作者簡介：吳敏達是 The Open Group 卓越級技術專家 (Distinguished Technical Specialist)，同時擁有計算機技術與軟件專業系統架構設計師技術資格。他現在是 IBM 科技事業部數據與人工智能資深技術專家，擁有 20 多年數據分析軟件相關技術經驗，是 IBM 認證的大數據架構師和 Watson 開發者，專長是大數據、人工智能等領域。他是 IBM Developer 的大師級作者，已經發表了 40 余篇技術文章和教程?，F從事大數據、人工智能相關技術支持和架構設計工作。

引言

對企業用戶而言，擁有選擇權對于成功采用人工智能至關重要。對于生成式 AI ，并非所有大模型都是一樣的，一種模型并不適合所有情況：最好的模型將取決于行業、領域和用例。IBM watsonx 為客戶提供一系列模型選擇，包括 IBM 開發的基礎模型、開源模型以及來自第三方供應商的模型，在模型和部署環境兩個維度上提供選擇和靈活性。

更重要的是，模型并不總是越大越好，過大的模型推理成本太高，企業無法承擔運行

數據處理

為了支持企業級大模型的訓練，IBM 構建了一個來自學術界、互聯網、企業 (例如金融、法律) 和源代碼的非結構化語言數據的大數據集。這是非常罕見的，也表示了 IBM 對透明度和負責任的 AI 的承諾。

該預訓練數據集是替代開源數據集而創建的專有數據集，開源數據集因包含有毒、有害或盜版內容而受到批評。通過構建 IBM 預訓練數據語料庫解決以上提到的這些問題和其他隱含問題。IBM 大模型訓練中使用的數據集如下：

1. arXiv: 發布到 arXiv 的超過 180 萬篇科學論文預印本。

2. Common Crawl: 開放的可以被網絡爬蟲獲取的存儲庫。

3. DeepMind Mathematics: 數學問答數據。

4. Free Law: 來自美國聯邦和州法院的公共領域法律意見。

5. GitHub Clean: 來自 CodeParrot 的源代碼數據，涵蓋多種編碼語言。

6. Hacker News: 2007-2018 年產生的計算機科學與創業新聞。

7. OpenWeb Text: OpenAI 的 Web 文本語料庫的開源版本，包含到 2019 年的網頁。

8. Project Gutenberg (PG-19): 免費電子書庫，重點關注美國版權已過期的舊作品。

9. Pubmed Central: 生物醫學和生命科學論文。

10. SEC Filings: 美國證券交易委員會 (SEC)1934-2022 年的 10-K/Q 文件。

11. Stack Exchange: Stack Exchange 網絡上所有用戶貢獻內容的匿名集合，這是一個以用戶貢獻的問題和答案為中心的流行網站集合。

12. USPTO: 1975年至2023年5月授予的美國專利，不包括外觀設計專利。

13.Webhose: IBM 獲取的 Web 內容轉換為機器可讀數據集。

14. Wikimedia: 維基項目 (enwiki，enwikibooks，enwikinews，enwikiquote，enwikisource，en- wikiversity，enwikivoyage，enwiktionary)。包含從頁面和文章中提取的純文本。

IBM 精選的預訓練數據集正在不斷增長和發展，其他數據會定期審查并考慮添加到語料庫中。除了增加預訓練數據的大小和范圍外，還會定期生成和維護這些數據集的新版本，以反映增強的過濾功能 (例如，重復數據刪除以及仇恨和臟話檢測) 和改進的工具。

在 granite.13b 進行預訓練時，IBM 在預處理之前收集了 6.48 TB 的數據，在預處理后構建了 2.07 TB 的訓練數據。而 granite.20b.code 在預處理后構建了 100 多種不同編碼語言的 1.6T 的訓練數據，包括 Cobol 和 Ansible。

整個數據預處理管道的各種步驟為模型訓練做好準備，整個過程是在最大的可信企業級數據湖 watsonx.data 上完成的，這是建立在開放式湖倉一體架構之上。預處理過程由以下步驟組成：

1）文本提取

2）重復數據消除

3）語言識別

4）句子拆分

5）仇恨、辱罵和臟話檢測

6）文檔質量注釋

7）網址屏蔽列表注釋

8）過濾

9）標記化

從訓練數據可以看出，IBM 模型為什么可以安全地供企業使用？

• 根據 IBM 廣泛的數據治理實踐 (對應于數據清理和獲取)對模型進行了審查；文件質量檢查；預處理數據管道，包括標記化、重復數據刪除等。

• Granite 模型根據 IBM 自己的 HAP (仇恨、辱罵和臟話)檢測器審查的數據進行訓練，以檢測并根除令人反感的內容，并以內部和公共模型為基準。

• IBM 部署定期、持續的數據保護措施，包括監控以盜版或其他攻擊性材料聞名的網站，并避開這些網站。?

  ?

  ?

模型訓練

第一階段預訓練過程，granite.13b 基礎模型經過 30 萬次迭代訓練，批量大小為 4M 個 Token，總共 1 萬億個 Token。預訓練讓大模型根據輸入生成文本。

第二階段監督微調過程，使用來自不同來源的數據集混合執行監督微調，每個示例都包含一個提示和一個答案，執行3個周期獲得 granite.13b.instruct 模型。

第三階段對比微調過程，懲罰來自負數據分布的數據點概率，同時增加來自正數據分布的數據點的概率。換句話說，我們不鼓勵大模型為每個訓練提示生成錯對齊的答案 (例如有害的答案)，同時鼓勵對齊的答案 (例如有用的答案)。通過防止模型輸出出現幻覺和錯位，最后獲得 granite.13b.chat 模型。

IBM 用于訓練基礎模型的主要計算基礎設施是 AI 優化的云原生超級計算機 Vela [2]，每個 Vela節點：

? 8 個 80GB A100 GPU

? 96 CPU

? 1.5TB 的 DRAM

? 4 個3.2TB NVMe 固態硬盤

? 600GBps GPU 高可用網絡連接

? 1.6TB 跨機架帶寬

granite.13b.v1 大模型是在較舊的基礎設施上訓練的，使用了 256 個 A100 GPU，花費了 1056 GPU Hours。而 granite.20b.code 大模型是在更新的基礎設施上訓練的，使用了 768 個 A100 GPU。

應用場景

Granite 大模型支持所有 5 個 NLP 任務 (問答、生成、提取、總結、分類)，這些任務針對跨多個領域的業務目標數據進行訓練，以提供最相關的見解。IBM 訓練的 AI 模型可以通過快速的工程技術進一步定制，以滿足特定的企業任務，從而在 watsonx.ai 中實現更高的準確性和實現價值的時間。最終可以使用企業數據針對獨特的下游任務調整模型，例如，針對正在進行的以 NLP 為中心的任務進行提示調整。

企業需要的模型一定是學到企業的專用知識，當使用 IBM 開發的模型來創建差異化的 AI 資產時，可以進一步定制 IBM 模型以滿足特定的下游任務。 通過提示工程和微調技術，客戶可以負責任地使用自己的企業數據來提高模型輸出的準確性，從而創造競爭優勢。watsonx.ai 可以進行本地部署，從而實現數據的合規和安全。

Granite 大模型采用了特定領域的企業數據，10% 的訓練數據來自法律和金融，這使得信用風險評估、保險 QA、對話式金融 QA 和總結等財務任務具有卓越的性能。因此，金融服務領域的客戶 (銀行、保險、金融)或有法律需求的客戶，Granite 是一個值得推薦的絕佳模型。另外 Granite.13b 需要更少的 GPU 資源實現金融任務的卓越性能，從而實現更高的性價比?；?IBM Research 的初步評估和測試 ，涵蓋 11 種不同的金融任務，結果表明 granite-13b 是金融任務中表現最佳的模型之一，評估的任務包括：提供股票和財報電話會議記錄的情緒評分、對新聞標題進行分類、提取信用風險評估、總結金融長篇文本以及回答金融或保險相關問題。在測試中，granite-13b 的速度比業界 70b 的大模型快 3 倍，GPU 資源消耗減少 1/4。令人欣喜的是，granite.13b.v2 也正在緊鑼密鼓的開發訓練中，通過添加多語言的語料訓練，實現多語言支持。

在代碼領域，granite.20b.code 分為 cobol 和 ansible 的兩個變體，granite.20b.code.cobol 可在 IBM Z 上更快地將 COBOL 語言轉換為 Java 語言，從而提高開發人員的工作效率；而 granite.20b.ansible 旨在為 IT 運營自動化生成 ansible 劇本。

治理和管控

IBM 的 AI 開發方法以基于信任和透明度承諾的核心原則為指導，堅信要負責任地創建、部署和利用 AI 模型來推動業務創新。

在 Granite 模型開發中利用 watsonx.governance 進行基礎模型生命周期治理，通過基準測試評估模型質量，打包并標記通過測試的模型，創建模型名片，記錄模型細節，合并數據名片與模型名片，形成模型事實。支持大模型特定指標收集和警報，提升公平性和責任 (例如監控濫用和褻瀆行為)，通過源屬性解釋大模型輸出，提供大模型使用指南和最佳實踐。

采用生成式 AI 的首要障礙是對數據血緣或來源的擔憂，為了更好地理解為其智能系統提供數據的數據，通過IBM 最新收購的數據血緣廠商 Manta[3]，提高了 watsonx 內部的透明度，以便企業可以確定其 AI 模型和系統是否使用了正確的數據、數據的起源、演變方式以及數據流中的任何差異。

總結

考慮到開放和單一模型無法滿足每個業務用例的獨特需求，Granite 系列正在開發不同參數大小的模型。同時 IBM 定期從開源大模型中從性能、倫理、法律、數據等角度選擇和審查商業適用性最合適的更新到 watsonx 平臺中。借助這些模型和 watsonx，幫助企業成為 AI 價值創造者，可以將企業專有數據引入 IBM 大模型和開源模型，構建適合其業務和用例的獨特模型。

• 面向平臺的方法：watsonx 是一個在 OpenShift 上運行的平臺，具有 AI 推理功能并運行 Ray 和 PyTorch 等開源技術。 客戶可以將其部署在自己選擇的基礎架構中，從而可以安全地與企業數據集成。采用私有化部署，無需額外擔心數據安全和主權。

• 客戶保護: IBM 標準的知識產權保護 (與其為硬件和軟件產品提供的知識產權保護相類似) 將適用于由 IBM 開發的 watsonx 模型。IBM 為其基礎模型提供 IP 賠償 (合同保護)，使其客戶能夠更有信心地使用他們的數據來構建 AI ，這是生成式 AI 競爭優勢之所在?？蛻艨梢允褂盟麄冏约旱臄祿陀?IBM 基礎模型所提供的客戶保護、準確性和信任來開發他們的 AI 應用程序。

• 數據和人工智能治理：隨著監管人工智能，全球客戶面臨著利用人工智能安全創造價值的壓力。 IBM watsonx 擁有全面、領先的 AI 和數據治理產品組合，提供模型治理、監控，獨有的仇恨、辱罵和臟話檢測過濾器，支持管理監管要求，以便客戶能夠以負責任、安全和合乎道德的方式擴展 AI。

參考資料：

[1] https://www.ibm.com/downloads/cas/X9W4O6BM

[2] https://research.ibm.com/blog/AI-supercomputer-Vela-GPU-cluster

[3]https://newsroom.ibm.com/IBM-acquires-Manta-Software-Inc-to-complement-data-and-AI-governance-capabilities

關于 IBM

IBM 是全球領先的混合云、人工智能及企業服務提供商，幫助超過 175 個國家和地區的客戶，從其擁有的數據中獲取商業洞察，簡化業務流程，降低成本，并獲得行業競爭優勢。金融服務、電信和醫療健康等關鍵基礎設施領域的超過 4000 家政府和企業實體依靠 IBM 混合云平臺和紅帽 OpenShift 快速、高效、安全地實現數字化轉型。IBM 在人工智能、量子計算、行業云解決方案和企業服務方面的突破性創新為我們的客戶提供了開放和靈活的選擇。對企業誠信、透明治理、社會責任、包容文化和服務精神的長期承諾是 IBM 業務發展的基石。

了解更多信息，請訪問：https://www.ibm.com/cn-zh

END 往期回顧

→新發聲&強陣容｜齊聚 IBM 企業數據合規治理研討會

→制造企業采用 IBM App Connect 打敗應用集成“攔路虎”

? ?

點擊“閱讀原文”，獲取更多內容