過去一年并不平凡。從去年11月至今，LLM大型語言模型持續破圈、始終盤踞熱點話題之列。根據Adobe Analytics的最新在線購物預測，感恩節本土市場假日季的在線收入，或將有望創達2218億美元。年度機遇近在眼前，跨境出海企業如何抓住機遇、突破銷售記錄？

對此，LLM或許能夠給出答案。微軟首席執行官薩提亞·納德拉在剛剛結束的全球Ignite技術大會上曾表示，“生成式AI模型的參數范圍很廣，從需要 Azure 中最強大 GPU 的數萬億參數的 LLM，到數十億參數的特定任務SLM(小語言模型)。我們都提供了最佳的前沿模型選擇，用戶、客戶及合作伙伴可以使用這些模型構建自己的AI應用，并滿足對成本、延遲和性能的特定需求。”

關于“黑五”的創意圖 Getty

無疑，以LLM為代表的AI新浪潮正在為廣告營銷行業帶來巨大變革與飛躍。本月起，“微軟全球營銷”將通過一系列專欄文章，為讀者進行前沿技術解讀。今天為大家奉上的是對LLM大型語言模型的技術原理詳解及科研視角前瞻。

專欄導讀

“由大型語言模型驅動的 AI 系統，正加速改變著每個人的工作與生活。作為全球領先的科技企業，微軟始終致力于推動前沿技術創新、應用與普及，為世界賦能。我們以豐富的 AI 經驗和資源，秉承責任、可靠、可信原則，將 AI 融入微軟現有生態，從提供 AI 工具到構筑 AI 平臺，與合作伙伴全方位攜手、擁抱技術潮流，予力用戶、惠及行業、創造社會價值。”

張祺

微軟全球資深副總裁

LLM的技術原理

圖注：LLM訓練全景圖

LLM 作為一種具有強大功能的模型，研究人員通過預訓練、微調、提示工程和插件等技術手段，使其備了理解自然語言并進行推理的能力。

預練習（Pre-training）

談到LLM的預訓練，我們指的是一種訓練方法。預訓練時，LLM學習大規模數據，從中提取出盡可能多的共性特征，從而減輕模型對特定任務的學習負擔。預訓練模型的發展經歷了從BERT雙向變換器模型，到GPT 自回歸變換器模型的轉變。其中的典型代表即 OpenAI 的 GPT 系列。今年11月，OpenAI正式推出最新的GPT-4 Turbo。主要提升包括：上下文對話長度達到128k，采用全新模型控制技術優化輸出，以及GPT-4 Turbo的知識庫更新到2023年4月等。

關于 ChatGPT 的創意圖 Getty

此外，Meta 創建的開源模型 LLaMA，也備受外界關注。今年7月，Meta在微軟的Inspire合作伙伴大會上宣布，與微軟合作推出LLaMA2，并獲得Azure 和 Windows的支持。10月，LLaMA2的延伸版本LLaMA Long 上線，上下文長度達到32k。

Meta 開源模型 LLaMA 創意圖 Getty

微調（Fine-tuning）

微調，是在已有的預訓練基礎上，通過少量的數據對LLM進行訓練，按要求實現修改和優化，使之在特定任務上表現出更優性能。微調減少了訓練新模型所需的時間和資源，同時減輕了標注數據的壓力，是一種快速遷移學習的方法。

關于信息數據的創意圖 Getty

最新的GPT-4 Turbo又一大升級，就是允許開發人員定制化微調，例如修改模型訓練過程，進行額外的特定領域預訓練、運行自定義強化學習后訓練過程等。

提示工程（Prompt Engineering）

提示工程是指設計和構造適合LLM輸入的提示文本，以引導其產生特定類型的輸出。通過設計合適的提示詞，可以引導LLM在特定領域或任務上表現出更好的性能。LLM 在生成文本時具有一定的創造力和自由度。有人也把它稱為思維鏈（Tree-of-Thought），類似人類解決問題的思維方式，通過試錯的方式在解決空間中進行樹狀搜索，并在必要時進行回溯。思維鏈主要包括頭腦風暴（brainstorming）、評估（evaluation）、擴展（expansion）和決策（decision）四個階段構成，形成的一整套鏈路，使得 LLM 能夠生成多個潛在的解決方案，評估并改進它們，最終給出用戶最佳的解決方案。

關于 LLM 的創意圖 Getty

插件和擴展（Plugin & Extension）

研究人員還會通過添加額外模塊或插件，來實現對LLM的功能擴展，增強其在特定任務上的能力。例如，Auto-GPT 和 JARVIS 是LLM功能擴展的典型代表。其中，Auto-GPT 是一種基于GPT 的自動化工具，它可以利用 GPT-4 的強大功能自動完成復雜任務。用戶給定一個目標，它就會將其分解為子任務，并利用互聯網和其他工具自動實現。

圖為 Auto-GPT 的官網首頁截圖

JARVIS 是一個框架，它利用ChatGPT 來規劃任務流程，根據 Hugging Face 的功能介紹來選擇適合的模型，執行各個子任務，并根據執行結果生成反饋。JARVIS 可以實現多領域、多模態的復雜AI 任務，在語言、視覺、語音等方面都取得了令人印象深刻的結果。

LLM如何賦能廣告

在解析了 LLM 的技術原理后，跨境出海企業最想了解的就是究竟如何將LLM應用到廣告之中。對此，今年9月，微軟全球資深副總裁張祺博士在《聚焦AI大航海時代新契機、新模式、新動能》一文中曾給出過答案——搜索引擎的商業模式，如 AdWords和競價排名等，會隨技術的進步、體驗的迭代而不斷推陳出新。

目前，微軟廣告（Microsoft Advertising）正在通過 LLM 賦能實現垂直創新，為出海企業帶來嶄新機遇。

以 LLM 為基礎，以生成式人工智能（AIGC）技術為突破口融入了人工智能副駕 Copilot。Copilot為用戶提供了全新的搜索方式，也為廣告主及合作伙伴創造了接觸消費者的新機會和新可能。借助生成式AI，我們創造出效果出眾體感沉浸 、深度融合的廣告內容，逐步將一眾廣受歡迎的搜索廣告形式（如文字廣告、購物廣告、多媒體廣告等）及類別（如酒店廣告、旅游廣告、郵輪廣告、信用卡廣告、汽車廣告等）引入必應聊天，讓用戶在會話廣告中精準獲取商品信息，在對比廣告中做出智慧決策。

圖注：用戶可以通過Copilot在聊天中進行商品對比。比如用戶想購買一輛新車，就會去對比不同制造商和型號的車輛數據。以此情境為例，對比廣告會將各型號汽車的數據整理到一份統一報告中，便于用戶對比各項指標。隨著搜索+聊天的全新模式日漸風靡，會話廣告將愈發普及、并適用于多個場景——比如定制某個城市之旅，再比如購買特定顏色和風格的家具建議等。

專為廣告主設計的微軟廣告平臺智能副駕（Microsoft Advertising Platform Copilot），貼心的聊天機器人將在線聊天指導您洞悉趨勢、制定策略、完成創建，最終幫您實現廣告目標。您只需描述需求，之后的工作全部交給Copilot, 它將基于流程整體協助交付：從素材提煉產品賣點，到結合微軟搜索趨勢，再到提交完整廣告圖文方案。借助微軟廣告平臺智能副駕，只需依據品牌及營銷目標，即可定制獨一無二的專屬方案，幾分鐘內實現個性化精彩廣告。

展望未來

在LLM顛覆式技術創新大潮下，微軟廣告致力于為全體消費者提供更便捷、更高效的個性化創意廣告體驗，助力垂直創新。我們期待幫助廣告主及合作伙伴洞察行業先機，通過打造本土創新產品及服務，助力消費增長、推動本地品牌走向全球，在AI的黃金時代實現業務的垂直增長！

LLM專欄作者：耿秀波

微軟（亞洲）互聯網工程院

首席應用科學家

關于微軟廣告

微軟廣告（Microsoft Advertising）致力于為國內廣告主提供動態廣告解決方案，與合作伙伴一道，共同發掘全球商機、開拓多元市場，現已覆蓋187個國家和地區、35種語言，觸達全球超14億受眾，并且擁有持續增長的高價值用戶。

在領先的AI技術、生產力工具和創新模式驅動下，本地行業與市場都將煥發新生。微軟將通過創新產品和服務，助力本土品牌走向全球，實現高速增長。

本文為《技術賦能》專欄系列文章之一

專欄介紹：AI大航海時代，前沿技術無疑為行業革新、企業增長與創意變現提供了新機遇，一場創新模式的革命已如箭在弦，這正是我們策劃此專欄系列文章的初衷。在此，來自微軟（亞洲）互聯網工程院的首席應用科學家以及高級、資深研究員們，將在系列專欄文章中分享他們對人工智能、大語言模型及其應用領域如何實現技術賦能的洞察及前瞻。更多專欄內容，敬請期待！