核心觀點(diǎn)

1. 通用大模型想解決營銷領(lǐng)域問題需向垂類模型轉(zhuǎn)型。

“全才”通用大模型難覆蓋廣告營銷全流程，需升級為“懂營銷”的垂直模型，實(shí)現(xiàn)從“知道”到“落地執(zhí)行”的三維跨越。

2. 廣告智能體破解傳統(tǒng)投放門檻高效果不穩(wěn)定難題。

把簡單留給客戶，讓復(fù)雜交給AI。傳統(tǒng)投放對中小商家門檻高，廣告投放智能體憑“一句話指令”實(shí)現(xiàn)自動(dòng)化操作與調(diào)優(yōu)，讓廣告主從 “操作崗” 解放出來，專注做 “戰(zhàn)略崗”。

3. 端到端建模而非分階段傳統(tǒng)算法建模，GRAM助力廣告建模代際突破。

AI電商時(shí)代的端到端LLM召排一體能力，借助GRAM（Generative Retrieval and Alignment Model，生成式檢索對齊模型）實(shí)現(xiàn)“意圖識別、檢索、排序、機(jī)制” 有機(jī)融合。

4. 廣告創(chuàng)意優(yōu)化引入CTR建模，除了要解決“好看”的問題還需要解決效果難題。

京東廣告的圖像、視頻的生成+優(yōu)選能力，破除傳統(tǒng)生成技術(shù)“好看但不轉(zhuǎn)化”問題，以CTR為指導(dǎo)，平衡視覺審美與商業(yè)價(jià)值。

5. 廣告算法、數(shù)據(jù)、算力協(xié)同優(yōu)化非硬件堆砌，實(shí)現(xiàn)大模型超低延遲推理能力。

算法、算力等實(shí)時(shí)化能力是廣告長期追求的。通過定制化和芯片級優(yōu)化工作，讓大模型從大規(guī)?！凹埳险劚钡健昂撩爰墝?shí)時(shí)服務(wù)”，實(shí)現(xiàn)“業(yè)務(wù)級算力”落地。

6. 三駕馬車驅(qū)動(dòng)廣告算法長期演進(jìn)?！皵?shù)據(jù)、算法、算力”協(xié)同將推動(dòng)廣告算法持續(xù)變革，最終實(shí)現(xiàn)三方共贏。

演講實(shí)錄

以下是演講實(shí)錄（經(jīng)不改變原意的編輯整理）

?

很榮幸和大家一起探討一個(gè)核心話題 —— 大模型時(shí)代的廣告營銷變革與實(shí)踐，而我們今天的主角，就是京東自主研發(fā)的廣告營銷大模型體系?？赡芎芏嗯笥褧闷妫竽Ｐ偷降啄芙o廣告營銷帶來什么？是效率的微小提升，還是模式的徹底重構(gòu)？接下來我會從技術(shù)發(fā)展、產(chǎn)品落地到行業(yè)實(shí)踐，帶大家全面看清這場變革的全貌，也讓大家感受 JoyAI Oxygen 如何把 “復(fù)雜的技術(shù)” 變成 “好用的工具”，把 “營銷的難題” 變成 “增長的機(jī)遇”。咱們現(xiàn)在就正式開始！

?

一、廣告營銷領(lǐng)域大模型的發(fā)展

?

我們先聊聊大模型在廣告營銷領(lǐng)域的 “成長路徑”。其實(shí)現(xiàn)在整個(gè)行業(yè)的大模型，已經(jīng)走過了 “從零散能力到系統(tǒng)能力” 的關(guān)鍵階段，從過去幾年的大模型發(fā)展歷程來看，尤其是從22年以對話式大模型發(fā)布以來，業(yè)內(nèi)的日常對話式的大模型不論是基礎(chǔ)模型還是領(lǐng)域精調(diào)的模型都日益成熟，甚至是實(shí)現(xiàn)了局部的“跨學(xué)科整合”?，F(xiàn)在的大模型不再只懂 “單一技能”，像經(jīng)驗(yàn)中學(xué)習(xí)、數(shù)學(xué)邏輯推理，甚至文本圖像創(chuàng)作、代碼編寫、日常對話這些單個(gè)領(lǐng)域，都已經(jīng)發(fā)展得比較成熟了 —— 這就好比以前是 “專才”，現(xiàn)在變成了 “全才”，但能不能能應(yīng)對廣告營銷里從策略到執(zhí)行的多環(huán)節(jié)需求，依然存在不小的挑戰(zhàn)。主要能總結(jié)成3個(gè)核心方向：

第一是從通用到專用。通用大模型懂 “通識”，但廣告營銷需要 “垂類能力”—— 比如怎么根據(jù)行業(yè)季節(jié)趨勢做投放決策、怎么理解用戶的深層消費(fèi)需求，這些都需要我們把垂類知識、連續(xù)決策能力、推理感知能力注入進(jìn)去，讓模型從 “懂常識” 變成 “懂營銷”。如何進(jìn)一步打造投放能力與提升投放效率也是我們要破解的難題。

第二是從理解到?jīng)Q策。以前的 AI 可能只能 “看懂?dāng)?shù)據(jù)”，比如告訴你 “這個(gè)計(jì)劃 ROI 低”，但現(xiàn)在的大模型能直接給方案 —— 這背后其實(shí)要解決三個(gè)大挑戰(zhàn)：體量大的垂類數(shù)據(jù)怎么處理、高難度的推理感知技術(shù)怎么落地、廣告主需求理解、終端用戶理解和連續(xù)決策，這些都是我們要突破的關(guān)鍵點(diǎn)。

第三是從算法到算力。算法再好，沒有足夠的算力支撐也跑不起來，尤其是廣告營銷需要實(shí)時(shí)響應(yīng)，這就要求我們在算法優(yōu)化的同時(shí)，必須解決算力的效率和安全問題 —— 這也是我們后面會重點(diǎn)講的 “硬實(shí)力”。

簡單說，大模型給廣告營銷的，不是 “錦上添花”，而是 “換道超車” 的機(jī)會。下面我們分別來看這三個(gè)難題如何解決。

?

二、廣告投放智能體：把簡單留給客戶，把復(fù)雜交給AI

?

廣告投放智能體：一句話實(shí)現(xiàn)廣告投放的自動(dòng)化智能化

有了大模型作為基礎(chǔ)，怎么把它變成廣告主能用、好用的工具？答案就是廣告投放智能體 —— 核心一句話：把簡單留給客戶，把復(fù)雜交給 AI。

大家可以回想一下傳統(tǒng)廣告投放是什么樣的：要自己做操作，比如調(diào)預(yù)算、改定向；要自己做決策，比如哪個(gè)計(jì)劃該加投、哪個(gè)該暫停，全靠經(jīng)驗(yàn)和零散數(shù)據(jù)；最后效果好不好，還得被動(dòng)等數(shù)據(jù)反饋，有問題再答疑。整個(gè)過程又累又容易出錯(cuò)，尤其對中小廣告主來說，門檻太高了。當(dāng)然，過去幾年業(yè)內(nèi)主流廣告平臺在過去幾年提供了很多智能投放的工具能力和診斷分析能力，包括我們自己的京東廣告平臺——京準(zhǔn)通，但是我們認(rèn)為依然做的不夠。

但有了投放智能體，完全不一樣了 ——一句話就能驅(qū)動(dòng)所有動(dòng)作。比如你說 “ROI≥2 且消耗＞100 的計(jì)劃，預(yù)算 +20%”，或者 “優(yōu)化計(jì)劃 542486x”，后面的事就不用管了：

1. 編輯 Agent 會自動(dòng)處理計(jì)劃的參數(shù)調(diào)整；

2. 投放 Agent 會執(zhí)行預(yù)算分配和投放策略；自動(dòng)完成商家經(jīng)營情況分析、歷史投放分析、操作歷史分析、投放偏好分析、行業(yè)競對分析，給出投放產(chǎn)品推薦、人群、預(yù)算、出價(jià)、創(chuàng)意等全套設(shè)置步驟。

3. 優(yōu)化 Agent 會實(shí)時(shí)盯著數(shù)據(jù)，要是效果有波動(dòng)，還會主動(dòng)調(diào)整，而不是等你問。

以前需要花幾小時(shí)甚至幾天的操作，現(xiàn)在一句話、幾秒鐘就能搞定。這不僅是效率的提升，而是把廣告主從 “操作崗” 解放出來，專注做 “戰(zhàn)略崗”。

投放智能體背后的“大腦”與“手腳”

那這個(gè) “一句話驅(qū)動(dòng)” 的背后，靠的是什么？其實(shí)是一套專注營銷的 “大腦 + 手腳”—— 也就是多 Agent 協(xié)作體系。

首先看 “手腳”：我們有成百上千個(gè)Agent，這里看四個(gè)核心 Agent，分別負(fù)責(zé)廣告優(yōu)化、廣告投放、廣告編輯和廣告創(chuàng)意，覆蓋從策略到創(chuàng)意、從投放 to 優(yōu)化的全流程。比如創(chuàng)意 Agent 能自動(dòng)生成廣告素材，優(yōu)化 Agent 能實(shí)時(shí)調(diào)策略，四個(gè) Agent 不是各自為戰(zhàn)，而是靠 “規(guī)劃和協(xié)作” 機(jī)制聯(lián)動(dòng)。

再看 “大腦”：要讓 Agent 們協(xié)作順暢，得有三大技術(shù)支撐：

第一是ReAct 框架—— 讓智能體不僅能 “思考”（分析數(shù)據(jù)和需求），還能 “行動(dòng)”（執(zhí)行操作），不是只會算，而是能落地；

第二是A2A 協(xié)議—— 這是 Agent 之間的 “溝通語言”，廣告設(shè)計(jì)、優(yōu)化、分析之間能實(shí)時(shí)同步信息，不會出現(xiàn) “優(yōu)化 Agent 調(diào)了預(yù)算，投放 Agent 不知道” 的情況；

第三是長短期記憶管理—— 讓智能體既能記住 “當(dāng)下的需求”（比如你現(xiàn)在要加預(yù)算），也能繼承 “過去的經(jīng)驗(yàn)”（比如去年這個(gè)季節(jié)同類產(chǎn)品怎么投效果好），不會每次都 “從零開始”。

最后，光有技術(shù)還不夠，我們還往 “大腦” 里裝了 “知識”：通過 SFT（監(jiān)督微調(diào)）讓模型快速適應(yīng)廣告場景，通過 RLHF（基于人類反饋的強(qiáng)化學(xué)習(xí)）讓模型更懂廣告主的真實(shí)需求，再注入實(shí)時(shí)的行業(yè)數(shù)據(jù)，讓模型能跟著季節(jié)、趨勢迭代 —— 比如 618 前會自動(dòng)預(yù)判大促流量規(guī)律，春節(jié)前會調(diào)整年貨相關(guān)的投放策略。

簡單說，這套體系不是 “單個(gè) AI 在干活”，而是 “一個(gè) AI 團(tuán)隊(duì)在服務(wù)你”。

?

三、召排一體——GRAM：面向AI電商的LLM廣告代際突破

召排一體思想實(shí)現(xiàn)端到端生成

解決了廣告主“投放”的問題，我們再看廣告營銷的另一個(gè)核心環(huán)節(jié) ——“召排一體”，在面向終端消費(fèi)者的場景上，對應(yīng)胡喜總前文提到的AI驅(qū)動(dòng)的電商，也就是怎么把用戶需求和商品精準(zhǔn)匹配上的同時(shí)還要融合廣告主營銷的訴求。這也是大模型給我們帶來的代際突破。

說說傳統(tǒng)的 “級聯(lián)架構(gòu)” 有什么問題：它是 “黑盒式” 的 —— 用戶輸入搜索詞、瀏覽歷史后，系統(tǒng)會經(jīng)過聚合、召回、排序等多個(gè)模塊，每個(gè)模塊各自迭代，中間沒有統(tǒng)一的 “意圖理解”。結(jié)果就是：多模塊迭代復(fù)雜，改一個(gè)地方可能影響一串；相關(guān)性匹配缺乏用戶深層意圖的理解，比如用戶搜 “夏天用的小電器”，可能推了風(fēng)扇但沒推驅(qū)蚊器；而且解釋性差，你問 “為什么推這個(gè)商品”，系統(tǒng)說不清楚。

但 LLM 時(shí)代的 “召排一體” 是完全不同的 “白盒式” 邏輯 ——端到端的需求推理與滿足。整個(gè)鏈路是 “用戶請求→thinking→場景→需求→商品”：

比如用戶說 “給寶寶選夏天防蚊的”，LLM 會先 “思考”：場景是 “寶寶使用”，需求是 “溫和防蚊”，然后直接解碼到對應(yīng)的 SKU（比如兒童專用驅(qū)蚊液）。這里面有兩個(gè)關(guān)鍵：

第一是 “用戶意圖編碼”，把模糊的請求變成清晰的需求標(biāo)簽；

第二是 “獎(jiǎng)勵(lì)模型”，會根據(jù)用戶點(diǎn)擊、轉(zhuǎn)化數(shù)據(jù)實(shí)時(shí)調(diào)整，讓推理越來越準(zhǔn)。

最終實(shí)現(xiàn)的是 “用戶畫像→需求→商品” 鏈路一體化，不再是 “各管一段”，而是 “從需求到商品一步到位”。

?

京東廣告流量端生成式模型架構(gòu)——GRAM

有了召排一體的邏輯，我們在京東的流量場里落地了一個(gè)核心模型 ——GRAM（Generative Retrieval and Alignment Model，生成式檢索對齊模型）。它的核心作用，就是讓 “用戶請求” 和 “商品” 精準(zhǔn)對齊，并在符合廣告主的營銷訴求的約束下運(yùn)轉(zhuǎn)。

大家可以看一下模型的邏輯：

首先是 “生成式檢索”：當(dāng)用戶輸入一個(gè) Query（比如 “輕薄防曬衣”），GRAM 的 “Query-code generator” 會生成對應(yīng)的 “請求編碼”；同時(shí)，商品標(biāo)題會通過 “Product-code generator” 生成 “商品編碼”—— 這就好比給用戶需求和商品都發(fā)了 “統(tǒng)一的身份證編碼”。

然后是 “對齊（Alignment）”：系統(tǒng)會把 “請求編碼” 和 “商品編碼” 做匹配，不管是稀疏檢索還是稠密檢索，都能快速找到最匹配的商品；接著再經(jīng)過預(yù)排序、精排序，最終推給用戶。

我們借助生成式大模型技術(shù)完成了QP、Retrieval、Pre-Ranking和Ranking的全過程，并且我們的研發(fā)工程師將上述的過程已經(jīng)壓縮到了30-50ms級別的P99時(shí)延內(nèi)，破解了傳統(tǒng)大模型無法在廣告場景實(shí)時(shí)推理的難題。

更重要的是，GRAM 不是 “一次性匹配”，它還有 “近線系統(tǒng)（Nearline System）”：會通過用戶反饋（比如點(diǎn)擊、購買）不斷更新 “商品編碼庫”，讓匹配越來越準(zhǔn)。比如用戶搜 “輕薄防曬衣” 但買了帶冰感的，下次就會優(yōu)先推冰感材質(zhì)的 —— 真正實(shí)現(xiàn)了 “意圖識別、檢索、排序、機(jī)制” 幾者融合，讓服務(wù)既快又準(zhǔn)。

?

四、廣告創(chuàng)意優(yōu)化：引入CTR建模，平衡美觀與廣告商業(yè)價(jià)值

強(qiáng)化學(xué)習(xí)結(jié)合CTR驅(qū)動(dòng)的AIGC圖片生成

除了 “找人找貨”，我們也針對用戶視覺面積最大的區(qū)域——圖片和視頻做了生成改進(jìn)，我們還做了業(yè)界首個(gè)基于強(qiáng)化學(xué)習(xí)結(jié)合 CTR（點(diǎn)擊通過率）驅(qū)動(dòng)的 AIGC 圖片生成模型。傳統(tǒng)的 AIGC 圖片可能只好看，但不一定能帶來點(diǎn)擊；而我們的生成邏輯是 “效果導(dǎo)向”：

首先，我們會給模型一個(gè) “指令（Instruction）”，比如 “生成一款適合敏感肌的防曬霜廣告圖，突出溫和、防曬指數(shù) SPF50+”；

然后，“獎(jiǎng)勵(lì)模型（Reward Model）” 會介入 —— 這個(gè)模型是用大量廣告的 CTR 數(shù)據(jù)訓(xùn)練的，知道 “什么樣的圖片更容易被點(diǎn)擊”，比如顏色搭配、文案位置、產(chǎn)品展示角度；

最后，LLM 會結(jié)合指令和獎(jiǎng)勵(lì)模型的反饋，生成既符合創(chuàng)意需求、又能提升 CTR 的圖片。

大家可以看屏幕上的示例：“驅(qū)蚊更溫和”“超 A 質(zhì)地巨輕盈”“2800mg 精華”“不到 2 分鐘起效”—— 這些文案不是隨便加的，都是 CTR 數(shù)據(jù)證明 “用戶更關(guān)注” 的點(diǎn)；圖片的色調(diào)、產(chǎn)品擺放也都是經(jīng)過效果驗(yàn)證的。這樣生成的圖片，不用再靠 “感覺” 判斷好不好，而是有數(shù)據(jù)支撐的“好”。

相關(guān)工作也發(fā)表在 ECCV 及 WWW 上。

?

基于多策略評估體系的視頻智能體

除了圖片之外，視頻廣告的需求也越來越大，所以我們還打造了基于多策略評估體系的視頻智能體（Agent）。它的核心是 “不只是生成視頻，而是生成能帶來效果的視頻”。整個(gè)流程是 “從輸入到投放全閉環(huán)”：

第一步是 “輸入規(guī)劃”：你給一個(gè)需求（比如 “生成一款化妝品的短視頻，突出抗衰老、時(shí)尚”），Planning Model 會結(jié)合 “素材庫”“專家視頻庫” 做策略規(guī)劃，比如用 “數(shù)字人講解 + 產(chǎn)品實(shí)測” 的形式；

第二步是 “多策略生成”：系統(tǒng)會同時(shí)嘗試多種方案 —— 比如故事腳本生成（講一個(gè)試用者的故事）、視頻摘要（剪產(chǎn)品核心賣點(diǎn)）、數(shù)字人出鏡、圖轉(zhuǎn)視頻（靜態(tài)圖變動(dòng)態(tài)）、口播文案生成，還會自動(dòng)配 BGM、加字幕和語音；

第三步是 “評估優(yōu)化”：Evaluation Model 會結(jié)合兩個(gè)維度評估：一是 VLM（視覺語言模型）的質(zhì)量評估（畫面是否清晰、文案是否通順），二是在線 CTR 數(shù)據(jù)反饋（用戶是否愿意看、是否點(diǎn)擊）；然后 Summary Model 會根據(jù)評估結(jié)果迭代策略，比如發(fā)現(xiàn) “數(shù)字人講解” 的 CTR 更高，下次就優(yōu)先用這個(gè)策略；

最后是 “上線投放”：確定最優(yōu)策略后，直接對接投放系統(tǒng)，實(shí)現(xiàn) “創(chuàng)意生成→評估→投放” 一體化。

這樣一來，就算你沒有專業(yè)的視頻團(tuán)隊(duì)，也能快速生成高質(zhì)量、高轉(zhuǎn)化的廣告視頻。

?

五、廣告算力協(xié)同優(yōu)化，實(shí)現(xiàn)大模型超低延遲實(shí)時(shí)推理

面向廣告業(yè)務(wù)特性的超低延遲推理定制化解法

不管是投放、召排還是創(chuàng)意生成，廣告業(yè)務(wù)有個(gè)核心要求 —— 實(shí)時(shí)響應(yīng)。用戶的需求轉(zhuǎn)瞬即逝，延遲一毫秒可能就丟了一個(gè)轉(zhuǎn)化。所以我們專門做了 “超低延遲推理定制化解法”，解決 “快” 的問題。具體有三個(gè)關(guān)鍵點(diǎn)：

第一是超低延遲 & 調(diào)度優(yōu)化。我們用了 PD 混合調(diào)度、異步算子調(diào)度技術(shù)，把 P99 延遲（也就是 99% 的請求響應(yīng)時(shí)間）壓縮到了原來的十分之一，甚至幾十分之一—— 比如以前要幾百毫秒甚至幾秒，現(xiàn)在只要 30-50 毫秒，完全能跟上用戶的實(shí)時(shí)需求；

第二是定制化模型 & 受限生成。我們會裁切模型的 LM Head 權(quán)重、做 Logits Mask，這樣能降低 token 的概率空間和 BeamSearch 的搜索空間 —— 簡單說就是 “讓模型少走彎路”，吞吐能力提升了 70% 以上，能同時(shí)處理更多請求；

第三是算力安全 & 異構(gòu)計(jì)算。我們重新思考和設(shè)計(jì)了混合算力模式下的異構(gòu)推理能力，讓各種算力混合調(diào)度，借助CPU-xPU 異構(gòu)資源池和可信執(zhí)行能力 —— 既能保證高吞吐、低時(shí)延，又能確保數(shù)據(jù)安全，不會出現(xiàn)數(shù)據(jù)泄露的問題。

總結(jié)一下：這套解法讓我們的大模型不僅 “聰明”，還 “反應(yīng)快、更安全”。

?

基于 ARM 國產(chǎn)芯片的服務(wù)與推理優(yōu)化

除了延遲和安全，我們還做了基于 ARM 國產(chǎn)芯片的服務(wù)與推理優(yōu)化，讓大模型能在國產(chǎn)硬件上高效運(yùn)行，實(shí)現(xiàn)算力自主可控。這里有三個(gè)核心優(yōu)化方向：

第一是KV-Cache 優(yōu)化。我們搭建了 SSD/SRAM-DRAM/HBM 三級緩存，用異步讀取的方式加速計(jì)算 —— 就好比給模型建了 “快速存取的倉庫”，讓通信、算力的調(diào)度協(xié)調(diào)起來，形成巨大的計(jì)算加速收益；

第二是指令集優(yōu)化。在CPU側(cè)的特征計(jì)算和DNN計(jì)算上，我們跟合作伙伴深度優(yōu)化后的鯤鵬 KDNN 算子，和開源的 oneDNN 比，通過向量化、軟硬件預(yù)取等技術(shù)，在 Matmul（矩陣乘法）、Conv（卷積）這些核心計(jì)算上算子，較業(yè)內(nèi)開源至少提升30%，幾乎帶來了1-2個(gè)芯片制程代際的領(lǐng)先。

第三是編譯優(yōu)化。我們做了高性能圖編譯、親和圖編譯優(yōu)化，還有指令級別的自動(dòng)調(diào)優(yōu) —— 讓模型能更好地適配 ARM 芯片的指令特點(diǎn)，發(fā)揮硬件的最大性能，至少帶來了10%以上的提升。

這一步的意義，不只是 “降成本”，更是讓數(shù)據(jù)、算法、算力這三駕馬車也將在未來持續(xù)助力京東在大模型時(shí)代的廣告營銷持續(xù)演進(jìn)和變革，也為我們的廣告主、消費(fèi)者帶來更高的效率、更優(yōu)的體驗(yàn)、更極致的產(chǎn)品服務(wù)。

?

六、展望&結(jié)語

讓廣告主更省心、讓消費(fèi)者更開心！

從大模型在廣告營銷領(lǐng)域的 “通用到專用、理解到?jīng)Q策、算法到算力” 3大發(fā)展方向，到廣告投放智能體、召排一體體系，再到 GRAM 模型、AIGC 創(chuàng)意生成、超低延遲推理、ARM 國產(chǎn)芯片優(yōu)化 —— 我們做的所有事情，核心只有一個(gè)：讓大模型真正服務(wù)于廣告營銷的 “價(jià)值” ，讓廣告主更省心、更高效，讓用戶看到更精準(zhǔn)、更有價(jià)值的廣告。

當(dāng)然，大模型給廣告營銷的變革才剛剛開始，后面還有很多可能性等著我們一起探索。期待更多行業(yè)有志之士加入我們，共建大模型時(shí)代的廣告營銷新生態(tài)！

最后，今日所講的內(nèi)容，在公共區(qū)域也有專門的演示展臺，歡迎各位前去體驗(yàn)，謝謝大家！

?
審核編輯 黃宇