在京東，技術從不是冰冷的代碼，而是連接消費者與美好生活的橋梁。

在京東零售，我用大模型賦能智能導購、搜索等電商場景，工作期間發(fā)表4篇頂會論文，提交專利8篇，并入選北京亦麒麟優(yōu)秀人才。這些寫進頂會論文的技術突破、藏在專利證書里的創(chuàng)新方案，都化作了消費者指尖上的流暢體驗。

以下是我的故事，歡迎技術同仁們一起交流——

?

從校園步入職場后，我深刻體會到理論與實踐的差異：學生時代我們往往會尋求"最優(yōu)解"，習慣于拿著技術這把“錘子”去尋找應用場景這顆“釘子”；而在工業(yè)界，特別是在京東電商這樣復雜的業(yè)務環(huán)境下，我們更需要尋找"最適解"。

在實際工作中，我面臨著諸多教科書上未曾提及的挑戰(zhàn)：用戶決策階段的動態(tài)變化、電商生態(tài)健康與商業(yè)效率的平衡、億級流量下的工程約束…這些復雜問題無法用現(xiàn)成的理論公式直接套用，但正是這些挑戰(zhàn)讓我感到無比興奮。

?

登上頂會SIGIR的商品重排模型

?

京東主站搜索優(yōu)化是我在京東的第一個項目，也讓我真正體會到算法在工業(yè)界落地的獨特魅力。在用戶調研中我們發(fā)現(xiàn)，當消費者搜索某一商品時，傳統(tǒng)算法會一股腦展現(xiàn)最暢銷的幾款，頭部結果往往被少數(shù)爆款壟斷，雖保證點擊率卻犧牲了長尾商品曝光。搜索排序的意義不是單純提升點擊率，而是精準適配用戶決策階段。

?

其實問題本質在于，用戶搜索時其實處于不同的決策階段。

在“逛”場景時，需求比較模糊，用戶可能從泛化搜索“手機”快速收斂至“iPhone 15 256GB 藍色”，也可能在“Switch→油煙機→嬰兒車”的離散查詢中展現(xiàn)多興趣探索。

在“買”場景是，用戶目標明確，需要精準結果縮短決策，如引導用戶在搜索“iPhone 15 256GB 藍色”時直接下單。

而既有的算法模型將多樣性與準確性視為互斥目標，采用固定權重線性融合，導致兩類指標難以協(xié)同優(yōu)化。

?

我們在想：“能不能讓算法像人類一樣，動態(tài)理解用戶意圖？”

?

傳統(tǒng)方法難以捕捉動態(tài)用戶偏好的動態(tài)變化趨勢，因此我們決定在模型中引入分布建模來捕捉這種動態(tài)性，并提出了名為PODM-MI的重排框架。

?

第一層用高斯分布建模用戶偏好，當用戶搜索"連衣裙→碎花連衣裙→藍色碎花連衣裙"時，協(xié)方差持續(xù)縮小，則調高準確性權重；當用戶搜索"手機→Switch→油煙機"時，則意味協(xié)方差增大，需要調高多樣性系數(shù)。

第二層引入互信息下界優(yōu)化，讓排序結果的多樣性與用戶偏好高度相關，展現(xiàn)關聯(lián)商品，避免無關結果。通過互信息最大化實現(xiàn)動態(tài)平衡。實現(xiàn)平衡后，商品既不會全是爆款，也不會雜亂無章，而是"用戶可能感興趣的新選擇"。

第三層設計效用矩陣融合模塊，可以在排序過程中動態(tài)調整商品與多樣性趨勢之間的相對重要程度。

實踐證明，這個新方案在業(yè)務指標UCVR上取得顯著效果，年化訂單增量超千萬。我們的研究也入選了頂會SIGIR 2024。但說實話，能解決億級商品匹配的實際問題，讓消費者能更快選到心儀的商品，比論文中稿更讓人振奮得多。

?

真正的技術價值在于能否用系統(tǒng)性的解決方案彌合業(yè)務需求與技術能力之間的鴻溝。就像木匠不會僅因錘子精巧而驕傲，而在于用合適的工具造出堅固的房屋。技術遠見也并非是簡單的追逐熱點，是立足于業(yè)務本質，深入理解業(yè)務需求，主動識別那些能為業(yè)務帶來長期價值的新技術趨勢。

?

發(fā)現(xiàn)業(yè)界首個技術瓶頸

?

隨著對業(yè)務場景的理解不斷深入，在團隊創(chuàng)新文化氛圍下，我們開始嘗試突破常規(guī)的技術思路。

?

現(xiàn)在生成式搜索推薦技術正在重塑電商行業(yè)的交互范式。我們在推進TIGER方法實踐過程中，會為百億商品基于RQ-VAE來構建語義標識符（SID)。而在構建SID過程中，發(fā)現(xiàn)一個奇特現(xiàn)象：

商品的SID編碼呈現(xiàn)出"兩頭寬中間窄"的沙漏形狀，兩頭的商品編碼均勻分布在不同區(qū)域，而中間層卻異常集中。這導致碼表可用率異常低，且模型訓練難度更大，模型上限被死死卡住，制約著數(shù)億商品的高效匹配。

我們對此進行了分析，問題的根源在于RQVAE方法本身的特性。具體來說：第一層對原始商品特征進行粗粒度聚類，此時數(shù)據(jù)分布相對均勻；第二層處理的殘差信息呈現(xiàn)明顯極化——多數(shù)數(shù)據(jù)都靠近聚類中心，而少數(shù)數(shù)據(jù)則偏離較遠，形成了明顯的長尾現(xiàn)象；第三層再次對殘差進行聚類，數(shù)據(jù)分布重新趨于均勻。而本身存在長尾數(shù)據(jù)分布的電商場景，進一步放大了這種沙漏效應。

?

經過反復驗證，我們確認這個現(xiàn)象是業(yè)內首次被系統(tǒng)發(fā)現(xiàn)的技術瓶頸，這也是一次真正的從0到1的創(chuàng)新突破。到現(xiàn)在我都還記得當初那種如發(fā)現(xiàn)新大陸般的興奮與悸動，像是探索到了生成式搜推的上限，更打開了一扇預見未來業(yè)務形態(tài)的窗口。

?

我們從分布角度提出了兩種輕量化解決方案。第一種方案是直接移除中間層的瓶頸節(jié)點，在完整生成所有層級的SID后進行第二層節(jié)點的移除，移除瓶頸節(jié)點，解決長尾集中問題。第二種，我們引入自適應閾值策略，動態(tài)地剔除第二層中過于集中的高頻節(jié)點，保持了整體數(shù)據(jù)分布的穩(wěn)定性，有效緩解了“沙漏效應”帶來的路徑稀疏問題。實驗表明，通過這兩種方案，合理地移除一定比例的高頻節(jié)點后，模型離線召回率有顯著提升，讓用戶能更快發(fā)現(xiàn)想要的商品。

?

每當回顧這個發(fā)現(xiàn)過程，我都能感受到技術創(chuàng)新最純粹的魔力——在已知與未知的邊界上，用嚴謹、務實的精神開拓出新的可能。那些學生時代一知半解的技術概念，在日復一日的工程實踐中逐漸變得逐漸清晰；不同技術間的關聯(lián)，也在解決實際業(yè)務問題中建立起有機聯(lián)系，整個技術版圖呈現(xiàn)出前所未有的完整面貌。

?審核編輯 黃宇