ICML（International Conference on Machine Learning）是機(jī)器學(xué)習(xí)領(lǐng)域的頂級(jí)學(xué)術(shù)會(huì)議之一，由國(guó)際機(jī)器學(xué)習(xí)學(xué)會(huì)（IMLS）主辦，被中國(guó)計(jì)算機(jī)學(xué)會(huì)認(rèn)定為A類會(huì)議。會(huì)議涵蓋了機(jī)器學(xué)習(xí)的各個(gè)前沿方向，包括但不限于深度學(xué)習(xí)、強(qiáng)化學(xué)習(xí)、自然語(yǔ)言處理、計(jì)算機(jī)視覺、貝葉斯方法及優(yōu)化算法等。

近日，ICML 2025公布了本屆論文審稿結(jié)果，思必馳-上海交大聯(lián)合實(shí)驗(yàn)室2篇論文被收錄。本次收錄的論文成果聚焦大語(yǔ)言模型可靠性、可解釋性前沿研究方向，針對(duì)復(fù)雜任務(wù)執(zhí)行與工具幻覺應(yīng)對(duì)、大模型內(nèi)部模塊功能探測(cè)等關(guān)鍵技術(shù)取得重要突破，不僅增強(qiáng)了大模型在嚴(yán)肅場(chǎng)景下的可靠任務(wù)執(zhí)行能力，還為產(chǎn)業(yè)級(jí)大模型的可解釋審計(jì)、推理加速與低成本定制部署提供了全新技術(shù)路徑。兩項(xiàng)成果共同助力思必馳“讓大模型更可靠、更可控、更高效”，以下為兩項(xiàng)成果介紹：

大模型與工具協(xié)作的可靠性

Reducing Tool Hallucination via Reliability Alignment

針對(duì)大語(yǔ)言模型（LLMs）與外部工具交互中出現(xiàn)的工具幻覺問(wèn)題，提出“Relign” 可靠性對(duì)齊框架，通過(guò)定義工具幻覺類型并引入RelyToolBench基準(zhǔn)集，強(qiáng)化了模型在工具選擇和使用上的可靠性，顯著降低大模型的工具幻覺率并減少無(wú)效調(diào)用次數(shù)，從而同步提升任務(wù)成功率并節(jié)省算力與接口成本。

論文簡(jiǎn)介：大型語(yǔ)言模型（LLMs）的能力已從單純的語(yǔ)言生成擴(kuò)展到與外部工具的交互，從而實(shí)現(xiàn)了自動(dòng)化和現(xiàn)實(shí)世界的應(yīng)用。然而，工具幻覺（tool hallucinations）——即模型選擇不恰當(dāng)?shù)墓ぞ呋蝈e(cuò)誤使用工具——帶來(lái)了重大挑戰(zhàn)，導(dǎo)致任務(wù)執(zhí)行錯(cuò)誤、計(jì)算成本增加以及系統(tǒng)可靠性降低。為系統(tǒng)性地解決這一問(wèn)題，我們將工具幻覺定義并分類為兩種主要類型：工具選擇幻覺（tool selection hallucination）和工具使用幻覺（tool usage hallucination）。為評(píng)估和緩解這些問(wèn)題，我們提出了RelyToolBench，該基準(zhǔn)集整合了專門的測(cè)試案例和新穎的指標(biāo)，用于評(píng)估考慮幻覺的任務(wù)成功率和效率。最后，我們提出了Relign，一個(gè)可靠性對(duì)齊框架，該框架將工具使用的動(dòng)作空間擴(kuò)展為包含猶豫性動(dòng)作，允許LLMs推遲使用工具、尋求澄清或動(dòng)態(tài)調(diào)整工具選擇。通過(guò)大量實(shí)驗(yàn)，我們證明Relign 能顯著減少工具幻覺，提升任務(wù)可靠性，并提高LLM工具交互的效率。

大模型可解釋性與輕量化

Heads up! Large Language Models Can Perform Tasks Without Your Instruction via Selective Attention Head Masking

針對(duì)大語(yǔ)言模型內(nèi)部模塊組合的功能探測(cè)問(wèn)題，提出二元注意力頭掩碼功能分區(qū)方法，可快速識(shí)別執(zhí)行特定任務(wù)所需的關(guān)鍵注意力通路，并支持解釋性、剪枝加速與小參數(shù)微調(diào)三合一，該成果助力思必馳在保持模型性能的同時(shí)大幅降低定制與部署成本。

論文簡(jiǎn)介：大語(yǔ)言模型（LLM）由眾多Transformer模塊構(gòu)成，雖然這些模型可以執(zhí)行各種功能，但如何將這些模塊組合起來(lái)以展現(xiàn)各自獨(dú)特的內(nèi)在功能仍然是一個(gè)懸而未決的問(wèn)題。本文研究了LLM內(nèi)部的模塊，并證明在推理過(guò)程中，僅通過(guò)屏蔽或保留特定的注意力頭，LLM便能展現(xiàn)出特定任務(wù)的功能，而無(wú)需明確的指令或修改模型參數(shù)。針對(duì)不同模型和任務(wù)的實(shí)驗(yàn)表明，LLM天生編碼了“功能路徑”——這是一組結(jié)構(gòu)化的、相互依賴的注意力頭群，它們對(duì)于執(zhí)行特定任務(wù)至關(guān)重要。這些路徑不僅決定了模型的功能行為，還提高了參數(shù)效率，因?yàn)橐种坡窂街獾淖⒁饬︻^可以改善任務(wù)性能。

長(zhǎng)期以來(lái)，思必馳深度參與國(guó)內(nèi)外學(xué)術(shù)前沿研究，在ICASSP、INTERSPEECH、ACL、EMNLP、AAAI、ICML等頂級(jí)學(xué)術(shù)會(huì)議上屢獲佳績(jī)，持續(xù)產(chǎn)出高質(zhì)量科研成果。思必馳-上海交大聯(lián)合實(shí)驗(yàn)室憑借一系列高水平論文，彰顯了在人工智能語(yǔ)音語(yǔ)言關(guān)鍵技術(shù)領(lǐng)域的深度探索和重大突破，為行業(yè)的發(fā)展注入了強(qiáng)大動(dòng)力。思必馳秉持科研與產(chǎn)業(yè)應(yīng)用緊密結(jié)合的理念，未來(lái)也將持續(xù)探索科技成果的應(yīng)用轉(zhuǎn)化。

作為專業(yè)的對(duì)話式人工智能平臺(tái)型企業(yè)，思必馳具有源頭技術(shù)創(chuàng)新和應(yīng)用創(chuàng)新的能力，自2022年7月獲國(guó)家科技部批準(zhǔn)建設(shè)“語(yǔ)言計(jì)算國(guó)家新一代人工智能開放創(chuàng)新平臺(tái)”以來(lái)，接連于2023-2024年獲批組建蘇州市、江蘇省、長(zhǎng)三角三級(jí)創(chuàng)新聯(lián)合體，并于2025年攜手上海交通大學(xué)、蘇州大學(xué)，牽頭組建“江蘇省語(yǔ)言計(jì)算及應(yīng)用重點(diǎn)實(shí)驗(yàn)室”，成為國(guó)家人工智能戰(zhàn)略科技力量的重要組成部分。

思必馳承擔(dān)了包括國(guó)家重點(diǎn)研發(fā)計(jì)劃、國(guó)家發(fā)改委“互聯(lián)網(wǎng)+”重大工程和人工智能創(chuàng)新發(fā)展工程、國(guó)家工信部人工智能與實(shí)體經(jīng)濟(jì)深度融合項(xiàng)目、長(zhǎng)三角科技創(chuàng)新共同體聯(lián)合攻關(guān)計(jì)劃項(xiàng)目等十余項(xiàng)國(guó)家級(jí)、省部級(jí)項(xiàng)目，展現(xiàn)出卓越的科研實(shí)力與項(xiàng)目落地能力。

思必馳深耕語(yǔ)音語(yǔ)言領(lǐng)域，憑借自主研發(fā)的核心技術(shù)多次在國(guó)際研究機(jī)構(gòu)評(píng)測(cè)中奪得冠軍；曾三度斬獲國(guó)內(nèi)人工智能最高獎(jiǎng)“吳文俊獎(jiǎng)”，榮獲中國(guó)專利優(yōu)秀獎(jiǎng)，以及信通院車載智能語(yǔ)音交互系統(tǒng)最高級(jí)別認(rèn)證等重要榮譽(yù)。技術(shù)創(chuàng)新能力備受全球矚目，被高盛全球人工智能報(bào)告列為關(guān)鍵參與者，也被Gartner評(píng)為東亞五大明星AI公司之一。

截至2024年年底，思必馳擁有近100項(xiàng)全球獨(dú)創(chuàng)技術(shù)，已授權(quán)知識(shí)產(chǎn)權(quán)1597件，其中已授權(quán)發(fā)明專利633項(xiàng)，參與了71項(xiàng)國(guó)家/行業(yè)/團(tuán)體標(biāo)準(zhǔn)，獲得23項(xiàng)國(guó)家級(jí)的產(chǎn)品認(rèn)證。近期，大模型人機(jī)對(duì)話技術(shù)創(chuàng)新與產(chǎn)業(yè)賦能發(fā)展提速，思必馳堅(jiān)持自主的大模型技術(shù)路線，即“構(gòu)建可靠性優(yōu)先的1+N分布式智能體系統(tǒng)：1 個(gè)中樞大模型+ N 個(gè)垂域模型及全鏈路交互組件組成全功能系統(tǒng)”，以任務(wù)型交互為核心，結(jié)合智能硬件感知優(yōu)勢(shì)，構(gòu)建垂域大模型和中樞大模型系統(tǒng)，服務(wù)企業(yè)客戶。