作者 / 代表 Gemma 和 ODML 團(tuán)隊(duì)的產(chǎn)品經(jīng)理 Kat Black,研究工程師 Ravin Kumar
對于 Gemma 模型系列而言,2025 年是充滿變革的一年。我們的下載量已從 1 億次增長到超過 3 億次,同時還展現(xiàn)了開放模型的變革潛力: 從憑借Gemma 3定義最先進(jìn)的單加速器性能,到通過C2S Scale 計(jì)劃推動癌癥研究,皆是最佳佐證。
自Gemma 3 270M模型發(fā)布以來,我們收到開發(fā)者最迫切的需求就是原生函數(shù)調(diào)用功能。我們認(rèn)真聽取了這一反饋,意識到隨著行業(yè)從純粹的對話式交互向主動智能體轉(zhuǎn)變,模型不能僅局限于對話,更需要具備執(zhí)行能力。這在設(shè)備端尤為重要,因?yàn)橹悄荏w可以自動執(zhí)行復(fù)雜的多步驟工作流程,例如設(shè)置提醒或切換系統(tǒng)設(shè)置。若要在邊緣端實(shí)現(xiàn)這一點(diǎn),模型必須足夠輕量級以支持本地運(yùn)行,同時還要具備足夠的專業(yè)性以確保可靠性。
現(xiàn)在,我們正式推出了 FunctionGemma,這是針對函數(shù)調(diào)用而特別優(yōu)化的 Gemma 3 270M 模型版本。它旨在為進(jìn)一步訓(xùn)練定制化、快速、私密且本地運(yùn)行的智能體奠定堅(jiān)實(shí)的基礎(chǔ),從而將自然語言翻譯成可執(zhí)行的 API 操作。
FunctionGemma 可以作為完全獨(dú)立的智能體,處理私密的離線任務(wù),也可以作為大型互聯(lián)系統(tǒng)的智能分流器。在此模式下,它能夠在邊緣端即時處理常見指令,同時將更復(fù)雜的任務(wù)調(diào)度至 Gemma 3 27B 等模型進(jìn)行處理。
FunctionGemma 的獨(dú)特之處
執(zhí)行與對話合二為一: FunctionGemma 既能與計(jì)算機(jī) "對話",也能與人類交流。它可以生成結(jié)構(gòu)化的函數(shù)調(diào)用來執(zhí)行工具,然后切換到相應(yīng)模式,用自然語言為用戶匯總結(jié)果。
為定制化而生: FunctionGemma 的設(shè)計(jì)理念在于按需塑造,而不僅僅是依靠提示驅(qū)動。在我們的 "Mobile Actions" 評估中,微調(diào)提升了模型的可靠性,將準(zhǔn)確率從 58% 的基準(zhǔn)線提高到 85%。這證實(shí)了對于邊緣端智能體而言,經(jīng)過專門訓(xùn)練的專家模型是實(shí)現(xiàn)生產(chǎn)級性能的高效捷徑。
專為邊緣計(jì)算設(shè)計(jì): 該模型體積小巧,足以在NVIDIA Jetson Nano等邊緣設(shè)備和手機(jī)上運(yùn)行,F(xiàn)unctionGemma 使用了 Gemma 的 25.6 萬詞表,能夠高效地對 JSON 與多語言輸入進(jìn)行分詞處理。這使得它成為在特定領(lǐng)域微調(diào)的強(qiáng)大基礎(chǔ),通過縮短序列長度來確保極致的低延遲表現(xiàn),并確保用戶隱私。
廣泛的生態(tài)系統(tǒng)支持: 該模型可無縫融入整個工作流中常用的工具: 可以使用Hugging Face Transformers、Unsloth、Keras 或NVIDIA NeMo進(jìn)行微調(diào),并使用LiteRT-LM、vLLM、MLX、Llama.cpp、Ollama、Vertex AI或LM Studio進(jìn)行部署。

△ FunctionGemma 在 "Mobile Actions" 數(shù)據(jù)集上的準(zhǔn)確率變化,基于預(yù)留評估集上微調(diào)前后的對比。
選擇 FunctionGemma 的時機(jī)
FunctionGemma 是自然語言與軟件執(zhí)行之間的橋梁。在以下情境,F(xiàn)unctionGemma 是您的不二之選:
您有明確定義的 API 接口范圍: 您的應(yīng)用具備一套既定的功能操作 (例如智能家居、多媒體、導(dǎo)航等)。
您已準(zhǔn)備好進(jìn)行微調(diào): 您需要的是通過對特定數(shù)據(jù)進(jìn)行微調(diào)所帶來的高度一致性與確定性,而不是零樣本提示帶來的不確定性。
您優(yōu)先考慮 "本地優(yōu)先" 的部署方式: 您的應(yīng)用需要近乎即時的響應(yīng)延遲與完全的數(shù)據(jù)隱私保護(hù),并且能夠在邊緣設(shè)備的計(jì)算與電池限制下高效運(yùn)行。
您正在構(gòu)建復(fù)合系統(tǒng): 您需要一個輕量級的邊緣模型來處理本地操作,使您的系統(tǒng)能夠在設(shè)備端即時處理常見指令,并且僅在遇到更復(fù)雜任務(wù)時才會調(diào)用更大規(guī)模的模型 (如 Gemma 3 27B)。
如何體驗(yàn) FunctionGemma 的實(shí)際效果
讓我們看看這些模型如何重塑真實(shí)的用戶體驗(yàn)。您可以通過Google AI Edge Gallery 應(yīng)用中的兩種不同體驗(yàn)來探索它的能力: 一個互動游戲和一個開發(fā)者挑戰(zhàn)。
Mobile Actions 微調(diào)
這個演示重新構(gòu)想了助理交互的形式,使其成為完全離線的能力。無論是 "為明天的午餐創(chuàng)建一個日程"、"將 John 添加到我的聯(lián)系人" 還是 "打開手電筒",該模型都能解析自然語言并識別正確的操作系統(tǒng)工具來執(zhí)行命令。要解鎖這個智能體,您可以使用我們的微調(diào)操作手冊來構(gòu)建模型,并將其部署到自己的移動設(shè)備上。
TinyGarden 游戲演示
在這個互動小游戲中,玩家使用語音指令來經(jīng)營一塊虛擬土地。例如,您可以說 "在最上面一排種向日葵并澆水",模型會將此指令分解為具體的應(yīng)用函數(shù),比如 "種植作物 (plantCrop)" 或 "給作物澆水 (waterCrop)",并針對特定的網(wǎng)格坐標(biāo)進(jìn)行操作。這證明,270M 模型能夠在手機(jī)上處理多輪邏輯,驅(qū)動自定義游戲機(jī)制,而無需連接服務(wù)器。
FunctionGemma Physics Playground
使用自然語言交互來解決有趣的物理模擬謎題吧!這個游戲完全在您的瀏覽器中本地運(yùn)行,由 FunctionGemma 和 Transformers.js 提供支持!
致謝: @xenovacom (來自 X)
如何立即體驗(yàn) FunctionGemma
我們正從 "聊天機(jī)器人時代" 邁向 "行動時代"。有了 FunctionGemma,這種強(qiáng)大的能力便觸手可及。
下載: 前往Hugging Face或Kaggle獲取模型。
學(xué)習(xí): 閱讀相關(guān)指南,了解函數(shù)調(diào)用模板、如何將模型與函數(shù)響應(yīng)序列化以及微調(diào)指南。
探索: 下載新版Google AI Edge Gallery,體驗(yàn)相關(guān)演示。
構(gòu)建: 通過Colab Notebook和配套數(shù)據(jù)集,使用 Mobile Actions指南訓(xùn)練您的專屬智能體。
部署: 使用LiteRT-LM輕松將模型部署到移動設(shè)備,或?qū)⑵浣尤?Vertex AI 或 NVIDIA RTX PRO、DGX?Spark 等設(shè)備,與更大的模型搭配使用。
我們迫不及待地想看到,您將如何在設(shè)備上開啟獨(dú)特、私密且極致響應(yīng)的全新體驗(yàn)。也歡迎您持續(xù)關(guān)注 "谷歌開發(fā)者" 微信公眾號,及時了解更多開發(fā)技術(shù)和產(chǎn)品更新等資訊動態(tài)。
-
模型
+關(guān)注
關(guān)注
1文章
3751瀏覽量
52099 -
智能體
+關(guān)注
關(guān)注
1文章
476瀏覽量
11604
原文標(biāo)題:從 "對話" 邁向 "行動": 利用 FunctionGemma 打造下一代端側(cè)智能體
文章出處:【微信號:Google_Developers,微信公眾號:谷歌開發(fā)者】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
理想汽車發(fā)布端側(cè)大模型軟硬協(xié)同設(shè)計(jì)定律
軟通動力基于OpenClaw開源框架深度自研端側(cè)智能體平臺
解鎖谷歌FunctionGemma模型的無限潛力
借助谷歌LiteRT構(gòu)建下一代高性能端側(cè)AI
晶晨攜手谷歌,助力端側(cè)大模型Gemini的硬件落地
端側(cè)大模型上車:從“語音助手”到“車內(nèi) AI 智能體”的躍遷革命
高算力、低功耗!下一代端側(cè)AI芯片排隊(duì)進(jìn)場
AI眼鏡或成為下一代手機(jī)?谷歌、蘋果等巨頭扎堆布局
廣和通發(fā)布端側(cè)情感對話大模型FiboEmo-LLM
【內(nèi)測活動同步開啟】這么小?這么強(qiáng)?新一代大模型MCP開發(fā)板來啦!
適用于下一代 GGE 和 HSPA 手機(jī)的多模/多頻段 PAM skyworksinc
德賽西威端側(cè)大模型重塑智能座艙體驗(yàn)
光庭信息推出下一代整車操作系統(tǒng)A2OS
英特爾與面壁智能宣布建立戰(zhàn)略合作伙伴關(guān)系,共同研發(fā)端側(cè)原生智能座艙,定義下一代車載AI
借助谷歌FunctionGemma模型構(gòu)建下一代端側(cè)智能體
評論