作者 / 小組產(chǎn)品經(jīng)理 Olivier Lacombe、研究工程師 Kathleen Kenealy、Kat Black、Ravin Kumar、Francesco Visin、Jiageng Zhang

過去幾個(gè)月，Gemma 開放模型系列的發(fā)展是激動(dòng)人心的。我們推出了 Gemma 3 和 Gemma 3 QAT，為單一云端和桌面加速器帶來了最先進(jìn)的性能。以移動(dòng)設(shè)備優(yōu)先的架構(gòu) Gemma 3n 的推出，能夠?qū)?qiáng)大的實(shí)時(shí)多模態(tài) AI 直接應(yīng)用于邊緣設(shè)備。我們的目標(biāo)是為開發(fā)者提供使用 AI 進(jìn)行構(gòu)建的實(shí)用工具，也一直對(duì)大家共同創(chuàng)造的 Gemmaverse 生態(tài)系統(tǒng)蓬勃發(fā)展而倍感欣喜，目前下載量已經(jīng)突破 2 億次，讓我們共同慶祝這一時(shí)刻。

現(xiàn)在，我們?cè)?Gemma 3 工具包中新增了一款高度專業(yè)化的工具: Gemma 3 270M。此模型是擁有 2.7 億參數(shù)的緊湊型模型，專為針對(duì)特定任務(wù)進(jìn)行微調(diào)而設(shè)計(jì)，并且已內(nèi)置強(qiáng)大的指令遵循和文本結(jié)構(gòu)化能力。

Gemma 3 270M 為小尺寸模型帶來強(qiáng)大的指令遵循能力。正如 IFEval 基準(zhǔn)測(cè)試 (該測(cè)試用于檢驗(yàn)?zāi)Ｐ妥裱沈?yàn)證指令的能力) 所示，它為同尺寸模型確立了新的性能水平，使復(fù)雜的 AI 功能更容易用于設(shè)備端和研究應(yīng)用。

Gemma 3 270M 的核心能力

緊湊但功能強(qiáng)大的架構(gòu): 我們的新模型總共有 2.7 億參數(shù): 其中的 1.7 億是嵌入?yún)?shù) (因詞匯量較大)，另外的 1 億參數(shù)用于我們的 Transformer 模塊。得益于 256k token 的大詞匯量，該模型可以處理特定和罕見的 token，使其成為可在特定領(lǐng)域和語言中進(jìn)一步微調(diào)的強(qiáng)大基礎(chǔ)模型。

極致的能效表現(xiàn): Gemma 3 270M 的一個(gè)關(guān)鍵優(yōu)勢(shì)是其低功耗。在 Pixel 9 Pro SoC 上進(jìn)行的內(nèi)部測(cè)試顯示，由于采用了 INT4 量化技術(shù)，該模型在 25 次對(duì)話中僅消耗了 0.75% 的電量，成為我們最節(jié)能的 Gemma 模型。

指令遵循: 我們同步發(fā)布了指令微調(diào)版模型和預(yù)訓(xùn)練檢查點(diǎn)。雖然此模型并非專為復(fù)雜的對(duì)話用例而設(shè)計(jì)，但它是一個(gè)強(qiáng)大的模型，能夠開箱即用直接遵循一般指令。

可用于生產(chǎn)環(huán)境的量化: 量化感知訓(xùn)練 (QAT) 檢查點(diǎn)已正式推出，使您能夠在 INT4 精度下運(yùn)行模型，同時(shí)將性能損失降至最低，這對(duì)于在資源受限的設(shè)備上部署模型至關(guān)重要。

選擇合適的工具

在工程領(lǐng)域，衡量成功的標(biāo)準(zhǔn)在于效率，而不僅僅是原始算力。避免 "大材小用"，同樣的道理也適用于使用 AI 進(jìn)行構(gòu)建。

Gemma 3 270M 體現(xiàn)了 "選擇合適的工具" 這一理念。這是一款性能卓越的基礎(chǔ)模型，開箱即用即可遵循指令，而通過微調(diào)更能釋放其全部潛能。經(jīng)過專業(yè)化設(shè)置后，模型能以驚人的準(zhǔn)確率、速度和成本效益執(zhí)行文本分類和數(shù)據(jù)提取等任務(wù)。從一款功能強(qiáng)大的緊湊型模型著手，您可以構(gòu)建出精簡(jiǎn)、快速且顯著降低運(yùn)營成本的生產(chǎn)系統(tǒng)。

現(xiàn)實(shí)世界的成功藍(lán)圖

這種方法已經(jīng)在現(xiàn)實(shí)世界中取得了令人驚嘆的成果。Adaptive ML 與 SK Telecom 合作完成的項(xiàng)目便是一個(gè)絕佳的例證。面對(duì)復(fù)雜、多語言的內(nèi)容審核這一挑戰(zhàn)，他們選擇了走專業(yè)化路線。Adaptive ML 沒有使用大型通用模型，而是對(duì) Gemma 3 4B 模型進(jìn)行了微調(diào)。結(jié)果令人驚嘆: 專業(yè)的 Gemma 模型在特定任務(wù)上的性能不僅比肩、甚至超越了更大規(guī)模的專有模型。

Gemma 3 270M 旨在讓開發(fā)者更進(jìn)一步地采用這種方法，從而更高效地處理明確的任務(wù)。該模型是打造小型專業(yè)模型的完美起點(diǎn)，因?yàn)槊總€(gè)模型都有各自擅長(zhǎng)處理的任務(wù)類型。

而且，這種專業(yè)化的能力不僅適用于企業(yè)任務(wù)，還能賦能強(qiáng)大的創(chuàng)意應(yīng)用。例如下面這款 "睡前故事生成器" Web 應(yīng)用:

何時(shí)選擇使用 Gemma 3 270M

Gemma 3 270M 沿襲了 Gemma 3 系列的先進(jìn)架構(gòu)和強(qiáng)大的預(yù)訓(xùn)練能力，為您的自定義應(yīng)用奠定了堅(jiān)實(shí)的基礎(chǔ)。

理想應(yīng)用場(chǎng)景如下:

您有大量明確的任務(wù)。非常適合情感分析、實(shí)體提取、查詢路由、非結(jié)構(gòu)化文本到結(jié)構(gòu)化文本的轉(zhuǎn)換、創(chuàng)意寫作以及合規(guī)性檢查等功能。

您需要充分利用每分每秒的時(shí)間。大幅降低或消除生產(chǎn)環(huán)境中的推理成本，并為用戶提供更快的響應(yīng)速度。經(jīng)過微調(diào)的 270M 模型可以在輕量級(jí)、低成本的基礎(chǔ)設(shè)施上運(yùn)行，也可以直接在設(shè)備上運(yùn)行。

您需要快速迭代和部署。Gemma 3 270M 體積小巧，可進(jìn)行快速微調(diào)實(shí)驗(yàn)，幫助您在數(shù)小時(shí)而非幾天內(nèi)找到適合用例的理想配置。

您需要確保用戶隱私。由于該模型可以完全在設(shè)備上運(yùn)行，因此您可以構(gòu)建處理敏感信息的應(yīng)用，而無需將數(shù)據(jù)發(fā)送到云端。

您想擁有一系列能夠處理各種任務(wù)的專業(yè)模型。構(gòu)建并部署多個(gè)自定義模型，每個(gè)模型都針對(duì)不同的任務(wù)經(jīng)過專業(yè)訓(xùn)練，并且不會(huì)超出您的預(yù)算。

微調(diào)入門

我們致力于讓每一位開發(fā)者都能輕松地將 Gemma 3 270M 打造為專屬的定制化解決方案。該模型采用與其他 Gemma 3 模型相同的架構(gòu)，并配備了相關(guān)教程和工具，助您快速入門。您可以

在 Gemma 文檔中查閱關(guān)于使用 Gemma 3 270M 進(jìn)行全面微調(diào)的指南。

下載模型: 從 Hugging Face、Ollama、Kaggle、LM Studio 或 Docker 獲取 Gemma 3 270M 模型。我們將發(fā)布經(jīng)過預(yù)訓(xùn)練和指令微調(diào)的模型。

試用模型: 在 Vertex AI 或熱門推理工具 (如 llama.cpp、Gemma.cpp、LiteRT、Keras 和 MLX) 上試用模型。

開始微調(diào): 使用您最喜歡的工具，包括 Hugging Face、UnSloth 和 JAX。

部署解決方案: 微調(diào)完成后，您可以在任何地方部署您的專業(yè)模型，從您自己的本地環(huán)境到 Google Cloud Run。

Gemmaverse 建立在 "創(chuàng)新無關(guān)大小" 這一理念之上。借助 Gemma 3 270M，我們讓開發(fā)者能夠構(gòu)建更智能、更迅捷、更高效的 AI 解決方案。我們熱切期待您創(chuàng)建的專業(yè)模型。