Guru Network Limited 是一家全球化的娛樂(lè)與游戲公司，其開(kāi)發(fā)的 CastFox 徹底改變了用戶與播客的交互方式，應(yīng)用上線僅 3 周下載量就突破 100 萬(wàn)次。

通過(guò)將傳統(tǒng)的被動(dòng)長(zhǎng)音頻轉(zhuǎn)化為互動(dòng)式知識(shí)庫(kù)，CastFox 意在打造比簡(jiǎn)單播放更豐富的體驗(yàn)。為了達(dá)成這一目標(biāo)，CastFox 工程團(tuán)隊(duì)需要一個(gè)高效穩(wěn)健的 AI 模型來(lái)支撐其語(yǔ)義檢索、智能亮點(diǎn)提取和節(jié)目?jī)?nèi)聊天功能?；诔鮿?chuàng)團(tuán)隊(duì)的預(yù)算考量，他們果斷選擇 Gemma 3n 作為這些核心功能的技術(shù)引擎，從而快速推進(jìn)自身愿景的規(guī)?；M(jìn)程。

面臨的挑戰(zhàn)

CastFox 團(tuán)隊(duì)的目標(biāo)是重塑播客體驗(yàn)，從孤立的單集式收聽(tīng)轉(zhuǎn)變?yōu)楦S富的主題式探索。這意味著，用戶可以在應(yīng)用的播客目錄中基于語(yǔ)義概念 (而不僅是關(guān)鍵詞) 進(jìn)行搜索，先快速生成主題概覽再深入收聽(tīng)完整劇集，甚至可以與音頻內(nèi)容本身進(jìn)行交互對(duì)話。

為將這一愿景轉(zhuǎn)化為現(xiàn)實(shí)，團(tuán)隊(duì)需要一種兼具可擴(kuò)展性與經(jīng)濟(jì)高效的方式來(lái)處理海量的英語(yǔ)、日語(yǔ)和韓語(yǔ)音頻。這種處理能力對(duì)于摘要、亮點(diǎn)和問(wèn)答的生成至關(guān)重要，而這些正是驅(qū)動(dòng)應(yīng)用核心功能的基石。早期測(cè)試表明，許多基于 API 的模型要么在面對(duì)大規(guī)模需求時(shí)成本過(guò)高，要么缺乏團(tuán)隊(duì)特定多語(yǔ)言用例所需的靈活性。

解決方案

在評(píng)估了 GPT 和 Claude 等大規(guī)模專有模型以及 Whisper 流水線后，CastFox 開(kāi)發(fā)者最終選擇了 Gemma 3n E4B，因?yàn)樗_(dá)到了精確度、速度和性價(jià)比這三者的最佳平衡。Gemma 能夠處理多語(yǔ)言內(nèi)容并可靠地返回 JSON 等結(jié)構(gòu)化輸出，這是贏得團(tuán)隊(duì)青睞的關(guān)鍵。另外，它的開(kāi)放也是一個(gè)強(qiáng)大優(yōu)勢(shì): 由于該模型成本低且易于自托管，開(kāi)發(fā)者可以快速構(gòu)建原型并持續(xù)優(yōu)化。Guru Network Limited 的 AI 負(fù)責(zé)人吳充表示: "Gemma 成本低且易于部署，助力團(tuán)隊(duì)實(shí)現(xiàn)了快速迭代與低成本規(guī)?；?。這是真實(shí)場(chǎng)景下 AI 集成的理想切入點(diǎn)。"

該團(tuán)隊(duì)在輕量級(jí) GPU 和 CPU 基礎(chǔ)設(shè)施上使用 Ollama 運(yùn)行 Gemma 3n，這種架構(gòu)有效規(guī)避了模型再訓(xùn)練的高成本與復(fù)雜性。開(kāi)發(fā)者發(fā)現(xiàn)，他們無(wú)需微調(diào)模型，僅通過(guò)提示工程和輕量級(jí)后處理 (例如驗(yàn)證 JSON 架構(gòu)和平滑處理時(shí)間戳)，就能實(shí)現(xiàn)高精度結(jié)果。

Guru Network Limited 的 AI 負(fù)責(zé)人吳充：“Gemma 3n 高效、開(kāi)放并且在多語(yǔ)言環(huán)境下表現(xiàn)卓越，是初創(chuàng)公司構(gòu)建 AI 富集型應(yīng)用的理想之選。”

如今，這一架構(gòu)支撐起了 CastFox 的整個(gè)音頻理解后端。在預(yù)處理期間，系統(tǒng)首先對(duì)節(jié)目音頻進(jìn)行轉(zhuǎn)錄，隨后解析文本并生成摘要、自動(dòng)分段和候選問(wèn)答，所有這些內(nèi)容都存儲(chǔ)為 JSON 格式，以備日后檢索。這樣，Gemma 3n 就成為 CastFox 語(yǔ)義搜索和交互功能的幕后核心引擎。吳充表示: "AI 讓我們能夠?qū)⒉タ偷缺粍?dòng)的媒體轉(zhuǎn)變?yōu)橹鲃?dòng)學(xué)習(xí)的體驗(yàn)。如果沒(méi)有它，CastFox 將僅僅是一個(gè)普通的播客播放器。"

影響

Gemma 3n 在英語(yǔ)、韓語(yǔ)和日語(yǔ)方面均展現(xiàn)出穩(wěn)定和準(zhǔn)確的理解能力，同時(shí)兼顧了高效的處理速度: 處理 30 秒的音頻片段大約需要 40 秒，處理 300-400 個(gè)字符的文本摘要大約需要 6 秒，從長(zhǎng)文本中生成推薦問(wèn)題大約需要 12 秒。

Guru Network Limited 的 AI 負(fù)責(zé)人吳充：“Gemma 3n 不僅具備強(qiáng)大的英語(yǔ)、韓語(yǔ)和日語(yǔ)理解能力，而且響應(yīng)能力快速穩(wěn)定。一款緊湊型模型能達(dá)到這種水平，確實(shí)令人贊嘆。”

這種自托管的方法同時(shí)實(shí)現(xiàn)了極高的成本效益。每個(gè)請(qǐng)求的成本只有大約 0.0007 美元，因此團(tuán)隊(duì)可以輕松地大規(guī)模處理內(nèi)容。為此，他們?cè)?AWS Spot 實(shí)例上使用可搶占容量運(yùn)行預(yù)處理，而不是使用更昂貴的預(yù)留節(jié)點(diǎn)，從而將日均處理成本降至僅 10 美元左右。

用戶對(duì) AI 功能的參與度很高，無(wú)論是出色的留存率指標(biāo)，還是強(qiáng)調(diào) "與播客聊天" 功能的用戶好評(píng)，都有力地證實(shí)了這一點(diǎn)。在 Gemma 的支持下，CastFox 上線僅 3 周下載量就突破 100 萬(wàn)次，成功吸引了一批高度活躍且粘性極強(qiáng)的用戶群體。

吳充認(rèn)為結(jié)果不言而喻: "Gemma 3n 證明了小規(guī)模開(kāi)放模型也能產(chǎn)生切實(shí)影響力。"