谷歌 Gemini 模型即將支持本地部署，可通過搭載 NVIDIA Blackwell 架構(gòu)的基礎(chǔ)設(shè)施，在 Google 分布式云上運(yùn)行 NVIDIA 機(jī)密計(jì)算。

NVIDIA 正在與谷歌云合作，為希望使用NVIDIA BlackwellHGX 和 DGX 平臺(tái)以及NVIDIA 機(jī)密計(jì)算技術(shù)本地化運(yùn)行谷歌 Gemini AI 模型系列的企業(yè)引入代理式 AI，以保證數(shù)據(jù)安全。

借助 Google 分布式云上的 NVIDIA Blackwell 平臺(tái)，本地?cái)?shù)據(jù)中心可借助敏感信息訪問權(quán)限嚴(yán)格管控（例如病患檔案、金融交易和政府涉密信息），確保符合監(jiān)管要求和數(shù)據(jù)主權(quán)法律。NVIDIA 機(jī)密計(jì)算還可以保護(hù) Gemini 模型中的敏感代碼免于未經(jīng)授權(quán)的訪問和數(shù)據(jù)泄露。

“通過將我們的 Gemini 模型與 NVIDIA Blackwell 的突破性性能和機(jī)密計(jì)算能力引入本地部署環(huán)境，企業(yè)得以充分釋放代理式 AI 的全部潛能，”谷歌云副總裁兼基礎(chǔ)設(shè)施和解決方案總經(jīng)理 Sachin Gupta 表示。“此次合作有助于確保客戶在不犧牲性能或操作簡易性的前提下，安全地實(shí)現(xiàn)技術(shù)創(chuàng)新。”

基于 NVIDIA Blackwell 的機(jī)密計(jì)算可以為企業(yè)提供技術(shù)保障，確保用戶向 Gemini 模型的應(yīng)用編程接口提交的指令及模型微調(diào)數(shù)據(jù)均全程加密，無法被查看或修改。

同時(shí)，模型所有者可以防范未經(jīng)授權(quán)的訪問或篡改，提供雙層保護(hù)，使企業(yè)使用 Gemini 模型進(jìn)行創(chuàng)新的同時(shí)，還能保障數(shù)據(jù)隱私。

AI 智能體驅(qū)動(dòng)新的企業(yè)應(yīng)用

隨著代理式 AI 正在推動(dòng)企業(yè)技術(shù)變革，并提供更強(qiáng)的解決問題能力，這一新產(chǎn)品應(yīng)運(yùn)而生。

與基于學(xué)習(xí)知識(shí)進(jìn)行感知或生成的 AI 模型不同，代理式 AI 系統(tǒng)可以在動(dòng)態(tài)環(huán)境中進(jìn)行推理、調(diào)整并做出決策。例如，在企業(yè) IT 支持中，知識(shí)型 AI 模型可以檢索并給出故障排除指南，而代理式 AI 系統(tǒng)則能診斷問題、執(zhí)行修復(fù)并自主完成復(fù)雜問題升級(jí)。

同樣，在金融領(lǐng)域，傳統(tǒng) AI 模型可以根據(jù)模式標(biāo)記潛在的欺詐交易，但代理式 AI 系統(tǒng)不僅能溯源異常數(shù)據(jù)，更能進(jìn)行主動(dòng)干預(yù)（例如攔截可疑交易或?qū)崟r(shí)調(diào)整欺詐檢測(cè)規(guī)則）。

本地困境

雖然許多用戶已經(jīng)可以使用具有多模態(tài)邏輯推理能力的模型——通過整合文本、圖像、代碼等多類數(shù)據(jù)來解決復(fù)雜問題，并構(gòu)建基于云的代理式 AI 應(yīng)用，但對(duì)于那些有嚴(yán)格安全要求或數(shù)據(jù)主權(quán)要求的客戶來說，尚無法做到這一點(diǎn)。

此次發(fā)布后，谷歌云將成為首批提供機(jī)密計(jì)算功能的云服務(wù)提供商之一，以保護(hù)各類環(huán)境中的代理式 AI 工作負(fù)載（無論是云還是混合環(huán)境）。

該解決方案由搭載NVIDIABlackwell GPU和采用 NVIDIA 機(jī)密計(jì)算的 NVIDIA HGX 平臺(tái)提供支持，助力客戶保護(hù) AI 模型和數(shù)據(jù)，使用戶能夠在不損害數(shù)據(jù)安全性或模型完整性的前提下實(shí)現(xiàn)突破性的性能和能效。

代理式 AI 的 AI 可觀測(cè)性和安全性

在生產(chǎn)環(huán)境中擴(kuò)展代理式 AI 需要構(gòu)建強(qiáng)大的可觀測(cè)性和安全保障體系，以確保系統(tǒng)性能可靠并滿足合規(guī)要求。

谷歌云宣布推出全新 GKE 推理網(wǎng)關(guān) (GKE Inference Gateway)，旨在通過先進(jìn)的路由和擴(kuò)展能力優(yōu)化 AI 推理工作負(fù)載的部署。該網(wǎng)關(guān)集成NVIDIA Triton推理服務(wù)器以及NVIDIA NeMo Guardrails，提供智能負(fù)載均衡，能夠提升性能并降低服務(wù)成本，同時(shí)實(shí)現(xiàn)模型的集中式安全防護(hù)和治理。

展望未來，谷歌云正在通過集成NVIDIA Dynamo來增強(qiáng)代理式 AI 工作負(fù)載的可觀測(cè)性。NVIDIA Dynamo 是一個(gè)開源庫，用于加速并擴(kuò)展 AI 工廠的 AI 邏輯推理模型。