作者 / 開發者品牌和聲譽營銷部 Francesca Di Felice

阿里巴巴集團是一家全球化的科技公司，其目標簡單而明確：讓天下沒有難做的生意。自 1999 年以來，該集團創建了一系列工具和基礎設施來支持中小企業。如今，阿里國際運營著全球規模最大的零售商業業務之一。

阿里巴巴為其連接全球買家和供應商的國際電子商務平臺構建了一系列多模態大模型 (MLLM)。這個名為 Ovis 的模型系列能夠感知和理解視覺信息，允許用戶輸入圖像或視頻請求并獲得文本輸出結果。其性能最佳的模型之一Ovis1.6-Gemma2-9B是基于 Gemma 構建的。

挑戰

阿里巴巴的開發者希望為公司的國際電子商務平臺創建一個有效的多模態大模型，但在尋找一個能夠勝任多種任務且易于集成的基礎模型時遇到了困難。在對現有開放模型進行初步實驗時，團隊發現這些模型在多模態推理和文本生成等關鍵領域存在多種性能差距。

經過全面測試，Gemma 2 的指令調優 9B 參數模型 (gemma-2-9b-it) 展現出最佳的綜合性能，具備卓越的指令遵循能力和強大的文本生成能力。它在數學和編程等語言任務方面的優勢使其成為多模態模型的理想基礎。然而，無縫集成視覺和文本嵌入又增加了任務的復雜度。團隊需要創新，以確保模型能夠在基于圖像的產品發布等關鍵業務應用中高效運行。

Gemma 在通用語言任務上表現尤為出色，特別是在數學和編程方面。我們利用 Gemma 的語言能力來提升我們在多模態任務上的表現。

解決方案

使用gemma-2-9b-it作為 Ovis 的基礎語言模型，為構建多模態架構奠定了堅實的基礎，彌補了視覺和文本輸入之間的差距。Ovis 采用獨特的方法：首先，它將連續的視覺特征轉換為概率性的視覺令牌 (Token)。然后，通過加權索引，Ovis 將這些令牌組裝成視覺嵌入。在此基礎上，Gemma 的 Transformer 架構將這些嵌入與文本輸入集成，確保多模態數據無縫流動。

Gemma 2 在數學和邏輯方面的優勢顯著提升了 Ovis 在推理和理解任務上的能力，使阿里巴巴團隊能夠將這一新模型部署到各種業務運營中。例如，阿里國際數字商業平臺用戶現在可以使用 Ovis 根據產品圖像來識別產品類別和屬性或添加標簽。這大大減少了手動輸入的需求，讓用戶能夠更高效地創建商品詳情。

Ovis 的功能還擴展到了其他使用場景，如檢測文本與圖像之間的一致性問題、評估圖像質量以及生成結構化輸出。這些功能彰顯了 Ovis 的多功能性及其適應各種任務的能力。

影響

Ovis 顯著改進了阿里國際數字商業平臺上的產品生產工作流程，并在推理過程中展現出卓越的效率，為多模態 AI 設定了新的標準。自發布以來，Ovis 已在 GitHub、Hugging Face、Model Scope 和 OpenCompass 等平臺上獲得了廣泛的認可和應用，甚至在 Hugging Face 首頁獲得推薦展示。

未來計劃

阿里巴巴計劃優化并擴展 Ovis 系列以適應新的應用場景，同時與其他開發者和社區分享團隊的研究成果和見解，推動創新。

擴展產品系列

阿里巴巴希望引入更多樣化的新型 Ovis 模型，以滿足更多業務需求，例如為資源有限的團隊提供較小規模的模型。開發團隊基于 gemma-2-27b 模型發布了30B 參數版本，并且已經在為未來的迭代做準備。

新用例

基于社區反饋，阿里巴巴將改進 Ovis 系列的光學字符識別、視覺理解和通用多模態理解能力，為用戶提供更多使用模型的方式。團隊還計劃利用模型出色的圖像-文本理解能力，在 Ovis 中加入照片分析、健身指導和美容建議等功能。

知識共享

阿里巴巴致力于與更廣泛的 AI 社區分享研究成果。團隊希望推動多模態技術領域中研究人員和開發者之間的協作與創新，進一步鞏固 Ovis 作為全球商業變革性工具的地位。