近日，Meta推出了Llama 2，這是一個新的大型語言模型，參數高達700億。新的生成型人工智能系統代表了OpenAI的變化，但是幾乎沒有分享包括GPT-3/3.5和GPT-4在內的大多數人工智能模型的細節。根據維基百科的數據，Llama 2的發布包含了ChatGPT 3.5的40%的參數，其中包括與微軟的重要合作。Redmond也不僅僅是一個名義上的合作伙伴，他最近宣布支持Azure和Windows中的Llama 2。與此同時，高通公司現在表示，它將與Llama 2一起加入LLM競爭，并公布了將Llama 2帶入智能手機中的計劃。

Meta方面在微軟的Inspire合作伙伴大會上宣布，將與包括微軟在內的主要云計算服務提供商合作，推出新一代開源大模型Llama 2，并將該模型免費開放給商業和研究機構使用。

這樣的發展意味著，無論來源如何，開源人工智能模型的能力和覆蓋范圍都將大幅擴大。

Llama 2: Fine-tuned and Ready to Chat

Perplexity.ai提供了一個令人印象深刻的多個Llama 2模型的免費在線演示。它的結果與包括ChatGPT和谷歌Bard在內的當今頂級聊天機器人具有競爭力。Llama 2快速生成干凈、自然的文本，盡管不太可能非常出彩，但易于閱讀和理解。Llama 2還可以生成通常理解的事實、生成代碼和求解數學方程。

與所有LLM一樣，Llama 2偶爾會產生不正確或不可用的答案，但Meta介紹Llama的論文聲稱，它在學術基準方面與OpenAI的GPT 3.5不相上下，如MMLU（衡量LLM在57門STEM科目中的知識）和GSM8K（衡量LLM對數學的理解）。

Meta的研究人員部分是通過純粹的模型大小實現的 —— 但這只是故事的一半。根據Meta的論文，Llama 2使用了有監督的微調、帶有人類反饋的強化學習和一種名為Ghost Attention（GAtt）的新技術，該技術“能夠在多個回合中進行對話控制”。更簡單地說，GAtt幫助Llama在被要求在特定約束下工作時產生所需的結果，就像被要求“扮演”歷史人物時可能發生的那樣，或者在諸如架構之類的特定主題的上下文中產生響應。

META

這些技術有助于Llama 2提供各種型號，相對于其尺寸，具有可靠的基準性能。最大的模型Llama 2 70B（有700億個參數）在所有基準測試中表現最好，但Meta也提供Llama 27 B和Llama 13 B。

參數較少的變體性能不如Llama 2 70B，但它們足夠緊湊，可以在功能較弱的設備（如智能手機）上本地運行。領先的智能手機片上系統（SoC）生產商高通公司宣布與Meta合作，“從2024年開始”讓Llama 2在高通公司支持的智能手機上本地運行”。

高通公司營銷傳播專家Rodrigo Caruso Neves do Amaral表示：“我們能夠使用我們的軟件工具來編譯和優化模型，特別是在我們的Hexagon處理器上運行。無論是對運行這些型號的公司，還是對有時必須為訪問這些應用程序付費的消費者，在設備上運行所節省的能量都會產生巨大影響。”

Open Source Fits Where Closed Models Can’t

在智能手機上離線運行大型語言模型是封閉的人工智能模型（如OpenAI的GPT 3.5和谷歌的PaLM2）無法處理的。這不一定是由于技術限制（據推測，OpenAI和谷歌可以提供一種適合智能手機的模型），而是哲學上的分歧。OpenAI和谷歌提供LLM作為API。訪問API需要互聯網連接，客戶將根據使用情況收費。

相比之下，Llama 2的發布表示允許無限、免費的商業和學術使用。該許可并不符合開源計劃制定的所有標準，因為該許可包括一項條款，要求允許將Llama 2用于“月活躍用戶超過7億”的“產品或服務”。然而，該條款僅適用于Meta最大的競爭對手，如OpenAI和谷歌。Meta的Llama 2模型已經出現在HuggingFace的Open LLM排行榜上，截至7月24日星期一收盤，“Llama-2-70b-chat-hf”的延遲和吞吐量基準排名第三。（截至發稿時，目前的頂級模型Stability AI的FreeWilly2實際上已經基于Llama 2，但FreeWilly22使用不同的數據集對模型進行了微調。）

Srinivas認為Llama 2的開源許可證是一個力量倍增器，為開發者和研究人員提供了一個根據他們的特定需求調整模型的機會。“一個人可以啟動Llama 2的分支，專注于量化，另一個人可以開啟另一個Llama的分支關注于低階微調，……其他人則可以將更大的模型提煉成更小的模型，從而加速進展。”

事實證明，這對瞄準邊緣設備（如智能手機）的開發人員來說尤其重要。考慮到型號的大小，Llama 2 70B表現出色并不令人驚訝。但Llama 2的較小型號相對于其型號大小也排名良好。在Open LLM排行榜上，大多數表現優于Llama 2的小型模型本身都是基于Meta之前的模型Llama。這表明，隨著開源社區的開發人員將他們的才能應用到Llama 2中，Llama 2將在排行榜上名列前茅。

Srinivas說：“我認為Llama 2 7B和Llama 2 13B已經很令人興奮了……這只是一個開始。Meta推出了它，現在人們可以改進它。可以構建其他框架和其他工程層，這賦予了每個人更多的權力。”