Llama 2 是一個由 Meta 開發的大型語言模型，是 LLaMA 1 的繼任者。Llama 2 可通過 AWS、Hugging Face 獲取，并可以自由用于研究和商業用途。Llama 2 預訓練模型在 2 萬億個標記上進行訓練，相比 LLaMA 1 的上下文長度增加了一倍。它的微調模型則在超過 100 萬個人工標注數據下完成。

這篇博客包含了所有的相關資源，以幫助您快速入門。

來自 Meta 官方的公告可以在這里找到：https://ai.meta.com/llama/

LLaMA 2 是什么？

Meta 發布的 Llama 2，是新的 SOTA 開源大型語言模型（LLM）。Llama 2 代表著 LLaMA 的下一代版本，可商用。Llama 2 有 3 種不同的大小 —— 7B、13B 和 70B 個可訓練參數。與原版 LLaMA 相比，新的改進包括：

• 在 2 萬億個標記的文本數據上進行訓練
• 允許商業使用
• 默認使用 4096 個前后文本視野
• 70B 模型采用了分組查詢注意力（GQA）
• 可以在 Hugging Face Hub 上直接獲取https://hf.co/models?other=llama-2

即刻解鎖 Llama2

有幾個不同的游樂場供與 Llama 2 來測試：

HuggingChat

在我們推出的 HuggingChat 中使用 Llama 2 70B：https://hf.co/chat

Hugging Face Space 應用

我們在 Space 應用上提供了三個大小的 Llama 2 模型的體驗，分別是:

• 7Bhttps://hf.co/spaces/huggingface-projects/llama-2-7b-chat
• 13Bhttps://huggingface.co/spaces/huggingface-projects/llama-2-13b-chat
• 70Bhttps://huggingface.co/spaces/ysharma/Explore_llamav2_with_TGI

Perplexity

Perplexity 的對話 AI 演示提供 7B 和 13B 的 Llama 2 模型:https://llama.perplexity.ai/

Llama 2 背后的研究工作

Llama 2 是一個基礎大語言模型，它由網絡上公開可獲取到的數據訓練完成。另外 Meta 同時發布了它的 Chat 版本。Chat 模型的第一個版本是 SFT（有監督調優）模型。在這之后，LLaMA-2-chat 逐步地經過人類反饋強化學習（RLHF）來進化。RLHF 的過程使用了拒絕采樣與近端策略優化（PPO）的技術來進一步調優聊天機器人。Meta 目前僅公布了模型最新的 RLHF (v5) 版本。若你對此過程背后的過程感興趣則請查看：

• Llama 2: 開源并已微調的聊天模型https://arxiv.org/abs/2307.09288
• Llama 2: 一個超贊的開源大語言模型https://www.interconnects.ai/p/llama-2-from-meta
• Llama 2 的全面拆解https://www.youtube.com/watch?v=zJBpRn2zTco

Llama 2 的性能有多好，基準測試？

Meta 表示:

Llama 2 在眾多外部基準測試中都優于其他開源的語言模型，包括推理、編程、熟練程度與知識測驗。

關于其性能你可以在這里找到更多信息：

• Hugging Face 開源大語言模型排行榜https://hf.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Meta 官方公告https://ai.meta.com/llama/

如何為 LLaMA 2 Chat 寫提示詞 (prompts)

Llama 2 Chat 是一個開源對話模型。想要與 Llama 2 Chat 進行高效地交互則需要你提供合適的提示詞，以得到合乎邏輯且有幫助的回復。Meta 并沒有選擇最簡單的提示詞結構。

以下是單輪、多輪對話的提示詞模板。提示詞模板遵循模型訓練過程，你可以在這里查看到詳細描述:

• Llama 2 論文https://hf.co/papers/2307.09288
• Llama 2 提示詞模板https://gpus.llm-utils.org/llama-2-prompt-template/

單輪對話

[INST]<>
{{system_prompt}}
<>

{{user_message}}[/INST]

[INST]<>
{{system_prompt}}
<>

{{user_msg_1}}[/INST]{{model_answer_1}}[INST]{{user_msg_2}}[/INST]{{model_answer_2}}[INST]{{user_msg_3}}[/INST]