[快速帶你看] 世界不能沒有 Meta 來開源 LLM 模型— Llama 3 介紹

看完文章後歡迎按鼓勵，訂閱，並分享給所有想知道此類知識的所有人！

[快速帶你看] 世界不能沒有 Meta 來開源LLM模型 — Llama 3 介紹

去年七月，Meta 公佈了模型 — Llama 2，在商用且開源之下，獲得非常多的關注度，尤其國內許多繁體中文模型，都是基於 Llama 2 來進行 Fine-Tune 工作的。

而 Meta 在今天清晨，公布了最新的 Llama 3 模型，在閱讀了非常多前輩和國內外文章後，整理成以下這篇 Medium 文章，讓大家知道 Llama 3 的能力，其實是有機會和 Google, Anthropic, OpenAI, MistralAI 進行一拼的！

I. Llama 3 模型介紹：

1. 模型名稱

Llama 3 系列模型
此模型是由 Meta 所開源且在規範下可商用的 LLM 模型

2. 模型開源狀況 / License

Meta 老規矩，雖然寫的是特定條件下商業使用（每月使用次數不得超越7億次），但是基本上等於完全免費商用了。

3. 參數量

這次共計開源了2個模型，8B和70B，而 Meta 留了一手，目前根據官方說法，還有一個 400B 的模型，會再未來幾個月內開源。

4. HuggingFace 模型權重

一共分為基礎模型和指令調整模型，可到 HuggingFace 或者 Meta 官方去下載模型，模型審核很快，因此等待官方審核就可以拿到了。

• meta-llama/Meta-Llama-3–8B
• meta-llama/Meta-Llama-3–8B-Instruct
• meta-llama/Meta-Llama-3–70B
• meta-llama/Meta-Llama-3–70B-Instruct

5. HuggingFace 特殊專案

meta-llama/Meta-Llama-Guard-2–8B ：Meta 這次也有公佈自己的safety guard 的模型，來幫助在 LLM 對話時，能夠分類出是否有惡意使用 LLM 模型的內容。

架構圖

6. 模型表現與跑分結果

Part 1: 開源資料評估測試結果

不多說，直接上圖：

五個數據集代表性介紹：

• MMLU：學科知識理解
• GPQA：一般問題
• HumanEval：程式碼能力
• GSM-8K：數學能力
• MATH：比較難的數學題目

整體看到又能夠比Google Gemma, Google Gemini, Mistral, 和 Claude 3 Sonnet 來的更好，可是官方表格沒有特別比較 OpenAI GPT，因此我就去找找相關資料來佐證一下 Llama 3 能力，整理如下：

手動整理 Meta, Anthropic, OpenAI, Google 系列模型

上面整理完，可以知道幾件事情：

1. Llama 2 到 Llama 3，這中間的能力提升，不是只升級一個等級了，Meta 所提供的開源模型上，表現真的越來越好。
2. Llama 3 和其他閉源模型比較，其實表現也是不俗的，可以跟這幾個大廠站在同水位上，但大家要注意，官方還沒做 MoE ，參數量又是可以縮小到 70 B，然後又是開源模型，這真的是太厲害了。

Part 2: Meta 全新評估方式

Meta 官方自己做了一個有趣的測試，搞了一個全新的高品質評估資料集，其中裡面包含了 1800 個 prompt 提示，涵蓋 12 個關鍵類別，分別是：

尋求建議、腦力激盪、分類、封閉式問答、編碼、創意寫作、提取、塑造角色/角色、開放式問答、推理、重寫和總結。

為了防止過度擬合，來向這些資料集靠攏，甚至 Llama3 自己的建模的團隊事先都不知道這資料集。然後針對 Claude Sonnet、Mistral Medium 和 GPT-3.5，對這些類別和提示進行人工評估。

結果如下：

7. Llama 3 有沒有缺點？

上面講了這麼多 Llama 3 的好話，終究要來講講他的２大缺點：

終究可以在 Model card 上面看到一些蛛絲馬跡：https://github.com/meta-llama/llama3/blob/main/MODEL_CARD.md

1. 訓練知識庫時間：
   Llama 3 訓練知識庫，7B只到2023年3月，70B到了2023年12月，對於 7B 來說稍微嫌早了一點。
2. 上下文長度：
   在各大廠已經開始推出非常大的上下文長度時，Llama 3 這次只提供了 8K 的上下文長度，在做一些大型應用上，可能會不太夠用。

更新：感謝台大林彥廷博士生幫忙補充，中文的 benchmark 和實際運行起來表現不錯，在第一版推出文章時有寫到中文表現不好問題是不對的，請注意此部分的不同之處。

8. 所以我說…那個還沒開源的 Llama 3 400B 呢？

官方在自己的部落格有透露，目前正在訓練的最大 Llama 3 的 GenAI 模型有超過 400B 個參數，而這模型仍在訓練中。在接下來的幾個月中，Meta 也將發布多個具有新功能的模型，包括多模態、以多種語言交談的能力、更長的上下文視窗和更強的整體功能。

但是，官方也給了一個目前模型的評估數據，不囉唆直接給大家比較表：

看到結果，我也只能說，我們應該快要可以看見 GPT-5 了吧！

II. 我的觀點

Meta Llama 3 在這次開源模型的公布表現上，真的是做得非常好，去年在 Mistral 出來後，覺得 Llama 2 的表現就有被比下去的感覺，但是今天這個公佈出來的成績，還是只能說，Meta 在做開源模型這方面，表現還是不錯，當然，大家也可以多多思考是不是有辦法拿這些開源模型，做出更多有產值的應用或專案，這樣，才有機會拿到公司更多資源去做更多導入工作。

III. 相關資源連結

• 測試 Llama 3 模型：
  1. Replicate: https://www.meta.ai/
  2. HuggingFace Chat: https://huggingface.co/chat/
• 介紹文章：
  1. Meta 官方文章: https://ai.meta.com/blog/meta-llama-3/
  2. HuggingFace 介紹文章: https://huggingface.co/blog/llama3
• GGUF 模型 (在截稿日期，看到 NousResearch 有提供，因此這邊會先提供他們的連結）
  1. Llama 3 8B: https://huggingface.co/NousResearch/Meta-Llama-3-8B-GGUF
  2. Llama 3 8B Instruct: https://huggingface.co/NousResearch/Meta-Llama-3-8B-Instruct-GGUF
  3. Llama 3 70B: https://huggingface.co/NousResearch/Meta-Llama-3-70B-GGUF
  4. Llama 3 70B Instruct: https://huggingface.co/NousResearch/Meta-Llama-3-70B-Instruct-GGUF

I am Simon

大家好，我是 Simon 劉育維，目前是一位 AI 工程師，幫助企業導入人工智慧相關技術。如果這篇文章對您有幫助，請在 Medium 上按一下鼓勵並追蹤我的個人帳號，這樣您就可以隨時閱讀我所撰寫的文章。歡迎在我的 Linkedin 上留言提供意見，並與我一起討論有關人工智慧的主題，期待能夠對大家有所幫助！

My Personal Website: https://simonliuyuwei-4ndgcf4.gamma.site/