#81 AIGC01-探索免費、開源、可離線使用的 AI 助手平台 Ollama AI-(安裝篇)

Published in

彼得潘的 Swift iOS / Flutter App 開發教室

10 min readJun 11, 2024

現在學習時我經常使用 ChatGPT，但最近 ChatGPT 有時反應卡卡，甚至無法連接。為了解決這個問題，我安裝一個可以在自己電腦上離線使用的 AI 助手平台 — Ollama。安裝好語言模型（如：Llama3、Gemma）後，即使 ChatGPT 掛點，我也能在自己的電腦上使用 AI 助手。由於 Ollama 擁有帳號管理功能且不需要連接外部伺服器，這使得它特別適合在公司內部使用。

為什麼選擇 OllamaAI？

離線使用：不再依賴外部伺服器，適合處理機密事項。
帳號管理：內建管理功能，適合公司內部使用。
多語言支持：可以安裝多種語言模型，如 Meta Llama 3 和 Google DeepMind Gemma。
可微調模型：可以根據需要對語言模型進行微調，提升準確度和應用範圍。

安裝成果

安裝了 Ollama、Docker、Open WebUI image 以及語言模型（Llama3、Gemma），這些只佔用了約 10～15GB 的硬碟空間。這樣，你就可以擁有一個可離線使用的語言模型，還能討論一些機密的事情，是不是很方便！

安裝環境

我的電腦是 MacBook Pro M1，記憶體需要8GB以上。安裝並運行後，CPU 和記憶體的負荷還可以接受。

安裝的語言模型

Meta Llama 3 (4.7GB)
Google DeepMind gemma (5.0GB)

請 ChatGPT 簡介一下：

Ollama 是一個免費開源的 AI 助手平台，支持運行和定制多種大型語言模型，如 Llama、Mistral 和 Gemma。它能夠在 macOS、Linux 和 Windows（預覽版）上運行，並提供了多種模型的支持和高度的定制化能力 (Ollama) (GitHub)。
Ollama 支持從 GGUF、PyTorch 和 Safetensors 格式導入模型，允許用戶創建和運行自定義模型。使用者可以通過 CLI（命令行界面）進行模型的創建、拉取、移除和複製，並可自定義模型的參數和系統提示 (GitHub)。
此外，Ollama 也有多種社區集成工具和界面可供選擇，如 LobeChat、Open WebUI、Enchanted 和 Chatbox 等，這些工具為不同的平台和需求提供了豐富的選擇 (LobeHub)。
Ollama 還提供了 REST API，方便用戶通過 HTTP 請求與模型進行交互，例如生成回應或進行聊天 (GitHub)。在開發環境中，Ollama Copilot 擴展能夠在 Visual Studio Code 中使用，為代碼編寫提供智能建議和上下文相關的幫助 (Visual Studio Marketplace)。
總的來說，Ollama 是一個靈活且強大的 AI 助手平台，適合有不同需求和技術背景的用戶使用。如果想了解更多詳情，可以訪問 Ollama 的官方網站或其 GitHub 頁面 (Ollama) (GitHub)。

安裝步驟

安裝步驟可以參考 PAPAYA 電腦教室的安裝教學影片。

1. 安裝 Ollama
2. 安裝 Docker
3. 下載 Open WebUI image
4. 從 Docker 中點連結進入 Ollama 網站，或是連上 http://localhost:3000/
5. 註冊帳號(不用連上網路)，第一位註冊的人會自動為為管理員帳號
6. 登入管理員帳號
7. 設定介面的語系
8. 下載語言模型：llama3
9. 開始聊天，可隨時切換語言模型
10. 下載語言模型：gamma

安裝過程截圖

1. 安裝 Ollama

到 Ollama 官網下載程式，安裝檔有 176 MB，解壓後約 440 MB。

安裝時會請你移動到 Applications 目錄，然後就一直點下一步就安裝完成了，難度0。

2. 安裝 Docker

接著要安裝操作介面 Open WebUI，這需要 Docker 來運行環境，如果沒安裝過，先到 Docker 官網下載 Docker 安裝檔並安裝 Docker。

安裝時只需按下一步即可。

安裝完成後，打開 Docker 時可以先不用登入。

安裝完成後，登入後都會自動執行 Ollama.app 和 Docker.app，如果之後暫時不用要記得去關掉一下。

3. 下載 Open WebUI image

接著到 Open WebUI 官網，找到安裝的指令。

If Ollama is on your computer, use this command:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

將指令貼到命令列並按 Enter 開始下載 image。

完成後，Docker 裡會顯示一個名為 open-webui 的 Container 在運行。

Name          Image                                Status    Port(s)
open-webui    ghcr.io/open-webui/open-webui:main   Running   3000:8080
90cc95b64111 ⁠