AnythingLLM + Ollama輕鬆架設多人用的客製化 RAG

8 min readJul 4, 2024

想結合強大的大語言模型做出客製化且有隱私性的 GPTs / RAG 嗎？這篇文章將向大家介紹如何利用 AnythingLLM 與 Ollama，輕鬆架設一個多用戶使用的客製化檢索增強生成（RAG）系統。

AnythingLLM 是什麼？

AnythingLLM 是一款強大的 full-stack AI 應用程式，它能將多種文件格式、資源或內容轉化為大型語言模型（LLM）可使用的查詢用文本。

這款工具不僅支持多用戶管理（對，等於直接有後台管理者），還提供多種 LLM 和向量資料庫的選擇，使其成為建構私有客製化 RAG 解決方案的好選擇，基本上用這套能夠把 RAG 的開發成本降得超低，而且採用 MIT License 還可以直接修改及商用。

Ollama 是什麼？

Ollama 是一個讓大型語言模型 LLM 可以快速變成地端服務的工具，而且實際使用的速度挺快的，另外之前有寫過安裝以及上傳客製化模型的文章了，有興趣可以自行參考。

為什麼選擇 AnythingLLM？

最主要是使用上非常簡易方便，也可以參照官方寫的優點如下

多用戶支持：無論是團隊合作還是個人使用，AnythingLLM 都能夠輕鬆管理多用戶的權限和操作。
靈活的 LLM 和向量資料庫選擇：用戶可以根據需求選擇合適的 LLM 和向量資料庫，滿足不同的應用場景。
高效的文件管理：支持多種文件類型，如 PDF、TXT、DOCX 等，並通過簡單的 UI 進行管理。（目前不支援DOC格式）
自定義聊天小工具：可將聊天功能嵌入網站，提升互動體驗。
兩種聊天模式：在保留上下文的會話模式(平常使用，沒資料就直接根據LLM的知識回應)和問答的查詢模式(較嚴格，查詢到資料才回答，更減低幻覺發生)之間靈活切換。

還可以網頁文字爬取跟YouTube字幕擷取等功能，讓只會最基本的RAG幾乎沒生存空間了XD

RAG 是什麼？

RAG (Retrieval-Augmented Generation) 可以想像成是一個小抄或字典，透過向量資料庫檢索出來的資料跟使用者的問題一併告訴語言模型，讓語言模型能夠減低幻覺，根據資料回答問題。

架設 AnythingLLM

其實非常簡易，甚至可以直接在官方下載安裝包，我這裡示範在 Ubuntu 下用 docker 來建置，有空再寫架設在 AWS 上的完整步驟。

架設流程

預設作法

docker pull mintplexlabs/anythingllm

就是這麼簡單~

接著本地端只要開啟網頁就可以開始使用了

http://localhost:3001

但是如果要多人使用還是要記得掛載資料到本地端(不然一旦更新就可能沒資料囉)

2. 掛載檔案的作法

export STORAGE_LOCATION=$HOME/anythingllm && \
mkdir -p $STORAGE_LOCATION && \
touch "$STORAGE_LOCATION/.env" && \
docker run -d -p 3001:3001 \
--cap-add SYS_ADMIN \
-v ${STORAGE_LOCATION}:/app/server/storage \
-v ${STORAGE_LOCATION}/.env:/app/server/.env \
-e STORAGE_DIR="/app/server/storage" \
mintplexlabs/anythingllm

這樣就能看到自己架的anythingllm資料存在 $HOME/anythingllm 囉