使用 ChatGPT 等 AI 聊天機器人時,我們會被提醒不可上傳個人、公司的隱私資料。
儘管 ChatGPT、Copilot 有推出企業方案,宣稱不會將客戶的資料拿去訓練,但很多公司對此還是持保留態度。
因此在本地安裝 LLM 大語言模型,即使沒有網路也能使用的 GPT4All 也許是個不錯的替代方案,他在 Windows、Mac、Ubuntu 都能輕鬆使用。
文章大綱
▋STEP 1:下載 GPT4All
▋STEP 2:安裝 GPT4All
▋STEP 3:安裝 LLM 大語言模型
▋STEP 4:開始使用 GPT4All
▋STEP 5:調整 GPT4All 設定
▋Bonus:指定對話的文件(LocalDocs)
▋STEP 1:下載 GPT4All
GPT4All 的操作介面跟 ChatGPT 很像,你也可以將聊天記錄保存在自己的電腦,進入官網後挑選自己的作業系統下載就好:
往下滑一些會看到不同模組(Model)的效能測試數據。
▋STEP 2:安裝 GPT4All
在安裝上,只要一直按「Next」下一步就好。
同意使用者條款要打勾才能下一步
➤ 小提醒:如果官網最新的版本有問題,可以去官方 Github 下載穩定版(筆者下載的是 2.5.4)
▋STEP 3:安裝 LLM 大語言模型
打開 GPT4All 時,他會先詢問你是否要分享數據來改善 GPT4All,如不想就選擇 No(筆者建議)。
然後就會出現下載 LLM 大語言模型的列表,上面會說明這個模型擅長的領域(聊天、寫程式)、由哪間公司訓練、是否能商用,並且提供檔案大小、RAM 需求、參數等資訊,通常檔案越大的效果越好。
列表中也有 ChatGPT-3.5、ChatGPT-4 可以選擇,不過需要使用 OpenAI API Key,如果使用這個選項就意味著需要連網與付費。
這邊我挑選 Orca 2(Full)這個由微軟訓練的模型來實驗。
➤ 小提醒:如果你直接下載網路上模型,只要把檔案放到上圖 Download path 的目錄下就可以嚕。
▋STEP 4:開始使用 GPT4All
下載完後,就可以在聊天界面中看到模型嚕~
這邊我就先用「請假信」初步測試給大家看看。
表現的並不是很好,我們再來測試一下「寫程式」的能力。
基礎程式的表現尚可,但…情境複雜一點的就不行了。
看起來寫得有模有樣,不過實際上是錯的,但這個題目 GPT-3.5 可以輕鬆答對。
▋STEP 5:調整 GPT4All 設定
點擊上方的「齒輪」,可以進一步調整 GPT4All 的設定。
➤ Model(調整模型參數)
- System Prompt:這是對話開始前會執行的指令,你可以在這邊設定 AI 要扮演的角色(ex:翻譯員、工程師),這邊有很多優秀的 Prompt 可以參考: https://github.com/f/awesome-chatgpt-prompts
- Prompt Template: 設計 AI 要如何回應你,如果你希望 AI 都以中文回覆,就可以加上「用繁體中文回應。」
- Generation Setting:如果沒有特別需求,筆者並不建議調整;另外 Max Length 儘管可以調整,但如果超過模型可以承受的長度,他是不會理你的。
下面我讓他扮演詩人(poet)的角色,並用「love」這個主題來作詩。
➤ Application(基礎設定)
- Theme:調整主題為深色(Dark)、淺色(Light)。
- Font Size:字體大小。
▋Bonus:指定對話的文件(LocalDocs)
如果想上傳自己的文件,就需要先去下載對應的 Model。
在 LLM 列表中選擇「SBert」這個模型來安裝。
點擊齒輪後,在 LocalDocs 分頁透過 Browse 選擇資料夾,點擊 Add 便可新增文件;他支援大多數的文件格式(doc/pdf/txt/html/xls/csv/json…)。
新增後的的路徑會出現在下方。
然後我們開一個新的對話來實驗看看,這邊要把對應的 Local Documents 勾選才會生效喔!
下面可以看到 AI 的回答會參考我給予的文件。
不過這部分測試下來,如果把它當成「關鍵字查詢」的工具還算堪用;若想做更進階的應用,像是整合、發想、摘要,AI 的表現都不太好。
▋總結
跟官方的 GPT-4 相比,他真的蠻弱(笨)的;這邊分享筆者在體驗後看到的優缺點:
- 優點:可以不連網使用、隱私性較高、免費。
- 缺點:回答速度較慢、無法回答太長的內容、回覆品質較差、理解問題能力較差。
如果公司禁止使用 ChatGPT、Bard 等需要連網的 AI 工具,或是你有許多隱私資訊需要處理;也許 GPT4All 會是一個可行的替代方案。大家可以多測試幾個 Model,比較一下各自的差異。
➤ 小提醒:筆者並沒有仔細研究裡面的程式碼,若打算上傳機敏資料,請自行評估風險。
如果這篇文章對你有幫助,可以對文章拍手讓我知道 👏🏻,也歡迎點擊「Follow」來追蹤我~
▶︎ 如果這篇文章有幫助到你
1. 可以點擊下方「Follow」來追蹤我~
2. 可以對文章拍手讓我知道 👏🏻
你們的追蹤與鼓勵是我繼續寫作的動力 🙏🏼
▶︎ 如果你對工程師的職涯感到迷茫
1. 也許我在iT邦幫忙發表的系列文可以給你不一樣的觀點 💡
2. 也歡迎您到書局選購支持,透過豐富的案例來重新檢視自己的職涯