Azure OpenAI — On Your Data

自從OpenAI-ChatGPT問世以來，熱潮就不曾斷過，即便ChatGPT已展現強大的能力，但對企業而言如何保謢自家的資料又能使用ChatGPT就變成一大課題。

日前在Build大會中Azure OpenAI Service釋出一項新功能 “On Your Data”，終於在6月底正式Public preview，這項功能可以讓你的Azure OpenAI Service直掛使用自家的資料，其背後的技術是結合 Azure Cognitive Search，資料的部份則是上傳放置於 Azure Blob Storage，當然如果已經有現成的 Azure Cognitive Search也可以直接掛進來使用，不需要重建。

Step 1 : 使用”On Your Data”，必須先進入 Azure OpenAI Studio，接著在Chat Playground 介面可以看到Add your data(preview)。

Step 2 : add a data source 共有3個選擇，不論選擇哪一個，最終都是需要 Azure Cognitive Search 服務的。要注意的是選擇 Azure Blob Storage 時必須一併啟用 CORS ，否則上傳文件會失敗。此外 Azure Cognitive Search 也不能選擇免費層級。文件格式的部份則支援有pdf、txt、md、html、Microsoft Word及Microsoft PowerPoint，而文件的格式會對最終ChatGPT生成的回應品質造成很大的影響。

Step 3 : 等待處理後，這裡使用出入境及移民法文件做為示範，可直接於 Chat Playground 測試效果。使用上仍然建議給與system message (角色定義)，讓ChatGPT能產生更好的回應。

Step 4 : 最終可以選擇發佈成一個 Web 應用介面就像 OpenAI ChatGPT一樣，直接提供其他人可以使用，並且這個發佈後的 Web 應用直接整合AAD作為使用者驗證，想讓其他人來訪問你的 ChatGPT Web，可以在 AAD 的控制台裡加入使用者帳戶。整個過程就是一鍵發行，完全No Code 就能實現一個企業私有的ChatGPT。

根據我的測試， “On Your Data”的效果有很大的因素取決於文件內容，如果應用上是準確的QnA，那麼現階段我會建議使用 Azure Cognitive Service for Language 的 question answering 再搭配 Azure OpenAI Service 會更好一些，此外不管是“On Your Data”或是“question answering”，背後都會使用Azure Cognitive Search 服務，而Azure Cognitive Search 服務價格並不便宜。