AI Booster - Baseplate
End-to-End LLM Workflows
這系列文章是透過蒐集、分享我覺得有意思AI服務、相關文章、影片，期許自己能更了解這世界上正在發生什麼。
這陣子因為ChatGPT和Midjourney所引領的生成式AI熱潮，也帶動無數相關服務和討論，然而，在我們探索使用生程式AI產生的過程，是否有想過提示詞(Prompt)和輸出結果的關係呢? 市面上的生成式AI工具比如ChatGPT，儘管有很多專家分享所謂的提示詞工程(Prompt engineering)，歸納出一些使用觀察、心得，但仍缺發科學數理上的方法論，就外人看來仍是個黑盒子，比如怎麼樣的提示詞是最好的? 怎麼樣的提示詞會得到理想的目標值? 參數要怎麼設定(比如temperature)?
Baseplate觀察到了以上的現象，開發了工具來幫助使用者使用資料科學的方式訓練、測試、微調出屬於自己的模型，搭配強化學習，用戶可以在Baseplate的平台部屬自己的模型。
在Baseplate的平台，用戶在此建立多元格式的資料集。用戶可以建立多種形式的欄位，比如傳統資料欄位、內嵌型(Embedding Columns)、後設型(Metadata)。
用戶可以上傳文件、更新向量檔(Vectors)。
用戶可以將製作好的提示詞模板(prompt templates)搭配變數(Variables)重複使用於不同情境。
在Playground裡，用戶可以比較不同變數的表現，並根據表現後調整提示詞。在這裡Baseplate提供用戶的反饋、團隊協作、測試日誌的功能，比以此作為強化學習的基準。
測試完後，用戶可以部屬自己的模型在Endpoint裡，用戶可以透過API於外部的應用程式取得部屬完成的模型的使用權限，Baseplate透過存讀取的使用量來給予收費。
Thank you and enjoy it :)
