[淺談AIGC爆炸的時代] — ChatGPT
各位好久不見, 抱歉距離上一篇已經過了5年左右了, 很懷念寫作的時光, 決定重啟兔兔與雞雞的工程世界!
期許自己每個禮拜都可以發一篇,不要讓自己忘記寫作的手感。
話說這5年時光也是經歷了許多事, Kaggle打到了Competition Master (1金7銀5銅),
目前任職為一家AI start-up的CTO, 空閒時間也研究了很多關於WEB3的東西,
之後有機會會慢慢的把自身經歷跟所學分享給大家。AIGC是什麼呢? AIGC全名為 AI Generated Content，即人工智慧生成內容，所以AI繪圖，AI作曲，AI回答問題都算是AIGC。
這系列主要在介紹最近最近幾個超紅的AIGC應用，ChatGPT、StableDiffusion、Mid-Journey、MusicLM優缺點以及自身的看法。
之後也會逐一詳細介紹內部演算法以及如何應用這些工具來提高工作上的效率。
P.S. 這篇文完全沒有使用ChatGPT，全部自己撰寫的XD
ChatGPT
https://chat.openai.com/auth/login，註冊帳號後就可以直接用了
ChatGPT莫過於現在最紅的一個AIGC應用了，是由OpenAI 這家公司所訓練的LLM 模型(Large Language Model)，ChatGPT的出現直接把AIGC熱潮拉到了頂點，上線2個月就吸引了1億的用戶， 看下面的圖就知道ChatGPT有多厲害了，Instagram 跟 TikTok 都需要9個月以上才達到1億的用戶，他2個月就達到了，甚至現在還在繼續增長中。
GPT-3 到 ChatGPT
其實ChatGPT出來以前OpenAI就已經有發布過GPT-3的大型語言模型了，ChatGPT算是GPT-3.5，是微調GPT-3的模型而產生的，在GPT3的時候就已經有很多新聞稿，那時候對AI界來說已經是很震撼了，這次OpenAI直接把ChatGPT建立出APP免費讓大眾進行使用，因為這樣ChatGPT就直接炸鍋了，雖然說ChatGPT是GPT3微調的，但因為ChatGPT的訓練資料比GPT3還有多出很多，因此performance差異其實是很大的 (我自己有特別比較過ChatGPT跟 GPT3 davinci 模型，2個的performance真的差滿多的)，GPT-4也快問事了，聽說是MultiModal model，除了文字以外甚至可以處理影片，實在很期待啊
LLM (大型語言模型) & RLHF (Reinforcement learning from human feedback)
ChatGPT主要訓練方式就是使用RL(強化學習)做學習，這邊我不多做太細的解說，我之後會在寫一篇做更詳細的說明，我之前也有寫過RL的基本演算法教學，有興趣的可以先看一下，這邊就簡單列一下RLHF的作法。
1. 預訓練一個語言模型(LM)
2. 訓練Reward機制的模型，這部分需要人類進行幫助標記
3. 使用PPO Policy的強化學習的方式來進行LM的訓練調參
可以參考李弘毅老師的Youtube影片，講的真的很好。
https://www.youtube.com/watch?v=e0aKI2GGZNg
ChatGPT的優點 — 全知全能
優點其實好像不用特別多說什麼，就是全知全能。
你可以把他想像成一個全知全能的chatbot，不論你是要叫他幫妳寫文案，幫你想策畫，甚至寫程式都沒有問題 (這邊我來猜測一下為啥他寫程式也可以這麼厲害的原因，除了stack overflow以外，2020微軟收購了github，我猜他應該也有用收購的github當作訓練資料做訓練)，基本上ChatGPT都可以回答你，可以省去很多分辨搜尋結果的時間，可以快速的建立文案草稿、程式模板。
像我們有一個醫師客戶希望可以提供一個簡易的標記軟體，我直接使用ChatGPT幫我用Python製作一個QT5的標記工具，從頭到尾使用ChatGPT，有error報錯也問他，增加功能也問他，整個製作流程到可以標記花了半天的時間，縮短了很多的開發時間，不過這前提應該是你也要懂程式語言知道那些地方要怎麼做修改並知道要怎麼問ChatGPT，而且這應該僅限於框架不大的程式。
ChatGPT的缺點 — 頭頭是道的唬爛王
ChatGPT其實有時候很會唬爛，而且他會唬爛的頭頭是道，讓你覺得好像真有其事一樣，對於有些資訊其實是不對等也不正確的，所以並不能盲目的完全相信ChatGPT給出的回覆，建議還是需要花一些時間去分辨他所回答的內容，而且ChatGPT的訓練資料只到2021，如果你問最新的事情基本上他是沒辦法回答你的，以下為比較常會有唬爛狀況的問題。
- Domain專業知識: 數學，科學，醫學等各領域的專業知識會比較容易答錯
- 個人觀點以及主觀問題
- 最新的新聞以及政治敏感問題
結論跟想法
當初ChatGPT出來的時候造成了很大的轟動，身邊有很多做NLP的AI公司都開始擔心會影響自己公司本來在做的事情，畢竟這種大型語言模型(LLM)的訓練成本跟本不是一般公司可以做得來的，而且ChatGPT的表現真的讓人驚艷，不論是資料收集或是訓練成本都是非常恐怖的，ChatGPT當初訓練的時候就花了1200萬美元，現在一次的inference成本也不小，以目前這樣的用戶數量每個月光燒雲端的錢就非常恐怖了，雖然現在有ColossalAI 可以利用一些方式進行LLM的訓練，但光資料收集也是很恐怖很花人力成本的事情。
不要去懼怕他，而是去利用他
這是我對ChatGPT的想法，目前ChatGPT要取代工程師我認為還是有點困難，工程師有他的優勢，知道怎麼去分辨CODE的對錯以及更懂得去設計程式架構還有詢問關鍵的問題，反而是要學習如何善用ChatGPT讓自己的工作效率提升，甚至可以讓自己變得更全面一點，像我很熟悉Python但不熟悉JS跟Html的人就可以利用ChatGPT幫我快速製作WEB然後串接AI的API，快速做出DEMO網頁做POC，現在或許人人都可以使用AI，都可以讓自己成為初級工程師，那我們工程師是不是應該使用ChatGPT嘗試讓自己成為高級工程師或是讓自己更全面呢?
一些關於LLM的有趣消息 (AI戰爭開打)
- Meta 發佈語言模型 LLaMA (喇嘛)， 宣稱只用 130 億個參數，模型表現就比 1750 億個參數的 GPT-3 系列要好 (2/24)
- Amazon 發布了一篇新論文 Multimodal Chain-of-Thought Reasoning in Language Models (2/17)，10 億個參數訓練，在NLP的TASK平均達到 91.68% 的驚人準確率，而 GPT-3平均準確率則是 75.17% (2/17)
- Google 推出 Bard，是基於輕量版 LaMDA 模型，可降低 Bard 算力，Bard在發佈會上回答錯的答案，股價暴跌近8% ，LaMDA模型2年前鬧出不小風波
- (台灣之光)台灣聯發科跟中研院還有國家教育研究院推出全球第一款繁體中文語言模型，使用BLOOM進行訓練，BLOOM為Hugging Face主導的開源LLM (2/20)
- 百度預計三月推出 「文心一言」，英文為ERNIE Bot ，是以 ERNIE為基礎，ERNIE為百度開源的中文預訓練語言模型，還滿有名的，我之前中文語言模型都是以ERNIE為基底做Fine-tune (3月???)
- OpenAI 推出 AI 文字偵測器 ，可以偵測文字是不是由AI所生成的，這真的很絕，自己出ChatGPT後再自己出AI 文字偵測器，是不是想要通吃 XD (1/31)
參考資料
除了ChatGPT以外，接下來還會淺談介紹以下 AIGC的應用
AI繪圖 : Stable Diffusion、Mid-Journey
AI作曲 : MusicLM、Riffusion
大家如果覺得我寫的還可以並且有幫助到你/妳的話，拜託給我一點掌聲吧，這樣我會更努力並更有動力的把自己所學給寫下來的!!有什麼問題也可以直接題問出來，如果我幫得上忙的話我會幫忙解答的~
