Whisper是甚麼?
Whisper是一個自動語音辨識（ASR）系統，由OpenAI的研究團隊開發。該系統利用68萬小時的多語音和多任務監督數據進行訓練，以提高其口音、背景噪音和技術語言的強健性。研究團隊發現，使用如此龐大且多樣化的資料庫可提高模型的效能和強健性。
相比其他語音辨識系統，Whisper的訓練資料庫比現有的高品質資料庫總和大幾倍，這使得它能夠擴展其弱監督語音辨識的等級，並實現更高品質的結果。Whisper的架構使用了一種簡單的點對點方法，它包含編碼器和解碼器，使用Transformer來轉換音頻，並預測相應的文本標題。通過這種方式，Whisper能夠處理多種語音處理任務，包括多語言語音辨識、語音翻譯、口頭語言辨識和語音活動檢測等。
重點是目前已經下放到離線版本，所以本機電腦如果有不錯的運算能力代表可以無限制的使用Whisper 工具，也就是說您是Youtuber的話，就不用要額外花費使用字幕產生器或其它方法去產品字幕，你有這個工具，正確率目前小弟初估大概也有90%以上的正確率，所以您只需要花10%時間去檢查字幕是否正確，與以前產生字幕方法可以大大減省非常多的時間，因此本文章分享給大家怎麼快速安裝Whisper套件在您自己電腦中
Step 1 : 建議使用Anaconda安裝，請於下圖下載Ananconda
Step 2 : 安裝whisper步驟
- 開啟Anaconda Prompt
2. 輸入conda create — name whisper python=3.10
3. 進入whisper環境，輸入conda activate whisper
4. 安裝FFmpeg，輸入pip install ffmpeg-python or conda install -c conda-forge ffmpeg
- (確認是否有安裝成功) 輸入ffmpeg -version (成功畫面 )
5. 最後就可以安裝whisper，輸入pip install -U openai-whispe
- (確認是否有安裝成功) 輸入whispe — help (成功畫面)
Step 3 : 安裝Cuda版本
理論上輸入輸入 pip install -U openai-whispe 就會自動抓電腦是否有顯示卡(NVIDIA非AMD)及會安裝Cuda相容版本，一樣可以輸入whispe — help去查看，及觀察Device裝置代碼看他是寫”CPU”或”Cuda”，如果是寫”CPU”代表您電腦本身沒有顯示卡(NVIDIA非AMD)或者是沒有安裝成功
(畫面 )
如果是本身有NVIDIA顯卡但是出現”CPU”的話，代表有幾種可能
- Python安裝版本不是3.10以上
- 您的顯示卡驅動程式沒有更新到最新(531.61, 2023–04–13)
- 安裝whispe沒有抓到顯卡
建議透過以下步驟來修正安裝
- 卸除pytorch，輸入 pip uninstall torch
- 清除快取，輸入 pip cache purge
- 指定安裝cuda，輸入 pip install torch torchvision torchaudio — extra-index-url https://download.pytorch.org/whl/cu116
理論上這個指令會安裝一段時間
安裝後也是使用輸入whispe — help去做檢查
4. 如果還是不行的話，就使用強迫安裝cuda，請使用這個指看看，輸入 pip install torch==1.13.0+cu116 torchvision==0.14.0+cu116 torchaudio==0.13.0 — extra-index-url https://download.pytorch.org/whl/cu116
這個步驟大致上都會可以成功，如果不行代表可能非以上我預測的問題存在，您可以留言記得把error log盡量全貼出來，我會盡量回覆大家
Step4 : 驗證轉換
請把terminal路徑切換到你需要轉換的檔案同路徑，輸入whisper stable_diffusion.mp3 — language zh — device cuda，這個指令代表我將stable_diffusion.mp3錄音檔案做轉換並且是使用GPU運算，轉換結果會自動儲存在同個資料夾裡面
(畫面)
