當STP「行銷策略」遇到資料科學— 【資料蒐集】PTT貼文抓取模組教學(附Python程式碼)
Published in
Jan 1, 2021
我們知曉了基本的Python爬蟲方法，並且深度講解了如何爬取PTT的標題、文章網址、作者等爬蟲方法，那該如何文章內容整合成一個讀者可以爬取PTT資料的Python模組程式，讓爬取PTT外部輿情變得更簡單！
幫讀者複習一下之前的文章，回憶一下前面爬取的文章內容及方法
作者在此直接附上寫好的PTT貼文模組教學，讓您一次可依照自己的需求爬取！
論模組使用方式，我們特別設定了一個crawl_ptt_page_auto函數，讓讀者能自由操作想要爬取的看板與頁，如圖2所示：
- 看板：在此稱為Board_Name，讀者可以輸入自己想要爬取的看板執行爬蟲作業。讀者可以至https://www.ptt.cc/cls/1 PTT分類看板中搜尋自己想要爬取的看板名稱，或者直接Google「ptt 想要的看板中文名稱」，如：「ptt 內衣」，Google大神就會協助讀者找到可能的ptt看板，然後再確認是否是讀者想要爬取的網站即可。最後將「看板」名稱，如圖1所示的「看板 underwear」英文複製並貼上至crawl_ptt_page_auto函數下的Board_Name數值，如：Board_Name = ‘underwear’即大功告成！
- 頁：在此稱為page_num，讀者可以輸入自己想要爬取的看板「頁數」，即會從最新的看板頁數開始往後爬取囉！
最後，我們抓取PTT看板結果如圖3呈現的內容：
- 版名：抓取的看板名稱
- 分類：有公告、贈送、心得、情報等分類，通常公告在我們後續的分析會移除，因為其用處對於輿情分析來說用途不大
- 標題：PTT不同文章的標題
- 內容：抓取文章的內容
- 時間：發表文章的時間
- 所有留言：該篇文章所有留言抓取下來，但是抓取下來的格式並不能直接進行分析，在後續系列文章中會開始講解如何整理留言資料，為後續的STP行銷策略分析有個好的開始！
實戰模組內容也歡迎讀者可以參考我們下述撰寫的Jupyter notebook鏈接哦～！
所有的程式教學檔案在此，歡迎參考：
敬請期待！
我們持續在行銷資料科學Medium平台推出一系列的【當STP「行銷策略」遇到資料科學】文章。
如同我們之前在本篇 — 盡信資料，不如無資料文章中所提到的大意，要有好的分析結果，勢必要有完整且乾淨的資料，所以在後續的文章中，我們開始要教導大家如何進行PTT【留言】資料蒐集與資料整理，開始資料處理與分析前的第一步！
所以敬請讀者期待下一個單元 —
資料蒐集_Python網路爬蟲_ptt【留言】爬取與PTT資料整理
歡迎透過telegram或Medium追蹤我們~ 及時掌握行銷資料科學最新動態！
作者：鍾皓軒（臺灣行銷研究有限公司創辦人）
Python jupyter notebook整理作者：陳俊凱（臺灣行銷研究特邀整理作者）、孔慶媛（臺灣行銷研究特邀整理作者）
