FB 爬蟲可以更簡單-用Selenium自動登入FB(附Python程式碼)

歡迎來到Selenium facebook爬蟲系列的第一篇文章!

Facebook已經是一個幾乎每個人都會使用的社群平台,現代人在茶餘飯後無聊時都會使用社群平台,因此我們每個人都不知不覺在FB及IG留下許多資料。不管是按讚或分享喜歡的文章,或是在文章下留言表達自己對這件事的看法等等,社群平台都有留下記錄,長期來看就形成所謂的「大數據」。

Photo by Shopify Partners from Burst

本系列文章將和大家分享動態網頁爬蟲技巧selenium在FB的一系列應用~

利用Selenium自動登入FB有什麼好處!?

在開始之前先來告訴大家利用Selenium自動登入有什麼好處呢? 我們在爬取資料時如果每次都要自己填寫帳號密碼,應該會覺得很麻煩吧! 而且在展示給其他人看自己爬蟲成果時,採用自動登入除了節省時間,看起來也比較酷炫!

因此這篇會教大家利用Selenium爬取Facebook的第一個步驟! 也就是如何自動登入臉書並前往要爬取的粉絲專頁,如下影(一)所示!!!!

是不是覺得很神奇呢!

影(一):自動前往頁面展示

接下來我們就來學習如何達到上面自動登入的成果吧~

我們將分成兩個步驟說明:

1.自動填入帳號及密碼,並登入facebook

2.前往要爬取的粉絲專頁

1.自動填入帳號及密碼,並登入facebook

透過Chromdriver,並前往facebook 登入頁面。可設定要前往的網址,並利用driver.get(url)自動前往該畫面,如下程式碼。

若想知道Chromedriver 是如何運作的朋友們,請點選:動態網頁爬蟲第一道鎖 — Selenium教學:如何使用Webdriver、send_keys(附Python 程式碼)

要達到第一個步驟前我們需要先學習如何找網頁元素,因此要先打開網頁檢視器(Windows系統:請按F12或者是ctrl + shift +iMacOS系統:請按option+command+c)可以看到以下畫面(圖一)

圖(一):網頁檢視頁面

在網頁檢視頁面的左上角點「Elements」這個按鈕後(圖二),只要把滑鼠移置想爬取的位置,就可以檢視它的網站的元素了~

圖(二):點選Elements的位置

既然我們想自動登入facebook,就必須先查找網頁中輸入帳號及密碼的網頁元素。聽起來可能有點複雜,其實只要重複前面Chromedriver 開啟網頁及尋找網頁元素所提到的方法就可以了,以下會進行詳細的介紹,就讓我們繼續看下去吧! 步驟流程可見(影二)

影(二):查找輸入電子郵件地址的網頁元素

如果要找尋特定位置,通常會使用網頁元素中的id標籤,由上述步驟我們可以發現輸入電子郵件或手機號碼的id=email,輸入密碼的id=pass。找到網頁元素後只需用send_keys這個function就能自動輸入帳號密碼囉,如下程式碼所示!! 是不是很簡單呢~

2.前往要爬取的粉絲專頁

登入facebook後,我們需要再次利用強大的Chormedriver前往想抓取資料的粉絲專頁。這個步驟非常簡單,您只需在下方程式的spec_url填寫該粉絲專頁的網址,就能前往囉~

以上就是如何自動登入並前往特定粉絲專頁的教學,接下來Python FB 爬蟲系列的文章會分別介紹如何抓取不同的粉專資料,敬請期待!!!!!

可點此查看本篇完整的程式碼

如果對FB爬蟲有興趣的朋友, 要繼續關注這個系列的文章呦 !我們下次再見

作者:孔慶媛(臺灣行銷研究特邀作者)、鍾皓軒(臺灣行銷研究有限公司創辦人)

【防疫新運動,直播學習一起GO!TMR暑期最新直播課程】

為了讓大家在防疫期間也能宅出數位競爭力、學習不間斷!
TMR推出直播課程,現在相揪上課還有團報優惠!
兩人團報,好友一起現享 95折
三人團報,多人共學現享 9折
一個人也別怕,還有早鳥獨享優惠價

8/28
【行銷核心關鍵⚡Excel Power BI 購物籃分析實戰】

◆◆◆ TMR最強新書報到,火熱預購倒數中◆◆◆

最強行銷武器 — 整合行銷研究與資料科學

預購價格: $458(原價:$580) 79折特惠中
預購截止:8/8 23:59

💡 點此連結立即預購

— — — — — — — — — — — — — — — —

往後的文章都會持續在行銷資料科學粉絲專頁上發表喔,喜歡我們就趕緊追蹤吧!

同時再請大家多多follow我們的FB粉絲專頁,我們會在粉專上即時公布最新資訊,讓您重要消息不漏接!

FB粉絲專頁:行銷資料科學

官網:臺灣行銷研究

歡迎加入我們的Telegram獲取即時訊息!https://t.me/marketingdatascience
歡迎加入我們的Line@獲取即時訊息!https://line.me/R/ti/p/%40cde8265r

--

--

行銷資料科學
Marketingdatascience

Marketing data science. 台灣第一個行銷資料科學(MDS)知識部落,本粉絲專頁在探討行銷資料科學之基礎概念、趨勢、新工具和實作,讓粉絲們瞭解資料科學的行銷運用,並開啟厚植數據分析能力之契機。粉絲專頁:https://www.facebook.com/MarketingDataScienceTMR