[實作] 第一次用 Python做網路爬蟲就上手-將結果寫入 MS-SQL 資料庫

MIS | 系統日誌
MIS 日記
Published in
2 min readJul 31, 2018

適合閱讀者 : 想學網路爬蟲的新手、馬上就看到成果的新手

閱讀時間 : 五分鐘

事前準備 : 因為我手邊本來就有 MS-SQL 的環境,故我這邊不再說明安裝過程與環境建置,如果需要的話請自行 Google <SQL EXPRESS 安裝 >

可以把網站的資料透過網路爬蟲篩選出來之後,下一步我就會想把這些資料庫塞進去資料庫,主要是因為進到資料庫後,要篩選和過濾資料庫就會快速很多,而且也可以保留下來方便日後統計,故也花了一些時間研究

承接上一篇下來的例子,我們可以在原本的範例裡面,再把資料庫相關的程式碼加上去,程式碼的部分可以在這邊取得 > Python2

另外,資料庫的 Table Schema 可以再這邊取得 > db

一樣按下執行後,就可以看到我們透過網路爬蟲抓的資料進到資料庫裏面,接下來,就可以針對想要的關鍵字做查詢跟統計了

看起來增加資料庫的寫入好像沒有很難(?),但是這東西我大概也試了一下午有吧,原本想要使用 pymssql 這個元件,後來發現好像真的不知道怎麼調用,所以只好又用回pyodbc,比較單純也比較快速生成

整個實作的部分到這邊就會告一段落,接下來要開始嘗試除了Food版之外的的網站應該要怎麼做好網路爬蟲,畢竟這個只是第一階段的嘗試,我的目標其實是別的網站,尤其是一些熱門的討論區或板塊,而且萬一需要帳號密碼登入,我也還需要再研究看看怎麼做才能再分享出來

--

--

MIS | 系統日誌
MIS 日記

專注於服務業POS與ERP的系統專案導入,熟悉鼎新COSMOS/鼎新HR/金旭/德安/一等一 FLOW / Traiwan OTA訂房/大賀票券系統/宣揚BSMS&POS等,現為百貨商場小雜工