如何獲取資料:向資料庫查詢
常見的雲端 SQL 與 NoSQL 資料庫服務
Published in
16 min readMay 30, 2018
The world’s most valuable resource is no longer oil, but data.
The Economist — May 6th, 2017
摘要
在如何獲取資料:載入常見檔案格式一文中,我們簡介過如何將四種常見的檔案格式:CSV、TXT、Excel 試算表與 JSON 載入 Python 與 R 語言,接著我們要探討另外一種常見的資料來源:資料庫;一但對於資料建立、讀取、更新與刪除(俗稱的 CRUD:Create、Read、Update 與 Delete)需要規模化管理時,資料科學團隊就會建立資料庫來因應。
本文簡介如何利用 Python 與 R 語言在雲端資料庫服務:Amazon Web Service 的 MySQL、Google Cloud Platform 的 BigQuery 與 Google Firebase 中建立與讀取資料。
如何啟動 Amazon Web Service 的 MySQL
透過下列步驟可以在 Amazon Web Service 啟動一個 MySQL 資料庫。
- 前往 Amazon Web Service 的首頁並點選登入按鈕
- 使用自己的帳號密碼登入
- 點選服務下拉式選單,選擇 Database 底下的 RDS(Relational Database Service)服務
- 點選新增一個資料庫元件
- 選擇 MySQL 作為資料庫系統後按下一步
- 我們使用 Amazon Web Service 提供最低規格資料庫 12 個月的免費試用,因此規格設定都依照預設,只需要輸入資料庫元件的命名、使用者名稱與密碼,記住這裡所輸入的使用者名稱以及密碼,在未來使用 Python 與 R 連線的時候會用到,然後按下一步
- 為之後要使用的資料庫命名,這會是一個空的資料庫,裡面的資料表格要稍待由 Python 與 R 建立
- 順利啟動 MySQL 資料庫
- 檢視資料庫元件詳細資訊,取得連線的資料庫元件位址資訊(Endpoint)
- 新增一個寬鬆的 Inbound Rule(0.0.0.0/0)讓後續連線比較簡單(強烈不建議在正式環境中做這樣的設定)