如何獲取資料:向資料庫查詢

常見的雲端 SQL 與 NoSQL 資料庫服務

Yao-Jen Kuo
數聚點文摘
Published in
16 min readMay 30, 2018

--

The world’s most valuable resource is no longer oil, but data.
The Economist — May 6th, 2017

摘要

如何獲取資料:載入常見檔案格式一文中,我們簡介過如何將四種常見的檔案格式:CSV、TXT、Excel 試算表與 JSON 載入 Python 與 R 語言,接著我們要探討另外一種常見的資料來源:資料庫;一但對於資料建立、讀取、更新與刪除(俗稱的 CRUD:Create、Read、Update 與 Delete)需要規模化管理時,資料科學團隊就會建立資料庫來因應。

本文簡介如何利用 Python 與 R 語言在雲端資料庫服務:Amazon Web Service 的 MySQL、Google Cloud Platform 的 BigQuery 與 Google Firebase 中建立與讀取資料。

如何啟動 Amazon Web Service 的 MySQL

透過下列步驟可以在 Amazon Web Service 啟動一個 MySQL 資料庫。

  1. 前往 Amazon Web Service 的首頁並點選登入按鈕
  2. 使用自己的帳號密碼登入
  3. 點選服務下拉式選單,選擇 Database 底下的 RDS(Relational Database Service)服務
  4. 點選新增一個資料庫元件
  5. 選擇 MySQL 作為資料庫系統後按下一步
  6. 我們使用 Amazon Web Service 提供最低規格資料庫 12 個月的免費試用,因此規格設定都依照預設,只需要輸入資料庫元件的命名、使用者名稱與密碼,記住這裡所輸入的使用者名稱以及密碼,在未來使用 Python 與 R 連線的時候會用到,然後按下一步
  7. 為之後要使用的資料庫命名,這會是一個空的資料庫,裡面的資料表格要稍待由 Python 與 R 建立
  8. 順利啟動 MySQL 資料庫
  9. 檢視資料庫元件詳細資訊,取得連線的資料庫元件位址資訊(Endpoint)
  10. 新增一個寬鬆的 Inbound Rule(0.0.0.0/0)讓後續連線比較簡單(強烈不建議在正式環境中做這樣的設定)

--

--