[Data] 將報表截圖丟到 Slack 上（下篇）

Bryan Yang

Published in

A multi hyphen life

9 min readOct 26, 2020

將截圖丟到 Slack 原來是普世的需求

前情提要：

[Data] 將報表截圖丟到 Slack 上（上篇）

我承認一開始我覺得這是笨需求…

medium.com

第三代 BI 內建 selenuim 爬蟲

可能全世界的老闆都會希望 BI 可以截圖寄到信箱，所以有人提出了這個 PR：https://github.com/apache/incubator-superset/pull/9810

大意就是說讓 Superset 內建截圖機制，讓使用者可以將單一個 chart 和 dashboard 丟到 email/ slack 上。一開始我還想說他們不知道用什麼方式自己 render 圖片，一翻程式碼發現，這不就是我們熟悉的 selenium 嗎

https://github.com/apache/incubator-superset/blob/master/superset/utils/webdriver.py

總之原理就是 superset 透過 webdriver 從自己的 worker 連線到 webui 抓圖，在我們的配置下剛好可以避掉 google 檢查那段。因為這是完成的功能，我們的 superset 從去年開始就沒有更新了，以下會紀錄完整更新以及安裝的過程。

一、備份現有 DB

這個沒啥好說的，因為這次的大升級會動到 DB ，先備份一下是必要的

二、包 Dockerfile

雖然 superset 現在已經提供了 dockerfile 可以使用，但還是要多裝一些東西才能正常使用 Webdirver，這些東西包括了(以 Firefox 為例)：

Firefox 本體(https://www.mozilla.org/en-US/firefox/all/#product-desktop-release)
為了要讓 Firefox 順利跑起來要安裝的套件們(https://www.mozilla.org/en-US/firefox/82.0/system-requirements/)
官方提供的 firefox driver （https://github.com/mozilla/geckodriver/releases）
中文字型，因為我們的報表有中文

所以要安裝以下這些東西：

RUN wget -O ~/FirefoxSetup.tar.bz2 "https://download.mozilla.org/?product=firefox-latest&os=linux64" \
    && tar xjf ~/FirefoxSetup.tar.bz2 -C /opt/ \
    && ln -s /opt/firefox/firefox /usr/local/bin/firefox \
    && apt update && apt install -y libwxgtk3.0-dev libdbus-glib-1-2 xorg openbox fonts-wqy-zenhei
COPY driver /app/driver  ## 我是先把 driver 下載放在另外的資料夾

三、設定 Celery Worker 和 Task

apache/incubator-superset

Superset supports Python versions >3.7 to take advantage of the newer Python features and reduce the burden of…

github.com

Superset 官方文件裡面其實有提到，Celery 分成兩段，

To start a Celery worker to leverage the configuration run:

celery worker — app=superset.tasks.celery_app:app — pool=prefork -O fair -c4

To start a job which schedules periodic background jobs, run

celery beat — app=superset.tasks.celery_app:app

worker 是拿來跑 SQL job 的，beat 是用來跑定期背景程式的。然後這邊很雷的是按照官方 Dockerfile 的設計，celery beat 沒辦法直接執行。因為 celery beat 執行時會需要讀寫 local file，預設的路徑是沒有權限使用的 -.-，所以實際執行上要另外指定暫存檔的路徑。

四、config 檔

superset 真的是這幾個 open source BI 工具裡最難 config 的…跟截圖相關的 Config 包括：

這邊影響了 email report 的發送和scheduler sync 的時間。

class CeleryConfig(object):
      BROKER_URL = 'redis://helix.vlbe5v.0001.use1.cache.amazonaws.com:6379/0'
      CELERY_IMPORTS = (
          'superset.sql_lab',
          'superset.tasks',
      )
      CELERY_RESULT_BACKEND = 'redis://helix.vlbe5v.0001.use1.cache.amazonaws.com:6379/0'
      CELERY_ANNOTATIONS = {
        "email_reports.send": {
            "rate_limit": "1/s",
            "time_limit": 120,
            "soft_time_limit": 150,
            "ignore_result": True,
        },
      }
      CELERYBEAT_SCHEDULE = {
        "email_reports.schedule_hourly": {
            "task": "email_reports.schedule_hourly",
            "schedule": crontab(minute=1, hour="*"),
        }
      }

Slack bot 的 Token

SLACK_API_TOKEN=fasfasf

功能相關設定

ENABLE_SCHEDULED_EMAIL_REPORTS = True   # 開啟功能SCREENSHOT_LOCATE_WAIT = 30             # 爬蟲在鎖定元件要等多久
SCREENSHOT_LOAD_WAIT = 60               # 忘了，需要爬一下 source code
EMAIL_PAGE_RENDER_WAIT = 60             # 等 render 要等多久EMAIL_REPORTS_USER = "superset"         # superset 用哪個帳號去拿資料
EMAIL_REPORTS_SUBJECT_PREFIX = "[Report] " # prefix

Web Driver 相關設定

WEBDRIVER_TYPE = "firefox"    # 指定 webdriver 類型，目前只有 firefox 和 chrome 可以選# Window size 
  WEBDRIVER_WINDOW = {"dashboard": (1600, 2000), "slice": (3000, 1200)} # 跟認證相關的，目前是沒有用到
WEBDRIVER_AUTH_FUNC = None# web driver 的路徑，log 的位置要留意權限
  WEBDRIVER_CONFIGURATION = {
    "executable_path": "/app/driver/geckodriver",
    "service_log_path": "/tmp/geckodriver.log"
  }# Additional args to be passed as arguments to the config object
# Note: these options are Chrome-specific. For FF, these should
# only include the "--headless" arg
  WEBDRIVER_OPTION_ARGS = [
      "--headless",
  ]# Webdriver 的路徑，因為我是從 k8s 內部爬，所以就輸入 service 的路徑
WEBDRIVER_BASEURL = "http://superset:8088/"