殘酷的 BI 的現況
前幾天老闆問我有沒有留下來作 backend。
說實話目前去 support backend team 作的東西是比較得心應手的，畢竟這是老本行了。之前會想找 BI 的工作，也是為了想學 Big Data 相關的 Domain，希望可以在這份工作上學習並累積足夠的經驗。
答案好像又很簡單，但又不容易決定。
從事 BI 相關的工作已經快兩年了，從上一個公司及現在的公司來分析一些在 BI 工作的心得。
Business intelligence (BI) is a set of theories, methodologies, processes, architectures, and technologies that transform raw data into meaningful and useful information for business purposes. BI can handle large amounts of information to help identify and develop new opportunities. Making use of new opportunities and implementing an effective strategy can provide a competitive market advantage and long-term stability. — Wikipedia
這幾年大數據(Big Data)當紅，跟前幾年雲端炸子雞一樣，不管賣什麼東西掛雲端就對了: 雲端雞排、雲端陽春麵。目前許多大公司、小公司、大部門、小團隊紛紛加入 Big Data 行列，少說也要搞個 BI Team 就算底下只隨便找個 RD or DBA 掛個人頭，業務部門出去喇賽的時候就可以說 "我們公司的產品已經大數據、資料採礦等高深技術分析所以可以了解客戶的需求，然後快速去滿足... blah blah 的"。就像 Lady Gaga 穿了個肉片裝，然後孝女白琴也是硬要來一件。
目前我在 BI 工作上所接觸到的需求大多就是希望藉由資料統計及分析讓產品可以更好。舉個例子好了，話說如果我在作一個購物的頁面，就可以分析使用者用的 browser，若是發現 70% 都是用手機到你的網站，那作為一個 BI team member 你就必須告訴你的老闆讓他放多一些 resource 去把手機版的網頁 tune 好。
聽起來好像滿厲害的吧!
你想像是這樣…
產品的開發應該要 follow 資料分析的建議並且有效執行 A/B Testing。
事實上通常是…
路上滿滿的 blockers 啊! 你的老闆也許根本沒有很重視 BI team，因為 BI team 就是個 nice to have 的 team。而且在產品開發時，產品的功能跟時程才是 the first priority 根本沒人想等你用什麼 BI 的東西。
你想像是這樣…
我一定可以在 BI team 學到很多關於 Big Data 的理論與實作，尤其是當紅的 machine learning、data mining。
事實上通常是…
你根本沒空 study 這些東西，你的公司可能連最基本的資料收集、資料儲存都還沒有作。你說你們家已經有 data warehouse，那你一邊還得 maintain 你的資料正確性(Integrity) ，然後還有老闆要求的各種報表(日報表、週報表、月報表)，有時候還有心血來潮的幾個 Ad Hoc Queries。
你想像是這樣…
寫 code 的 RD 應該要把所有有用的logs 存下來給 BI team 分析。
事實上通常是…
RD 們根本不會想這麼多，平常趕 feature 都焦頭爛耳了，連 unit test 的時間都被砍了，那有時間管你什麼 logging 的事情。重要的事 RD 在設計 log format 的時候最好就要考慮到之後若 log format 要變動時會不會影響到 BI 的 ETL，不然 ETL Developer 真的會發瘋。
你想像是這樣…
我只需要作資料分析然後寫出 report 跟老闆報告。
事實上通常是…
因為資源短缺所以通常你要校長兼撞鐘，你要會寫 scripting language 來作你的 ETL，ETL 作完都要有 monitor 機制，有問題要有 email 通知，有錯的資料進 data warehouse 你要定期作 check 作 data purification，要作 report 給老闆看，你要會用 reporting 的 tool 或是寫 restful service 給front end team call 來畫 charts。然後整個 flow 你還要當 operation 每天 monitor 一有錯就得修。
不知不覺也扯了一堆 BI 的現實，雖然遇到很多問題我也還是撐過來而且還想繼續被這些現實蹂躪，所以我也還是滿喜歡這個工作的，還是繼續努力，之後有什麼學習再分享。謝謝你耐心的看完所有的抱怨，有任何意見都可以來討論，謝謝。
