遠傳電信大數據處理暑期實習經驗分享
實習徵稿第二名 | 電機 13 林錦樑
一般人對遠傳電信的印象或許是電信服務,不過其實遠傳提供了相當多元的應用服務。近年來遠傳積極推動數位轉型,整合「大人物」(大數據、人工智慧、物聯網)應用於各產業。同時也積極跨足雲端與資安等領域,我們常常在生活中接觸到遠傳提供的多元服務,像是 FriDay 影音、遠傳心生活 app 等。
由於遠傳以電信服務為主,會有大量的用戶數據產生,在擁有大量數據的基礎下便能有許多應用,像是疫調及詐騙防治等。除此之外,遠傳還有影音娛樂應用、3C 銷售通路(德誼、全虹)等資料,這些資料都是企業非常珍貴的資產,更需要大量人員來處理。
在擁有大量數據的優勢下,在遠傳參與大數據處理實習是非常寶貴的經驗。遠傳近年來積極推動資料上雲,因此整個實習期間我都是直接參與公司的資料上雲專案。主要工作內容是在 Azure databricks 上依照 SDM(Spec)開發 ETL(extract, transform, load)Scripts,開發後進行測試並撰寫報告。
當開發完同個 data stage 的數支 ETL scripts 後,會進行平行測試,比對雲端與地端的執行狀況、資料比數,以及確認雲端個資是否已去識別化。若有資料數不一致的狀況發生,則需要修正比對或篩選條件。
除此之外,每位實習生都會有各自的任務。我被分配到的是程式排程。由於不同 ETL script 可能存有相依性,因此必須依序執行,才能得到正確結果。這項任務需要細心地釐清程式之間的關聯性,並依照資料來源與時間分成不同工作批次,整理完後再到雲端上設定執行時間,遇到問題再做修正。
而其他實習生分配到的工作還有尋找 ETL Script 中特定欄位的程式開發、平行測試 debug 以及 ETL script 的 peer code review。我也做過一些比較零碎的工作,像是各種表格與資料的整理。
這項實習職位的工作內容若以正職的職稱來說是「資料工程師」。當初招募的條件包含 Python、SQL、PySpark 與 Azure 等雲端使用經驗,不過我當時其實也只會 Python 與自學過一點 SQL 而已。實習第一週會進行教育訓練,複習 SQL 的語法,講解 ETL scripts 的開發測試規範流程,以及團隊協作的相關應用說明,再透過實作來慢慢熟悉整個工作內容。
在實習期間我學習到許多知識技能。實作能力方面,透過 SQL 撰寫 ETL script,讓我對 SQL 更加熟悉,我更利用工作完成的空檔在 Leetcode 上練習 SQL,使我在撰寫 ETL script 上更加得心應手。除此之外,工作中也常常需要用到 Excel 來做記錄。在頻繁使用下,我也對內建的函式及快捷鍵更加熟悉。
在知識方面,我對整個程式開發的過程更加了解。從討論需求訂立 Spec,到開發、測試,最後上線執行,每段過程都有其重要性。我也學習到雲端與資料的相關應用與知識,Mentor 跟我們講解整個公司的數據分層架構、個資去識別化的重要性,以及整個上雲專案的內容。更提供 Azure 的雲端應用教材讓我們了解 Azure 提供的雲端服務與架構。此外,實習期間 Mentor 也安排大數據部門的各個團隊為我們介紹工作內容,讓我們能一窺數據處理工作的各個面向。
在職場中,有許多地方跟學校不同。以寫程式來說,在學校寫程式作業通常會由助教訂立 Spec,我們主要就是根據作業的 Spec 去完成對應的任務,而且 Spec 通常也不太會有太大的變化,有時候會需要通過一些特定條件的測資,或是要與同學比較執行速度。
而在職場上,寫程式更注重的是可讀性、可維護性與彈性。一份程式可能會經過很多人的手中,也會使用許久,而且不見得找得到當初撰寫程式的人,因此撰寫時需要遵守訂立好的開發規範及變數命名規則,也不會為了追求效率而使用太複雜的寫法。在工作上訂立的 Spec 也經常會更改,可能在一次會議後便會重新訂立。假如原本的設計不夠完善,程式開發完後便需要再次修改,需要保有開發的彈性。
而學校與職場的相同之處便是要持續學習新的技術。雲端方面的應用可能在學校比較少接觸,當公司要引入新技術時,通常會安排講師來上相關的課程,或是提供官方教材讓員工學習,有時候也需要靠自己去研究這些工具該怎麼使用。
在遠傳的實習期間是收穫滿滿的兩個月,除了學習資料處理與雲端應用等技術之外,更培養了我對於職場的認識,HR 與前輩們也會跟我們討論生涯規劃,並提供建議。公司的環境非常舒適,有舒服的人體工學椅,上班氣氛也相當輕鬆,我非常推薦大家到遠傳實習!
最後,對於想要在大學參加實習卻不知道如何跨出第一步的同學,我提供以下幾個建議:
1. 不一定要滿足全部的技能要求:有些職缺的技能要求會列出各種技術,像是各種程式語言,框架等。但實際上工作也不見得會使用到全部技能,只需要會其中幾個重要的技能就好,不必因為看到一長串的技能要求而自我設限。
2. 自學:雖然上面提到不一定要滿足全部的技能要求,但會越多技能還是越有優勢。許多職場上會用到的技能其實在學校課程中不見得會學過,這時候就得倚靠自己去學習,可以參考職缺上列出的技能做為學習方向,並利用各種資源學習(網路、書籍),自學能力在工作中也是相當重要。
3. 海投履歷:由於暑期實習的應徵者多,加上暑期實習生能對公司帶來的幫助較少,通常不會有很多職缺,有些職缺又偏重碩士生,在這樣僧多粥少的情況下,非常建議海投履歷來增加自己的機會,也能透過一次又一次的投遞履歷、面試增進自己求職經驗與面試技巧。
像是我投了 34 個職缺,只收到了 4 個面試,而遠傳剛好是我最後一間面試的公司。在前面累積的面試經驗之下,我面對面試官的應對進退也更加成熟,最後順利拿到 offer。若沒有成功找到實習工作也不用太氣餒,畢竟錄取率非常低,以遠傳來說,有九百多位申請者競爭三十個職缺,錄取率約 3% 左右。若考慮學期實習的話,由於競爭者較少,會更有機會得到實習 offer。
4. 盡量展現自身優點:像我自身學業表現一般,也沒有特別突出的專題或競賽經驗,在自我介紹時可以透過在課程分組專題等經驗,強調自己的優點。像是如何解決問題、與組員溝通等。
若是個性比較內向不太會推銷自己,可以透過經驗分享以及有條理的方式表達自己的想法。跟我面試的 HR 有和我分享他們想找的實習生就是能夠與團隊合作的人,我當時在面試也有透過課堂專題的經驗表達出這樣的特質,也因此得到主管青睞。
大家好!我們是 Open House-NYCU 編輯部,晚上 8 點更新文章!這裡刊登各種職涯相關的文章,文章皆由部員採訪撰稿,希望看完文章之後你能對職涯有更多想像!