Meet the team: Data Engineering ทำความรู้จักทีมผ่าน ดิว ธีรภัทร โภคาปราการ
เทคโนโลยีเป็นสิ่งสำคัญที่ทำให้เกิดการเปลี่ยนแปลงในอุตสาหกรรมต่าง ๆ และเมื่อนำมารวมกับข้อมูลที่มีอยู่อย่างมหาศาลก็จะสามารถเพิ่มขีดความสามารถของอุตสาหกรรมให้มากยิ่งขึ้น
MoneyThunder เป็นผลิตภัณฑ์ของ SCB Abacus ซึ่งมีการใช้ alternative data และ AI เข้ามาช่วยในการให้บริการลูกค้าให้ดีและปลอดภัย ดังนั้น จึงจำเป็นต้องมีการบริหารจัดการข้อมูลจำนวนมาก และเป็นหน้าที่ของ Data Engineer ที่เป็นเสาหลักในการวางโครงสร้างและการจัดเก็บข้อมูลเพื่อให้อยู่ในรูปแบบที่สามารถนำไปใช้งานได้ดีที่สุด โดยทำการสร้าง data infrastructure ที่มีประสิทธิภาพ
เราเลยอยากจะพาทุกคนไปรู้จักกับ Data Engineering ของ SCB Abacus โดย ดิว ธีรภัทร โภคาปราการ Head of Data Engineering ที่จะมาแชร์เกี่ยวกับทีมนี้ ให้ได้รู้ถึง insight การทำงานกันแบบละเอียดเลย
แนะนำทีมหน่อย ว่าทำอะไร ความรับผิดชอบเบื้องต้นข้างในทีมมีอะไรบ้าง?
ที่ SCB Abacus เรามีข้อมูลอยู่จำนวนมาก ทีม Data Engineer ของเรารับผิดชอบในส่วนของ Data Infrastructure ของบริษัท โดยหลัก ๆ แล้วเราจะสร้าง Data Pipeline รวบรวม Data จากแหล่งข้อมูลต่าง ๆ มาให้มีรูปแบบที่มีมาตรฐานเดียวกัน รวมถึงการ maintain cloud infrastructure ด้วย
Challenge ของทีมและสิ่งที่ทำให้พวกเรารู้สึกตื่นเต้นในการเข้ามาทำงานนี้คือ เราจะทำอย่างไรให้ทุกคนในบริษัทเข้าถึงข้อมูลได้ง่ายที่สุด และลด Friction ในการเข้าถึง ด้วยความหลากหลายในเชิงรูปแบบและความต้องการของทีมต่าง ๆ ก็แตกต่างกันออกไป เราจะทำอย่างไรให้สามารถตอบสนองความต้องการได้ในเวลาอันรวดเร็ว โดยทีม Data Engineer ของเรานั้นได้ adopt ใช้ Evolvable Architectures เนื่องจากเราเป็น Data Tech Company หัวใจหลักของเราคือ Data Data ทำให้เราพัฒนา Product อย่างแอปพลิเคชัน MoneyThunder ที่ให้บริการสินเชื่อออนไลน์ตอบโจทย์และตรงใจลูกค้า มี Product Differentiation เหนือคู่แข่ง
นอกจากนี้ทีม Data Engineering ยังทำงานร่วมกับทีม MLOp เพื่อ Make Sure ว่าเราเป็นที่พึ่งของลูกค้าเราได้ตลอด 24/7 ภายในเวลา 10 นาที ลูกค้าสามารถมั่นใจได้ว่าเราสามารถช่วยเค้าได้ ไม่ใช่เวลาลูกค้าต้องการเงินเพราะเหตุฉุกเฉิน ระบบเราล่มไม่สามารถเป็นที่พึ่งให้เค้าได้
Data Engineer ต้องทำงานกับทีมไหนบ้าง?
ที่ SCB Abacus เราให้ความสำคัญกับเรื่องของ Collaboration ไม่ใช่เฉพาะทีมของตัวเองแต่ทุก ๆ ทีม สำหรับทีม DE แล้วเราทำงานกับทุก ๆ ทีม เช่น Product และ Growth Team ในการวางแผนทำ Experiment Platform เพื่อเราสามารถทำ a/b testing ได้อย่างมีประสิทธิภาพ ลดเวลาในการ launch แต่ละ experiment และสามารถ run หลาย experiment ในเวลาเดียวกันได้เพื่อให้เราสามารถรู้ความต้องการของลูกค้าได้อย่างแท้จริง อีกตัวอย่างการทำให้ของทีม DE ที่ทำร่วมกับทีม MLOps คือพัฒนา Feature Store สำหรับ Machine Learning Model ทางทีม DE เข้าไปช่วยพัฒนา Data Pipeline ต่าง ๆ เพื่อใช้ใน Feature Store
อยากจะเป็น Data Engineering ต้องมี Skill หรือความรู้อะไรบ้าง
จริง ๆ แล้ว Data Engineer’s Skill share a lot common with software engineers พื้นฐาน Computer Science ต่าง ๆ สำคัญมาก เช่น เรื่องของ Data Structure, Algorithm ที่เราจะเขียนมี Big O เป็นอย่างไร มีความสำคัญมากเวลาเราเขียนโปรแกรมเพื่อ Process ข้อมูลที่มี Size ระดับ Terabytes การที่เราสามารถ identify และ optimize algorithm ที่เราเขียนสามารถสร้าง impact ได้มหาศาล สิ่งที่ควรจะ focus เป็นพิเศษสำหรับ Data Engineer คือเรื่อง Distributed Computing เนื่องจากการที่การ Design Data Architecture นั้นต้องคำนึงถึง Size ของ Data
การมีความรู้พื้นฐานด้าน Distributed Computing ทำให้เราสามารถเข้าใจ Big Data Tech Stack อย่าง Apache Spark หรือ Apache Beam ได้ง่ายขึ้น และสามารถแก้ไขปัญหาได้ ยกตัวอย่างองค์กรของเรา SCB Abacus ที่เติบโตแบบก้าวกระโดด ทำให้มีปริมาณ Data ที่เพิ่มขึ้นอย่างรวดเร็ว SCB Abacus หรือ Start Up อื่น ๆ ที่ Change is the only constant ความสามารถในการ Design Architecture ให้มี Adaptability สามารถปรับเปลี่ยนได้อย่างรวดเร็วตาม Context ในแต่ละช่วงเวลา ความเข้าใจในเรื่องของ Architecture Pattern แบบต่าง ๆ อะไรคือข้อดี อะไรคือ trade off และสามารถที่จะ Communicate Idea เหล่านั้นให้กับเพื่อน ๆ ในทีมได้
ทีม Data Engineer ใช้ Tools อะไรทำงานบ้าง?
Data Tech Stack ของเราส่วนใหญ่จะผสมผสานระหว่าง Cloud Native Technology และ Open Source เช่น Apache Airflow ในการทำ Orchestrate Jobs ต่าง ๆ Apache Beam ในการ transform data สำหรับ Technology ใหม่ ๆ ที่ทีมเราได้เริ่มนำมาใช้อย่าง Data Build Tool (DBT) และ Great Expectations (GE) มาช่วยให้ Data Pipeline ให้เรามีประสิทธิภาพมากขึ้น
เป็น Data Engineer ที่ SCB Abacus แตกต่างจากที่อื่นยังไง?
ที่นี่ให้ความสำคัญกับไอเดียของทุก ๆ คน เรามองหา Diversity ของไอเดีย เพราะฉะนั้น DE ที่นี้มีโอกาสนำเสนอ Solution ใหม่ ๆ ตลอดเวลา ทำให้เราได้ Explore ทดลอง Tech Stack ใหม่ ๆ ได้เรียนรู้ตลอดเวลา กล้าที่จะลอง ยกตัวอย่างทีม DE พึ่งได้นำ DBT และ Great Expectations ซึ่งเป็นเทคโนโลยีที่ค่อนข้างใหม่มาใช้จริงบน Production เพื่อนำมาแก้ปัญหาเรื่อง Data Quality อีก Project ที่เรากำลังทำคือในเรื่องของ Data Catalogue ตอนนี้ทีมกำลังศึกษา Open Source ต่าง ๆ เพื่อนำมาพัฒนา Solution เพื่อให้ทีมต่าง ๆ ใน SCB Abacus เข้าถึง Data ได้ง่ายขึ้น
Data Engineering ของ SCB Abacus มองหาคนแบบไหน?
นอกจาก Strong Technical Skill แล้ว เรามองหาคนที่มี ‘get-it-done’ attitude ทำทุกวิถีทางเพื่อให้งานของตัวเองสำเร็จ มี ownership สูง ในงานที่ได้รับมอบหมาย และมี curious mindset คอยตั้งคำถาม
มีคำแนะนำอะไรสำหรับคนที่อยากเป็นData Engineering หรือ คนที่อยากพัฒนา skill มั้ย?
นอกจากจะศึกษา framework หรือ tools ใหม่ ๆ ของ Data Engineering ลอง Challenge ตัวเองให้เข้าใจถึงที่มา เหตุผลที่สร้าง Tool นี้ขึ้นมา ความเข้าใจนี้เป็นรากฐานสำคัญในการเลือกเทคโนโลยีที่ถูกต้องกับปัญหาที่เราเจอ ไม่ใช่ทุกเทคโนโลยีใหม่ ๆ นั่นเหมาะกับงานของเราเสมอไป
ตอนนี้ก็คงรู้เกี่ยวกับ Data Engineer และเห็นภาพการทำงานของทีมที่ SCB Abacus กันมากขึ้นแล้ว ไม่ว่าจะเป็นเรื่องของการทำงาน ความรู้ และการเตรียมตัวสำหรับสายนี้ หากรู้สึกว่าคุณเป็นคนที่แบบเดียวกัน มี ‘Get-it-done attitude’ และอยากมาเป็นหนึ่งในทีมของเรา สามารถดูรายละเอียดตำแหน่งที่เปิดรับ และสมัครงานได้ผ่าน http://bit.ly/3XFfhY4
🔎 รู้จัก SCB Abacus เพิ่มเติมได้ที่
Website: http://bit.ly/3lvo69b
Facebook: http://bit.ly/3xmxn66
Linkedin: http://bit.ly/3YyFcSc
TEERAPAT POKAPRAKARN
Teerapat leads a team of data engineers focusing on capturing and surfacing datasets to enable analytics, data products and experimentation. The team builds a set of computational frameworks that compute datasets as a service for SCB Abacus’ customers and partners.
Teerapat holds a Computer Engineering Degree with High Honor from University of Illinois at Urbana-Champaign. During his high school, he was a Singapore Government ASEAN Scholar. He is also certified as Google Cloud Professional Cloud Architect, Data Engineer, and Machine Learning Engineer. He has experience as data engineer and open-source enthusiast. He is well-versed in architecting highly scalable data platform for optimal data impact. He is also an open-source Big Data project contributors such as Apache Cassandra and Apache Kafka
