Analytics Engineer คือใคร ทำหน้าที่อะไรบ้าง
หากพูดถึงตำแหน่งงานในสายงานด้าน data แล้ว ถ้าให้ยกตัวอย่างตำแหน่งงานในสายนี้มา 3 ตัวอย่าง คำตอบส่วนใหญ่ที่คนทั่วไปหรือแม้แต่คนในวงการ data เองนึกถึงอาจหนีไม่พ้น Data Analyst, Data Scientist และ Data Engineer ซึ่งเป็นตำแหน่งงานที่ทุกๆคนคุ้นหูกันดีอยู่แล้วในปัจจุบัน แต่วันนี้เราจะมาพูดถึงตำแหน่งอื่นๆกันบ้าง ซึ่งอาจจะเรียกได้ว่าใหม่นั่นก็คือ Analytics Engineer หรือเรียกสั้นๆว่า AE เขาคือใคร ทำหน้าที่อะไร วันนี้เราจะมาเล่าให้ฟัง
Table of content
- นิยามของ Analytics Engineer
- Analytics Engineer ทำหน้าที่อะไร
- ตัวอย่างการทำงานร่วมกันระหว่าง Data Engineer, Analytics Engineer และ Data User
- ความแตกต่างระหว่าง Data Engineer และ Analytics Engineer
- Skill สำคัญสำหรับการเป็น Analytics Engineer
- Conclusion สรุปสาระสำคัญ
นิยามของ Analytics Engineer
Analytics Engineer คือ คนในทีม Data ที่คอยจัดการข้อมูลในองค์กรให้พร้อม สำหรับ Business User (BU) นำไปใช้วิเคราะห์ข้อมูลต่อได้ทันที โดยที่ BU ไม่ต้องมีขั้นตอนการเตรียมข้อมูลอีกรอบ เป็นผู้ที่มีความรู้ความเข้าใจในธุรกิจเป็นอย่างดี (Businees Domain Expert) โดยตำแหน่งจะมีความเป็น กึ่ง Data Engineer กึ่ง Data Analyst อยู่ในคนๆเดียวกัน
Analytics Engineer ทำหน้าที่อะไร
หน้าที่หลักของ Analytics Engineer แบ่งออกเป็น 3 ส่วนย่อย ดังนี้
- สร้าง Data model ที่ Business User (BU) สามารถนำข้อมูลดังกล่าวไปวิเคราะห์ต่อได้ทันที โดยไม่ต้องผ่านการ Process เองอีกรอบ คำว่า Data model ในที่นี่หมายถึงข้อมูลที่ผ่านการ Aggregate มาแล้ว ตัวอย่างเช่น ข้อมูลยอดขาย รายสัปดาห์ รายสาขา จากที่ปกติถ้าหาก BU ต้องการข้อมูลแบบนี้ พวกเขาจะขอเข้าถึงข้อมูลดิบ จาก Data Engineer (DE) เพื่อใช้ในการสร้าง Data Model ให้ได้ข้อมูลปลายทางตามที่ต้องการ ดังนั้น AE จึงเข้ามาที่จุดนี้ ทำความเข้าใจความต้องการของ BU แล้วนำไปพัฒนา Data Model ออกมา เพื่อที่ BU จะได้โฟกัสกับการวิเคราะห์ข้อมูล และ DE จะได้โฟกัสโครงสร้างพื้นฐานต่างๆของข้อมูล
- ตรวจสอบคุณภาพของข้อมูล ให้มีมาตรฐานสอดคล้องกับ Data Quality Dimension ได้แก่ ความแม่นยำ (Accuracy) ความถูกต้อง (Validity) ความเป็นเอกลักษณ์ (Uniqueness) ความสอดคล้อง (Consistency) ความทันเวลา (Timeliness) และความสมบูรณ์ (Completeness) โดยที่ TILDI ทีม DE เราถือคติประจำใจไว้ ถ้าหากข้อมูลมีปัญหา เราจะต้องเป็นคนที่รู้ก่อนผู้ใช้งานข้อมูล และแจ้งปัญหาทันทีที่ทราบ รวมถึงวิธีการแก้ไข เพื่อสร้างความน่าเชื่อถือให้แก่ข้อมูล คงไม่มีใครอยากใช้ข้อมูล หากข้อมูลนั้นมีความผิดพลาด เพราะอย่างนั้นการตรวจสอบคุณภาพของข้อมูลจึงเป็นหน้าที่สำคัญสำหรับ AE รวมถึง DE ด้วย
- จัดทำเอกสารความรู้ต่างๆ เกี่ยวกับข้อมูลในองค์กรให้สามารถเข้าถึงได้ง่าย เพื่อให้ทุกคนในองค์กรที่ใช้ข้อมูล สามารถศึกษาและใช้งานข้อมูลได้อย่างมีประสิทธิภาพ ลดความยุ่งยากในการค้นหาข้อมูล เช่น data observability, data governance, data dictionary เป็นต้น เป้าหมายของเราคือ ต้องการให้ทุกคนในองค์กรใช้ข้อมูลประกอบการตัดสินใจให้ได้มากที่สุด
ตัวอย่างการทำงานร่วมกันระหว่าง Data Engineer, Analytics Engineer และ Data User
ตัวอย่างการทำงานที่เกิดขึ้นระหว่าง 3 ภาคส่วนนี้
Data User ต้องการข้อมูลยอดขาย รายเดือน รายสาขา รายหมวดสินค้า สำหรับนำไปทำ Dashboard นำเสนอให้แก่ผู้บริหารระดับสูง จึงสอบถามไปยัง Analytics Engineer ว่ามี Data Model นี้อยู่หรือไม่ ปรากฎว่ายังไม่มีสิ่งนี่อยู่
จากนั้นทาง Data User และ Analytics Engineer จะหารือร่วมกัน เพื่อสรุปความต้องการและความเป็นไปได้ของสิ่งที่ต้องการ เมื่อตกผลึกความต้องการของ Data User ได้แล้ว
ทาง Analytics Engineer จะกลับไปคุยกับทาง Data Engineer ว่าสิ่งที่ Data User ต้องการ มีข้อมูลดิบสำหรับการทำ Data Model แล้วหรือไม่ ถ้ายัง Analytics Engineer ก็จะแจ้งความต้องการของ Analytics Engineer เองกับ Data Engineer ว่าต้องการข้อมูลดิบอะไร จากแหล่งข้อมูลไหน เพื่อที่จะทำให้ได้มาซึ่งข้อมูลดิบสำหรับการทำ Data Model ต่อ
เมื่อ Analytics Engineer มีข้อมูลดิบจากทาง Data Engineer แล้ว ก็จะเริ่มการพัฒนาตัว Data Model ตามความต้องการของ Data User ต่อไป จากนั้นเมื่อ Data Model เสร็จสมบูรณ์แล้ว Data User ก็จะนำ Data Model ดังกล่าวไปใช้สำหรับทำ Dashboard ต่อไป
โดยสามารถสรุปเป็น Workflow ได้ตามนี้ครับ
ความแตกต่างระหว่าง Data Engineer และ Analytics Engineer
Data Engineer
- สร้าง Pipeline เพื่อนำเข้าข้อมูลจากแหล่งต่างๆ มายัง Data platform
- ให้บริการข้อมูลดิบที่ Analytics Engineer พร้อมสำหรับนำไปสร้าง Data Model
- สร้างและดูแลโครงสร้างพื้นฐานของ Data Platform
- ปรับปรุงและพัฒนาประสิทธิภาพการทำงานของ Data Platform
Analytics Engineer
- สร้าง Pipeline เพื่อสร้าง Data Model มายัง Data Platform
- ให้บริการข้อมูลที่ Business User พร้อมสำหรับนำไปใช้ในการวิเคราะห์ต่อ
- สร้างและดูแลข้อมูลพื้นฐานเกี่ยวกับ Data ที่ทีมให้บริการ
- ปรับปรุงและพัฒนาประสิทธิการทำงานของ Data Model
Skill สำคัญสำหรับการเป็น Analytics Engineer
Programing Skills
- SQL : งานส่วนใหญ่ของ Analytics Engineer จะเป็นการสร้าง Data Model ขึ้นมา เพื่อตอบโจทย์ต่างๆที่ได้รับมาจาก Business User โดย SQL จะถูกใช้ในการเชื่อมข้อมูลจากหลายๆแหล่ง(ตาราง) เข้าด้วยกัน เพื่อรวมเป็น Data Model สำหรับนำไปสร้างเป็น Dashboard หรือ ทำ Analysis ต่อไป
- Python : หลังจากที่เราสร้าง Data Model เสร็จแล้ว เราจะเขียนโปรแกรมโดยใช้ภาษา python เพื่อสร้าง pipeline ที่ให้บริการ Data Model แบบ Automated รวมถึงการ Monitoring ปัญหาต่างๆที่อาจเกิดขึ้น
ผู้เขียนถูกขัดเกลาอยู่เสมอว่า Analytics Engineer ≠ d__ จงอย่ายึดติดกับเครื่องมือ เครื่องมือสามารถเปลี่ยนแปลงได้ตลอด
Soft Skills :
- Business Domain Expert : มีความรู้ความเข้าใจในธุรกิจเป็นอย่างดี เป็นผู้ที่คร่ำหวอดในวงการนั้นๆ อุตสาหกรรมนั้นๆ Analytics Engineer จะต้องทำงานใกล้ชิดกับ Business User ต่างๆ ฉะนั้นการเข้าใจธุรกิจที่องค์กรทำอยู่จึงเป็นเรื่องสำคัญ
- Communication : เนื่องจากงาน Analytics Engineer เป็นงานที่ต้องสื่อสารกับทีม Data Engineer และ ทีม Data Analyst เป็นหลัก สกิลนี้จึงสำคัญเป็นอย่างมากในการทำงาน
Conclusion สรุปสาระสำคัญ
Analytics Engineer เป็นอาชีพที่มีความเกี่ยวโยงกันระหว่าง Data Engineer และ Data Analyst ทำหน้าที่ สร้าง Data Model, ตรวจสอบคุณภาพของข้อมูล และจัดทำเอกสารที่เกี่ยวกับข้อมูล โดยจะเข้ามาคั้นกลางระหว่าง DE และ DA ทำให้ DE มีเวลาโฟกัสกับเรื่อง Infrastructure, Performance มากขึ้น และ ทำให้ DA มีเวลาโฟกัสกับเรื่อง Analysis, Insight มากขึ้น Skill สำคัญสำหรับการเป็น AE นั้น ฝั่ง Programming จะเน้น SQL สำหรับทำ Data Model และ Python สำหรับการทำ Pipeline ส่วนอื่นๆที่สำคัญก็จะมีพวก Business Domain และ Communication
ถ้าคุณชอบบทความสามารถกดแชร์ ปรบมือ เพื่อเป็นกำลังใจให้ผู้เขียนด้วยนะครับ
หากสนใจอ่านบทความอื่นๆ เพิ่มเติม คลิกที่นี่
ติดตาม Facebook พวกเรา คลิกที่นี่
สนใจร่วมงานกับ CJ Express คลิกที่นี่
Reference
[1] https://www.ascend.io/blog/why-analytics-engineers-are-the-new-must-hire-for-data-teams/
[2] https://healthinstitute.illinois.edu/connect/news/berd-tips-dimensions-of-data-quality
