What’s it like being a data trainee at TISCO x ODDS
สวัสดีค่า 🌷✨ วันนี้จะมาแชร์ประสบการณ์ การเป็นเด็กฝึกงานสาย Data engineer ในช่วงระยะเวลา 1 เดือนที่ผ่านมากันค่า พูดได้ว่ามันนนส์สุด ครบเครื่องงงงสุด อย่างน้อยถ้าจะเริ่มเป็นนกที่ตื่นเช้า ขอลองเป็นนก data จ๊าบ ๆ บนตึก Tisco ชั้น 15 ดูสักที
งานสาย data ถือว่าเป็นงานสายที่กำลังมาแรงในช่วงนี้อย่างปฎิเสธไม่ได้ (แต่พี่ ๆ บอก เมื่อก่อนนี่มันงานคนแก่นะครับน้อง) ก่อนหน้านี้คิดกังวลอยู่เหมือนกันค่ะ ว่าเราจะเหมาะกับสาย data มั้ย จะ coding อย่างเดียวเลยหรือเปล่านะ เพราะงานแนวออกแบบ แต่ง dashboard เราก็ชอบทำ จุดที่สปาร์คความเท่ของสาย data ต้องยกให้พี่กานต์ ในโควตที่ว่า “Data enginneer ต่อไป จะไม่เป็นอาชีพ แต่จะเป็น mindset” คิดในใจเลย “เห้ยยย ….” เห้ยฟังดูเหมือนจะตกงานเลยนะเราสายนี้ 55555 ไม่ใช่ ๆ อันนี้หยอกปนความจริงนิดหน่อย นี่มันกำลังแปลว่า อย่าไปเจาะจงเน้นทำงานแค่ด้านใดด้านหนึ่งเลย ทำมันให้หมด เพราะเดี๋ยวคนเท่อย่างเราก็จะได้ออกโรงเอง 😎
ต้องเกริ่นก่อนเลยว่าทีมที่กำลังฝึกอยู่ เป็นทีมที่ดูแลจัดการ data อย่างครบเครื่อง และ ถึงเครื่อง เพราะมีกันตั้งแต่การ design ETL pipeline การ upgrade infrastructure ของเครื่องมือที่ใช้ ไปจนถึงการสร้าง data visualization เรียกได้ว่า เป็นการจัดการข้อมูลตั้งแต่ต้นทางยันปลายทาง end to end กันเลยทีเดียว
ลักษณะงานที่ทำ : เป็นโปรเจค จบ1 มา1 อะไรเป็นงานต่อเนื่องก็ทำกันไป มีช่วยเป็นลูกมืองานด้านอื่นเล็กน้อยค่ะ
รีวิววีคแรก พอเริ่มปุ้ปก็ได้งานช้างเลย โปรเจคแรกที่ทำ เป็นการเอา open data เรื่องที่อยู่อาศัย (บ้าน คอนโด ทาวน์เฮ้าส์ และอื่นๆ) มาจัดทำเป็น dashboard กับเดดไลน์เพียง 3 วัน !!!! ทำกันหัวยุ่งเลย ถือว่าเป็นการปัดฝุ่นความคิด และทำให้ได้ลองทำงานร่วมกันกับทีม ในสถานการณ์จริง ที่บอกเลยว่า data ปถุชน มันไม่สวยหรู เหมือน data ที่ไปเลือกจับมาทดลองเล่นในคลาสหรอกนะ 🥲
เครื่องมือที่ใช้ : เยอะและหลากหลายมากค่ะ แยกย่อยได้ดังนี้
- ใช้ Cloud Technologies จัดการ storage, virtual machine, serverless function และ logs การทำงานของเครื่องมือข้างต้น
- ใช้เครื่องมือ monitoring อย่าง Uptime Kuma
- ใช้เครื่องมือจัดการ scheduler อย่าง Airflow เขียน dags กันสนุกสนาน แต่จะเขียนให้เท่ ต้องเขียนที่นี่ 😎 (ใส่เครดิตพี่ อธบ ตรงนี้)
- เครื่องมือการทำ warehouse อย่าง BigQuery
- เครื่องมือการทำ dashboard อย่าง Looker
- เครื่องมือจัดการ automation test, check data structure และ build docs อย่าง DBT
- เครื่องมือการทำ IAC (Infrastructor as a code) ที่ทำให้ชีวิตกดทำงานซ้ำ กดงานเดิม ต้องเปลี่ยนไป เพียงแค่เขียน code และ run ทุกอย่างก็ออกมาตามใจฝัน อย่าง Terraform และ Terragrunt
พูดได้ว่าครบเครื่อง ทั้งตัวเด่น ตัวดัง ตัวท็อปจริงค่า (ยังไม่นับ wings ที่ตอนนี้กำลังลองเล่นกันอยู่นะคะ พูดได้ว่าลองกันทุกอย่างจริง ๆ) งานเราทำกันทุกด้านจริงค่ะ ด้าน communication เราก็มีเหมือนกัน โดยเฉพาะ project ใหญ่ที่ต้องร่วมกับหลายทีม ได้ฝึกทักษะหลายอย่างรอบด้านเล้ย
สภาพแวดล้อม : นั่งกันเป็นโตะใหญ่ กระจายเป็นโซนของแต่ละทีม พี่ ๆใจดีมาก ๆ ค่ะแต่ละสัปดาห์ จะมีคลาส team improvement อยู่เสมอ อย่างที่บอกไปข้างต้นค่ะ เครื่องมือที่ได้ลองนั้นเยอะมาก ตอนที่ทำงาน หากอยากลองอะไรใหม่ หรืออยากลองประยุกต์บทเรียนใช้เป็นท่าใหม่ ก็ลองได้เลยแบบไม่กลัวเสียของ ลองจริง ทำจริง เครื่องมือตอนนี้ล้วนน่าสนใจทั้งนั้นเลยค่า
สรุปสั้นๆ : Ideals is not ideals here พี่ ๆ น่ารักกันมาก ๆ รู้สึกเหมือนทุกคำถามมีคำตอบ และได้งานที่ได้ทำอย่างเต็มที่ สนุก สุด มากจริงค่า
โลกจะสร้างจะเหวี่ยงอะไรมาให้ลองอีกมาเลยจ้า ชั้นพร้อมแล้ว !
เพื่อนบ้าน : หลาย ๆ คนอาจสงสัย (สงสัยมั้ยนะ 55555) เอ้ะ! terraform terragrunt คืออะไร ลดงานซ้ำซากจำเจ เปลี่ยนเป็น code นี่มันทำยังไงสงสับจังงง ก็เชิญชวนเลยค่าที่นี่ ใช้แล้วชีวิตดีขึ้นจริง ๆ นะ
https://medium.com/@kantapit9/terragrunt-ใช้แล้วชีวิตดีขึ้นยังไง-e736c2cb56f4