เปิดประสบการณ์โลกของ Data Science โดย คุณเพิร์ท เจ้าของเพจ DataTh จากคอร์สเรียน BOTNOI Data Science Essential#3

คอร์สเรียนบอทน้อย Data Science Essential#3
EP. 3 Data Engineer

วันนี้จะพาทุกคนมาเปิดโลกของ Data Science จากบทสัมภาษณ์ของคุณ เพิร์ท เจ้าของเพจ DataTh ที่เปิดมานานถึง 4 ปี!! สัมภาษณ์โดย ดร.วินน์ วรวุฒิชัย Data Scientist ผู้ก่อตั้ง BOTNOI โดยในบทสัมภาษณ์ จะเล่าเรื่อง Data Engineer การทำงานด้าน Data Consult และประสบการณ์การเรียนต่อที่ออสเตรเลีย

หลายๆคนคงจะเคยได้ยินคำนี้กัน Data Science, Data Engineer แต่รู้หรือไม่ ว่าคำๆนี้หมายถึงอะไร? ก่อนจะเริ่มบทสัมภาษณ์ เราไปทำความรู้จักความหมายของคำเหล่านี้กัน!

What is Data Science?

Data Science หมายถึง การนำข้อมูลมาใช้ประโยชน์ โดยครอบคลุมตั้งแต่ขั้นตอนการเก็บข้อมูล (Collect) > การจัดการข้อมูล (Manage) > การวิเคราะห์ข้อมูล (Analyze) > ไปจนถึงขั้นตอนการนำข้อมูลมาช่วยตัดสินใจ (Decision)

ที่มา: https://www.bossup.co.th/site/

What is Data Engineer?

Data Engineer (DE) คือคนที่เก็บรวบรวม จัดเก็บ และดูแลข้อมูลทั้งหมดของบริษัทให้มันสามารถใช้งานได้จริง DataCamp สรุปนิยามของตำแหน่งไว้ดีมาก

หน้าที่หลักของ DE คือการย่อย (ingest v.) ข้อมูลจากหลายแหล่งที่บริษัทเราเก็บมา เช่น ข้อมูลการใช้งานของลูกค้า ข้อมูลจาก Facebook, Twitter, YouTube หรือ social media อื่นๆ ข้อมูลจากร้านค้าทั้งแบบออนไลน์และออฟไลน์ และเซนเซอร์รูปแบบต่างๆ (Internet of Things)

ที่มา: https://admin.adaddictth.com/

— — — — — — — — — — — — — — — — — — — — — — — — — —

หลังจากเกริ่นกันไปเล็กน้อย เรามาเจาะลึกบทสัมภาษณ์ของคุณเพิร์ทกัน! เริ่มด้วยการแนะนำตัวกันก่อนเลยครับ

คุณเพิร์ท : สวัสดีครับ ชื่อ Woratana Ngarmtrakulchol (Perth)

ในปี ค.ศ. 2009 เรียนจบปริญญาตรีที่มหาวิทยาลัยจุฬาลงกรณ์ คณะวิศวกรรมศาสตร์ สาขายานยนต์ ปี ค.ศ. 2013 เคยทำงานเป็น Web developer อยู่ที่ Neumerlin Group, Midnize Studio ในปี ค.ศ.2016 เรียนต่อปริญญาโทที่ Master of Data Science Monash University, Australia ปัจจุบันทำงานเป็น Data consult อยู่ที่บริษัท Servian

วันนี้ผมจะมาอธิบายหัวข้อหลักๆให้ฟังดังนี้

1. ช่องทางในการหางานและวัฒนธรรม ที่ออสเตรเลีย
2. งานด้าน Data Consult ทำอะไรบ้าง?
3. งานด้าน Data Engineer ทำอะไรบ้าง?
4. ทักษะที่จำเป็นสำหรับ “Data Engineer”
5. แหล่งเรียนรู้ด้าน Data Engineer

ดร.วินน์ : เริ่มเรียนด้าน Data Science ตั้งแต่ปี 2013 ตอนนั้นรู้จักแล้วหรอคำว่า Data Science?

คุณเพิร์ท : มีโอกาสพูดคุยกับรุ่นพี่ที่จุฬา คุณต้า ทำงานเป็น Data ให้กับ Facebook กับรุ่นพี่อีกคนที่อยู่ Twitter เขาเล่าให้ฟังว่า Data Science คืออะไร เป็นงานแบบไหน ก็เลยอยากลองดู เพราะมีพื้นฐานด้านโปรแกรมเมอร์อยู่แล้ว แต่พอได้ลองไปเรียนกลายเป็นว่าเลขเยอะมากกว่าที่คิด ตอนนี้เลยต้องพยามยามอย่างหนัก

กลับมาที่หัวข้อหลัก ข้อที่ 1 กันครับ

1. ช่องทางในการหางานและวัฒนธรรม ที่ออสเตรเลีย
   ช่องทางหลักสำหรับการหางานในออสเตรเลีย คือ เน้นเรื่อง connection

เว็บสำหรับหางาน

• indeed.com → https://www.indeed.com/
  คือ เว็บหางานสำหรับทั่วโลก

Job Search | Indeed

• Linkedin → https://www.linkedin.com/
  คือ เว็บหางาน (เน้นทำโปรไฟล์ให้ดูดี) ที่ออสเตรเลียใช้กันเยอะมาก ใช้แทนเฟสบุ๊คเลย ที่จริงหลายประเทศก็ใช้เว็บตัวนี้กัน ในการสร้างโปรไฟล์สมัครงาน

LinkedIn: Log In or Sign Up

• Seek.com.au → SEEK — Australia’s no. 1 jobs, employment, career and recruitment site
  เน้นหางานที่ออสเตรเลีย เป็นหลัก

SEEK — Australia’s no. 1 jobs, employment, career and recruitment site

สร้าง connection

• เพื่อนที่มหาวิทยาลัย ทำงานกลุ่ม ได้สร้างความสัมพันธ์ เขาจะช่วยสร้าง refer ได้ เช่น เพื่อนยื่น resume ให้เรา

ที่มา: https://images.squarespace-cdn.com/

• มีคนรู้จักทำงานอยู่ที่บริษัทที่เราอยากจะเข้าทำงาน เราสามารถให้เขาช่วย refer ให้เราได้
• meetup.com เข้าไป join ในหัวข้อต่างๆ ลองเข้าไปใน community ของเขา บางทีในเว็บจะมีการประกาศรับสมัคร เราสามารถ ยื่น resume ได้ ลองเข้าไปคุยทำความรู้จัก → Meetup — We are what we do

Meetup — We are what we do

ดร.วินน์ : สำหรับผมเป็นเรื่องสำคัญนะ ผมถามเพื่อน ถามรุ่นน้องที่ทำงาน ว่าเขารู้จักใครที่เก่งด้าน Data Science แบบนี้ก็จะมีการ refer สาย Data ค่อนข้างหายาก มีจำนวนน้อย

คุณเพิร์ท : ถ้าอยากทำงานต่างประเทศ ทำ Linkedin ให้มีข้อมูลชัดเจน ครบถ้วน เรียนจบอะไร ทำงานอะไรมาบ้าง ประสบการณ์ โปรเจคที่เคยทำ

ดร.วินน์ : ผมทำ Linkedin เหมือนกัน ได้งานที่ฝรั่งเศส ผ่าน Linkedin ได้งานที่ แอร์เอเชีย Telenor Group เพราะเขามองเห็นโปรไฟล์บน Linkedin ต้องทำโปรเจคเยอะๆ เขาจะสนใจ แล้ว HR เขาจะเรียกไปสัมภาษณ์รอบแรก ว่าเรารู้ข้อมูลเยอะมั้ย รู้จริงหรือเปล่า ถ้าเรามีสตอรี่จริง เขาจะถามว่าเรา setting ยังไง วัดผลยังไง ถ้าผ่านสัมภาษณ์รอบต่อไป จะถามข้อมูลลึกๆ ถามเกี่ยวกับ technical

คุณเพิร์ท : ใช่ครับ ที่ต่างประเทศ จะค่อนข้างมีการสัมภาษณ์หลายรอบ รอบแรกจะสอบถามข้อมูล รอบต่อๆไป จะถามเกี่ยวกับ technical ลึกๆ

ที่มา: https://www.sani.de/fileadmin/_processed_/c/5/csm_sani-linkedin_77c7721452.jpg

ดร.วินน์ : ช่วยเล่าให้ฟังหน่อยได้มั้ยครับ ว่าสมัครงานไปกี่ที่ แล้วตอนสัมภาษณ์ สัมภาษณ์อะไรไปบ้าง?

คุณเพิร์ท : สมัครไปเกือบ 100 ที่ แต่จำไม่ได้ว่าสมัครที่ไหนบ้าง ยื่นใบสมัครไปหลายที่มาก รอบแรก HR โทรมาถามว่าทำอะไรอยู่ Visa เป็นยังไง Visa จะบอกว่าเราทำงานได้กี่เดือน

รอบที่สอง เขาจะให้ไปที่บริษัท HR จะถาม ให้เราตอบคำถาม ว่าเราสามารถอธิบาย concept ที่ยากได้มั้ย เช่น Machine learning เราสามารถอธิบายให้คนทั่วไปเข้าใจได้มั้ย ว่ามันคืออะไร

รอบที่สาม ถามเรื่อง technical เขาจะเอาคนที่เชี่ยวชาญ ด้านนี้มาสัมภาษณ์ เช่น ถามว่า data warehouse, database ต่างกันยังไง เคยทำโปรเจคอะไรมาบ้าง สามารถทำเป็น flowchart ให้ดูเลยได้มั้ย แล้วก็จะมีการ test programming เล็กๆน้อยๆ มีโจทย์มาให้ ให้เราเขียนภาษาอะไรก็ได้ แล้วเขาจะดูไปพร้อมกับเรา เราจะต้องเตรียมตัวดีๆ

รอบสุดท้าย partner ของบริษัท เป็นเจ้าของสาขานั้นเลย เขาจะมาคุยว่าเรา culture fit ดีมั้ย คุยแล้วเข้าใจง่าย คุยเข้ากันง่าย คุยแล้วมีปัญหามั้ย ทำงานด้วยกันได้มัั้ยรอบนี้เป็นรอบสุดท้ายถึงจะได้ offer มา การสัมภาษณ์ใช้เวลาค่อนข้างหลายวัน

ที่มา: https://thumbs.dreamstime.com/

ดร.วินน์ : คุณเพิร์ทได้สัมภาษณ์งานหลายที่ไหมครับ?

คุณเพิร์ท : ผมได้ไปสัมภาษณ์งานหลายที่เลยครับ แต่ pattern การถามคำถามแต่ละบริษัทเหมือนกันหมด

ดร.วินน์ : ที่จริง เวลาที่เราไปสัมภาษณ์ แต่ไม่ได้งาน ก็ไม่เป็นไรนะครับ เพราะเราจะได้ประสบการณ์ ได้แนวทางในการตอบคำถาม

คุณเพิร์ท : ครับ ผมแนะนำให้ยื่นใบสมัครไปก่อน ผ่านหรือไม่ผ่านก็ไม่ได้เสียหายอะไร แต่ต้องระวัง ถ้าสมัครไม่ผ่านรอบนึง จะมี cool down predeate ต้องรอสักพัก เราถึงจะสมัครได้ใหม่

ดร.วินน์ : ผมสมัครไป 100 กว่าบริษัท มี CV ตอนที่สมัคร ตอนนั้นผมคิดว่าขอให้ได้งาน งานอะไรก็ได้ ผมจบ telecomputer แล้วไปทำโปรเจคเกี่ยวกับ computer vision แล้วมีประสบการทำงานเป็น tester ตอนนั้นคิดว่าขอให้ได้งาน ผมมี CV 3 แบบ computer vision, tester, telecomputer ผมรวบรวมอีเมล แล้วจัดประเภท ว่าบริษัทนี้คืองานตำแหน่งไหน

ที่มา: https://engineering.stanford.edu/

คุณเพิร์ท : ตอนสมัครต้องเขียนคำว่า letter ด้วยมั้ยครับ?

ดร.วินน์ : มีนะครับ บางที่ต้องเขียนด้วย ผมแค่เปลี่ยนชื่อ

คุณเพิร์ท : ของที่ทำงานผมก็ต้องเขียนเหมือนกัน ค่อนข้างยุ่งยากเลยครับ ต้องเตรียมเอกสารเยอะมาก

ดร.วินน์ : แล้วการที่จะไปทำงานที่ออสเตรเลีย ควรที่จะต้องไปเรียนต่อก่อนมั้ยครับ?

คุณเพิร์ท : จริงๆ มาเรียนก่อนดีกว่าครับ เราจะได้เรียนรู้ culture ว่า เหมาะกับเรามั้ย เราสามารถปรับตัวได้หรือเปล่า และมีโอกาสได้รู้จักกับเพื่อนๆ ได้ทำกิจกรรมเอาไว้เป็นผลงานใส่ใน resume

ดร.วินน์ : Melbourne เป็นเมืองที่น่าอยู่มากเลยนะครับ น้องชายผมก็ทำงานอยู่ที่ Melbourne

คุณเพิร์ท : ใช่ครับ เป็นเมืองที่ค่อนข้างสบายมากเลย เมืองไม่ได้ใหญ่มาก แต่ของอำนวยความสะดวกมีครบครัน สามารถหาซื้อได้ง่ายเลย

ที่มา: https://img.pptvhd36.com/thumbor/2020/07/16/news-760a3e50f7.webp

ดร.วินน์ : ที่ออสเตรเลียคนไทยเยอะไหมครับ

คุณเพิร์ท : ค่อนข้างเยอะพอสมควรเลยครับ แต่ส่วนใหญ่จะมาทำงานเก็บเงินแล้วกลับไปที่ไทยมากกว่า จะไม่ค่อยได้อยู่ยาวกันเท่าไหร่ครับ

ดร.วินน์ : ตอนเด็กๆ ผมเคยอยู่ที่ Sydney ครับ ตอนอายุ 1–6 ปี พ่อกับแม่ไปเรียนต่อ ผมเลยโตที่นั้น ส่วนน้องชายผมเกิดที่ Sydney จากนั้นก็กลับมาไทย พอน้องเรียนจบมัธยมต้น ก็เลยกลับไปเรียนที่ Sydney แล้วได้งานที่ Melbourne น้องเป็น citizen ก็เลยได้เรียนฟรี แต่ผมเกิดที่ไทย เลยไม่ได้ citizen

คุณเพิร์ท : ที่จริงน่าจะขอได้นะครับ ถ้าเราอาศัยอยู่ที่ออสเตรเลียนาน 5 ปีขึ้นไป เราสามารถยื่นขอเป็น citizen ได้ครับ

ดร.วินน์ : ที่จริงผมเคยคิดอยากให้น้องช่วยยื่นเรื่องให้เป็น citizen แต่มีโอกาสได้ไปเรียนต่อที่ ยุโรป เลยไม่ได้เดินเรื่อง

คุณเพิร์ท : การทำงานที่ออสเตรเลีย มี culture เป็นยังไงบ้าง

แบบที่ 1 *Multi-Cutural*

• คนจากหลากหลายวัฒนธรรม (มีคน Asia ค่อนข้างเยอะ คนไทยก็มีบ้างครับ คนไทยส่วนใหญ่อยู่ Sydney)
• เปิดโอกาสให้ทุกคน ให้ใครก็ได้สามารถเสนอไอดีย ทุกคนมีสิทธิเท่าเทียมกัน

ที่มา: https://onlinegrad.baylor.edu/

ดร.วินน์ : สิ่งที่ผมชอบคือ การที่ไปออสเตรเลีย แล้วเราไม่รู้สึกว่าตัวเองเป็นคนแปลกหน้า ตอนไปที่เยอรมัน คนเอเชียค่อนข้างน้อย รู้สึกเหมือนตัวเองเป็นคนแปลกหน้า

แต่ที่ออสเตรเลีย Melbourne กับ Sydney คนไทยจะเยอะมาก

คุณเพิร์ท : ใช่ครับ ที่ Sydney มีร้านอาหารไทยค่อนข้างเยอะ มี Thai Town เป็นแหล่งของคนไทยมารวมตัวกัน

ดร.วินน์ : ขอถามหน่อยสิครับ ค่าครองชีพที่ออสเตรเลียเป็นยังไงบ้างครับ?

คุณเพิร์ท : ค่อนข้างสูงครับ เพราะเป็นเมืองที่มีคนอาศัยอยู่มาก รายได้ค่อนข้างสูงจากเฉลี่ยถ้าเทียบกับทั่วโลก ออสเตรเลียเป็นประเทศที่ทำงานน้อยแต่รายได้มากที่สุด

ดร.วินน์ : ถ้าไปเรียน ค่าเทอมก็ราคาสูง ค่าครองชีพก็ราคาสูง ถ้าเราไปทำงานร้านอาหาร ทำงานล้างจาน รายได้จะเพียงพอไหมครับ?

คุณเพิร์ท : ก็พอนะครับ ถ้าขยันทำงาน แต่ที่ออสเตรเลียจะมี dark side อยู่ มี 2 ด้าน ถ้าทำงานร้านอาหารของไทย เขาจะให้เงินต่ำกว่าตามกฎหมาย แต่ถ้า ทำงานร้านของที่ออสเตรเลียเลย เขาจะจ่ายตามกฎ หักตามภาษี มีรายได้เพียงพอครับ อยู่ได้ครับ ถ้าทำงานร้านไทย อาจจะได้น้อย แต่ก็มีรายได้เพียงพอที่จริงมันมีหลายวิธีที่จะลดค่าใช้จ่าย เช่นแชร์บ้านกันอยู่

แบบที่ 2 *Coffee Culture*

• นัดดื่มกาแฟกับใครก็ได้ หัวหน้า-ลูกน้อง-CEO
• ความสัมพันธ์ทางธุรกิจแบบสบายๆ

ที่มา: https://videohive.img.customer.envatousercontent.com/

นัดประชุม นัดไปดื่มกาแฟ ดื่มเบียร์ ประชุมงานแบบสบายๆ แต่ก็จริงจังกับงาน ทำกันแบบเต็มที่ คนที่ออสเตรเลียถ้ามีประชุมตอนเช้า เขาจะนัดกันไปดื่มกาแฟ นัดใครก็ได้ ไม่มีเรื่องระดับขั้นมากเกินไป ทำธุรกิจแบบสบายๆ ดีลกันสบายๆ ไม่เครียด ไม่ต้องเข้าห้องประชุมเสมอไป

แบบที่ 3 *Family-First*

• ใช้เวลากับครอบครัวมากกว่า hang out หลังเลิกงาน

ที่มา: https://deadline.com/wp-content/uploads/2020/02/look010_comp_4k_tw06.jpg?w=681&h=383&crop=1

คุณเพิร์ท : ผมมีคำถามครับ ตอนที่ ดร.วินนท์ ไปทำงานที่เยอรมัน Culture ที่ทำงานเป็นยังไงบ้างครับ?

ดร.วินน์ : สำหรับผม ที่เยอรมัน เหมือนหุ่นยนต์ เข้างาน 8 โมงตรง ทุกคนจะอยู่หน้าคอมพิวเตอร์กันหมดแล้ว พอ10โมงตรง coffee break ทุกคนจะลุกขึ้นไปดื่มกาแฟกันทุกคนเลย พอพักครบ 10 นาที ก็กลับไปทำงานกัน ส่วนที่ฝรั่งเศส ก็สบายๆ ผมรู้สึกว่า ชีวิตไม่ใช่งานอย่างเดียว บางประเทศที่ดูเหมือนทำงานสบายๆ แต่งานได้ประสิทธิภาพกัน

คุณเพิร์ท : คนที่ออสเตรเลีย เลิกงานแล้วกลับบ้านเลย ค่อนข้างมี independent ต่างคนต่างอยู่สูง ที่ออสเตรเลียส่วนใหญ่ ไม่ค่อยมีการ hang out

ดร.วินน์ : ที่บริษัทมีพนักงานกี่คนครับ?

คุณเพิร์ท : ประมาณ 500 คนครับ ตอนที่พี่เข้ามาแรกๆ มี 100–200 คน บริษัทเขาค่อยๆขยายไปเรื่อยๆ

ดร.วินน์ : บริษัททำด้าน Start Up หรอครับ?

คุณเพิร์ท : เป็นบริษัทด้าน Consult ครับ ให้คำปรึกษาเกี่ยวกับเรื่องของ Data บริษัทมีหลายสาขาอยู่แล้ว ตอนนี้มีสาขาในออสเตรเลีย อยู่ 6 สาขา แล้วตั้งแต่ที่มีบริษัท Take Over ก็ใหญ่ขึ้นมาเรื่อยๆ เน้นเรื่อง Data โดยเฉพาะ มีเรื่อง Web Digital บ้างเล็กน้อย

ดร.วินน์ : รูปแบบการรับงานเป็นแบบ Project หรือ ส่งเด็กไปเหมือนเป็น Software?

คุณเพิร์ท : จะส่งคนเข้าไปที่บริษัทของลูกค้าครับ มีอยู่หลายแบบ บางครั้งก็ส่งทีมเข้าไป บางครั้งก็ส่งไปเป็นคนๆ แล้วเข้าไปในทีมของลูกค้า

ดร.วินน์ : ตอนนี้ผมกำลังทำ Data Science Hub อยู่ครับ คุณเพิร์ทคิดว่ายังไงบ้างครับ?

→ https://datasciencehub.botnoi.ai/ (ลิ้งเว็บไซต์ สนใจเข้าไปชมกันได้เลยนะคะ)

Data Science Hub (botnoi.ai)

คุณเพิร์ท : ผมคิดว่าดีมากเลยนะครับ จะช่วยให้สายงานนี้ในไทยหางานได้มากยิ่งขึ้น

ดร.วินน์ : ผมกำลังคิดว่าจะขยายยังไง ให้นักเรียน DSE มาอยู่ใน Hub ตรงนี้ มีโปรไฟล์ มีคนติดต่องานเข้ามา สามารถที่จะไปรับงานได้ ช่วยแนะนำหน่อยครับ?

คุณเพิร์ท : ที่จริงต้องขึ้นอยู่กับทั้งสองฝ่ายครับ นักเรียนก็ต้องทำโปรไฟล์ให้ดูดีด้วย ฝ่ายเจ้าของ Hub ก็ต้องพยายาม list out หางานต่างๆ แล้วนักเรียนก็ช่วยทำให้โปรไฟล์เราดูดีขึ้นเรื่อยๆ

ดร.วินน์ ถามเรื่องนี้มาพอดีเลย ผมกำลังจะอธิบายหน้าที่ของ Data Consult

กลับมาที่หัวข้อหลัก ข้อที่ 2 ของเรากันครับ

2. งานด้าน Data Consult ทำอะไรบ้าง?
แบ่งออกเป็น 2 ฝ่ายนะครับ

Advisory แนะนำว่าทำอะไรบ้าง

Big 4 เช่น KPMG, EY, Deloitte, PwC เน้นมากๆ

• แนะนำลูกค้าว่าทำอย่างไรให้ได้ตามเป้าหมายที่ต้องการ
• เช่น แนะนำการเก็บข้อมูล Big data ที่เหมาะสมกับธุรกิจของลูกค้า

ที่มา: http://www.arzanwealth.com/OtherPagesSlider/advisory-business-banner.jpg

Delivery งานตรวนี้จะเป็นฝ่ายของจูเนียร์ รับงานจากฝ่ายข้างบน

• พัฒนาระบบให้ลูกค้า
• งานขึ้นอยู่กับโปรเจคที่ทำ เช่น Machine learning (ไม่ค่อยเจอ) งานส่วนใหญ่จะเป็น Data Engineer

ที่มา: https://www.nandiniconsultancy.com/

3. งานด้าน Data Engineer ทำอะไรบ้าง?

Data Analyst — วิเคราะห์ข้อมูล ได้ข้อมูลมาวิเคราะห์ว่ามีอะไรซ่อนอยู่บ้าง

ที่มา: https://blog.datath.com/wp-content/uploads/2020/09/data-analyst-work.png

Data Scientist — สร้างโมเดลจากข้อมูล deep learning, reinforcement learning

ที่มา: https://blog.datath.com/wp-content/uploads/2020/09/data-scientist-work.png

Data Lake/Data Warehouse/Data Platform — ที่เก็บข้อมูล

ที่มา: https://luminousmen.com/media/data-lake-vs-data-warehouse.JPG

Data Engineer — สร้าง+ดูแลที่เก็บข้อมูล ต้นน้ำที่จะดึงข้อมูลเข้ามาแล้วทำให้มันสะอาดเรียบร้อยแล้วค่อยเอาไปเก็บ

ที่มา: https://files.realpython.com/

ดร.วินน์ : ช่วยบอกความแตกต่างระหว่าง BI กับ DA หน่อยได้มั้ยครับ?

คุณเพิร์ท : ส่วนตัวผมคิดว่าค่อนข้างที่จะใกล้เคียงกันในเรื่องของงาน BI จะดึงข้อมูลทางธุรกิจ DA กับ BI งานค่อนข้างที่จะซ้อนทับกัน วิเคราะห์ข้อมูล insight ที่มีข้อมูลที่มีประโยชน์ต่อองค์กรณ์

ดร.วินน์ : แต่ BI ก็จะ run cisco ส่วนใหญ่ ดึงข้อมูลแล้วทำเป็น dashboard

งานพวกนี้มันต่างกันยังไงครับ?

*เสริม DA ย่อมากจาก Data Analysis ส่วน BI ย่อมาจาก Business Intelligence*

คุณเพิร์ท : ยกตัวอย่างนะครับ ตัวอย่าง Data Pipeline ที่ Data Engineer สร้าง
Website/App → Database → Data Lake → Data Warehouse → Data Analysis/Machine Learning
API → Data Lake → Data Warehouse → Data Analysis/Machine Learning

*ตัวหนังสือหนา คือ หน้าที่ของ Data Engineer *

Data Engineer จะดึงข้อมูลจาก Database แล้วนำมาจัดเก็บไว้ที่ Data Lake และ Data Warehouse จากนั้นคนทางปลายน้ำ จะดึงข้อมูลเหล่านี้ไปวิเคราะห์ต่อ

4. ทักษะที่จำเป็นสำหรับ “Data Engineer”

• Software Engineering
  - เขียนโปรแกรมได้
  - เข้าใจ Software Development LifeCycle(SDLC) step ในการทำ software
• Data Storage
  - เก็บไว้ที่ไหนดี
  - (Structured Data) เช่น Excel, Google Sheets → Database กับ Data Warehouse
  - Unstructured Data เช่น File, Media, Video, Audio → Data Lake ต้องมีการจัดเรียงดีๆ Floder นี้เก็บอะไร ต้องมีการจัดการดีๆ ไม่งั้นจะพังมาก
• Data Pipeline
  - เครื่องมือในการดึงข้อมูลจากจุดนึง มาเก็บไว้ในอีกจุดนึง เช่น ดึงข้อมูลจาก Google Analytics มาเก็บไว้ Data Warehouse ตัวอย่างเครื่องมือ Data Pipeline เช่น Airflow ช่วยควบคุมเราได้

5. แหล่งเรียนรู้ Data Engineer เพิ่มเติม
DataTh Blog → https://blog.datath.com
บทความด้าน Data Engineer :
- วิธีเปลี่ยนอาชีพเป็นสายงาน Data Engineer
- Data Pipeline คืออะไร
- สัมภาษณ์ Data Engineer
- เล่าประสบการณ์งานที่ออสเตรเลีย

Data Science & Data Engineer เข้าใจง่าย ๆ กับแอดเพิร์ธ DataTH

Video จาก Conference ราคาแพง บน Youtube (ดูฟรี)

• Google Cloud Next — งานประจำปี ของ GCP

Google Cloud Next ’20: OnAir is on now — YouTube

• AWS re:Invent — งานประจำปี ของ AWS

AWS re:Invent 2020 — Machine Learning Keynote with Swami Sivasubramanian — YouTube

• QCon — งานประจำปี ของ InfoQ

The Cloud Challenge (infoq.com)

• Data Council — Meetup ด้าน Data Engineering

Data Council | Data Science, Data AI, Data ML & Data Engineering Events

จบกันไปแล้วนะคะสำหรับบทสัมภาษณ์คุณเพิร์ท เล่าประสบการณ์เปิดโลกของ Data Science จากคอร์สเรียน Data Science Essential#3 ของ BOTNOI ครั้งนี้ได้ทั้งความรู้ในเรื่องของ Data Engineer ว่าคืออะไร ทำงานเกี่ยวกับอะไร ทักษะที่จำเป็นสำหรับสายอาชีพนี้ และประสบการณ์ในการทำงานของคุณเพิร์ทที่ออสเตรเลีย หวังว่าทุกท่านจะได้รับความรู้ไม่มากก็น้อยเกี่ยวกับ สายงานด้าน Data Science และ ความรู้ใหม่เกี่ยวกับ Data Engineer หากใครสนใจคอร์สเรียน Data Science Essential รุ่นที่ 4 !! ของ BOTNOI join group ได้ที่ -> FB Page Botnoi AI & Data science classroom หรือจิ้มที่ลิงค์เลย → https://www.facebook.com/groups/2421985951170978/

https://www.facebook.com/groups/2421985951170978/