REVIEW R2DE

ขอบอกก่อนผมไม่ได้รู้จักเรื่อง Data มากเท่าไหร่ โดย เฉพาะ Data Engineer ตอนแรก นึกว่ามีแต่ทำงานRoutine จัดเก็บData แล้วก็ส่งงานต่อ พอได้เรียนคอร์สนี้แล้วทำให้รู้ มันมีอะไรมากกว่านั้นเยอะ มีหลายขั้นตอนมาก และต้องเรียนรู้อยู่ตลอดเวลาไม่ต่างกับสายData ด้านต่างๆ หรือสายงานด้านอื่นๆ ซึ่งเราจะได้เรียน เป็นทั้งบทเรียน และลักษณะ Workshop ในคอร์สนี้ แถมมีSpeacial Live ด้านDataต่างๆ ที่เชิญมาบรรยาย ได้ความรู้อย่างอัดแน่นเพิ่มเข้าไปอีก เรียนว่าได้ลงคอร์สนี้คุ้มแน่นอน คุณจะได้เรียนรู้ว่า การเป็น Data engineer ต้องทำอย่างไรบ้าง มีขั้นตอนอะไร

Chapter 0

สำหรับคนที่ไม่เคยรู้จัก Coding เลย ก็สามารถฝึกได้โดยมีการสอนสำหรับคนไม่เคยCodingด้วย มีเว็บฝึกสำหรับคนที่เพิ่งเริ่มต้น แม้เราจะเขียนโค้ดผิด และไม่เข้าใจว่าทำไมมันผิด เราก็สามารถปรึกษาผู้สอนได้ตลอด ซึ่งจะเป็นแนวทางให้เราเขียนโค้ดให้ถูกต้องมากขึ้น การเขียน Python เป็นพื้นฐานที่ภาษาที่ควรรู้ไว้ สำหรับการใช้ data

Chapter 1

ในบทนี้เราต้องรู้แล้ว ว่าจะทำยังไงให้ดึงข้อมูลจาก Big Data ได้ ซึ่งสิ่งที่จำเป็นนี้คือการใช้ SQL นั้นเอง อีกสิ่งที่ต้องรู้การทำ ETL และELT ซึ่ง E คือ Extract , T คือ Transfer, L คือ Load โดยที่ ETL นิยมทำ ที่สถานที่ปลายทางไม่จำเป็นต้องประมวลผลข้อมูลเยอะ ในขณะที่ ELT จะนิยมทำที่ปลายทางต้องประมวลผลข้อมูลเยอะ เป็นวิธีการย้ายข้อมูลสมัยใหม่ เราจะต้องชั่งน้ำหนักระหว่างการทำ 2 วิธีการนี้ ว่ามีข้้อดีและข้อเสียอย่างไรในการเลือก ประกอบด้วย 4 อย่างได้แก่ Accuracy, Speed, Scalability และSecurity

Chapter 2

เราจะมา Cleansing Data กัน เพราะก่อนที่เราจะนำข้อมูลมาใช้นั้น จะต้องทำความสะอาดกันสักหน่อย เนื่องจากมาจากแหล่งที่ต่างกัน ข้อมูลก็จะสะเปะ สะปะ การที่เราจะรวมมันเข้าด้วยกันได้ ต้องจัด Format ให้เป็นมาตราฐานเดียวกันเสียก่อน เพื่อให้ง่ายต่อการนำไปใช้ เปรียบเสมือนเป็นการ Preparation ในการก่อนที่เราจะนำอาหารไปปรุง 55+ เราต้องจัดมันให้เป็นระเบียบ โดยเฉพาะการเตรียมของหวาน ต้องตวงแล้วตวงอีก ชั่งน้ำหนัก วัดสัดส่วน หลังจากที่ก็จะของที่เราหวังไว้ (เป็นการเปรียบเปรย) พอเสร็จขั้นตอน DATA cleansing ก็มาถึงขั้นตอนการทำ EDA (Exploratory Data Analysis) โดยเราจะมาดูลักษณะของข้อมูลว่าเป็นอย่างไร แล้วเราจะจัดการยังไงต่อ มีAnomalies อะไรหรือไม่ ที่เราต้องปรับปรุงข้อมูลอีก

Chapter 3 & Chapter 4 & Chapter 5

คราวนี้เราจะนำข้อมูลขึ้นบน Cloud กัน โดยหลักสูตรนี้จะใช้Google Cloud มีการใช้Apache air-flow และการทำ Cloud Composer ตลอดจนการนำขึ้นบน Google Big Query ที่เป็น Data Warehouse (severless)

Chapter 6

ถึงขั้นตอนสุดท้ายแล้ว ข้อมูลพร้อม ทุกอย่างพร้อม ถึงคราว Visualization โดยเราจะใช้ Google Data Studio กัน

แค่นี้เราก็จะมีข้อมูลสวยๆ ไว้ดูกัน ไม่ว่าจะเป็นการสร้าง Dashboard หรือทำกราฟแบบต่างๆ Google Data Studio ก็จัดการได้

นี่คือขั้นตอนที่เราเรียนมาแล้วทั้งหมด: ส่วนรูปขวาเอามาประกอบเฉยๆ 555+ จะได้รู้ว่าตอนนี้กำลังอินกับเรื่องอะไรขณะเขียน

ยังไม่จบเพียงเท่านี้ ………………………………………………………………

เพราะคอร์สนี้ยังไม่ให้คุณจบ…………………………………………………….

เราจะมาเรียนรู้เส้นการ การพัฒนาตัวเอง ในการเดินทางสู่ Data Engineer เพราะนี่เป็นแค่เพียงจุดเริ่มต้น ของดาว DE(ไปเจอในคอร์สเดี๋ยวก็รู้) ในChapter ที่7 มีการแนะแนวการหาความรู้มาเสริม หรือเรียนรู้เพิ่มเติม เพื่อให้เราเก่งยิ่งขึ้น

แต่………………………………………………………………………………..

เรายังอยู่กับคุณต่อ มีSpecial class ที่บุคคลแนวหน้าของวงการ จะแนะนำแนวทางการเดินต่อไปในเส้นทางของ Data Engineer ติดอาวุธให้คุณแข็งแกร่งมากขึ้น

คอร์สนี้ทำให้เรารู้จักการใช้Data มากขึ้น นำไปใช้หรือต่อยอดได้อีกเยอะ มาเถอะครับ มารู้จักการใช้ Data ให้มากขึ้นกัน

#R2DE2 #R2DE2.0