Homepage
Open in app
Sign in
Get started
Data Engineering
Data Analytics
Researcher
Software Engineering
Data Engineering
Data Engineer ที่ TILDI ทำอะไรบ้าง เราจะเล่าให้ฟัง
Data Engineer ที่ TILDI ทำอะไรบ้าง เราจะเล่าให้ฟัง
หลายคนเมื่อได้ยินคำว่า Data Engineer หรือ Data Engineering ก็จะมักถึงคำว่า ETL (Extract, Transform, Load), คนทำ pipeline, คน clean ข้อมูล
Burasakorn Sabyeying
Oct 7, 2022
Hudi Syncing Feature - Query Hudi Data Lakes ผ่าน BigQuery
Hudi Syncing Feature - Query Hudi Data Lakes ผ่าน BigQuery
Hudi Syncing เป็นอีก Feature หนึ่งที่น่าสนใจของการสร้าง Data Lakes ด้วย Apache Hudi เพราะจะทำให้เราสามารถ Query data จาก Hudi table ผ่าน…
Sojirath Thunprateep
Sep 16, 2022
Hudi Data Lakes คืออะไร ? ใช้ยังไง ?
Hudi Data Lakes คืออะไร ? ใช้ยังไง ?
หลายๆคนที่เคยจัดการ Data Lakes คงคุ้นเลยกับการเก็บ Data ด้วย Parquet file และคงเจอความซับซ้อน เมื่อ Data มีการ Update เพราะการจัดเก็บ…
Sojirath Thunprateep
Sep 15, 2022
Building Data Lakehouse: Apache Hudi คืออะไร ทำความเข้าใจ Hudi กัน
Building Data Lakehouse: Apache Hudi คืออะไร ทำความเข้าใจ Hudi กัน
เนื่องจากที่เราเคยเขียนเกี่ยวกับเรื่อง เข้าใจ Data Warehouse, Data Lake และ Data Lakehouse ฉบับมือใหม่ ที่พูดถึงเบสิคความเข้าใจว่า Data…
Burasakorn Sabyeying
Aug 28, 2022
การทำ Data Encryptionด้วย Cloud KMS + Tink (และการใช้งานร่วมกับ BigQuery Encryption Functions)
การทำ Data Encryptionด้วย Cloud KMS + Tink (และการใช้งานร่วมกับ BigQuery Encryption Functions)
การทำ Data encryption หรือ การเข้ารหัสข้อมูล เป็นหนึ่งในวิธีการรักษาความปลอดภัยของข้อมูล…
Wongsathorn Phaopongjan
Aug 16, 2022
Data Observability - Metadata Collection
Data Observability - Metadata Collection
Data Observability enables the visibility of the organization data’s health, we can make sure that the data in our system is trustworthy.
Sojirath Thunprateep
Nov 27, 2022
ทำงาน Data Engineer ที่ TILDI ในมุมมองเด็กจบใหม่+ย้ายสาย
ทำงาน Data Engineer ที่ TILDI ในมุมมองเด็กจบใหม่+ย้ายสาย
“งาน Data Engineer รับแต่คนมีประสบการณ์?” “Data Engineer ย้ายสายงานทำไม่ได้?”
Watcharee Skr
Jan 10, 2023
อ่านข้อมูลจาก databases ด้วย PySpark JDBC ทำยังไง?
อ่านข้อมูลจาก databases ด้วย PySpark JDBC ทำยังไง?
ในหลายๆโอกาสเราอยากจะใช้งานข้อมูลจาก databases ต่างๆ แต่ข้อมูลที่เราจะใช้มันเยอะมาก แล้วอาจจะต้องเอามาประมวลผลอีกหลายต่อ…
Nitit Taepant
Jan 10, 2023
Upgrading DataHub on K8s
Upgrading DataHub on K8s
What is DataHub and Why we need to upgrade
Watcharee Skr
Feb 14, 2023
ลอง build Docker Images with GitLab CI/CD ไปยัง GCR
ลอง build Docker Images with GitLab CI/CD ไปยัง GCR
บทความนี้เราจะมาแชร์วิธีเขียนไฟล์ .gitlab-ci.yml เบื้องต้นสำหรับการ build image ด้วย GitLab CI/CD ไปยัง google container repository (GCR)
Nawaphon Thiandusit
Mar 6, 2023
Let’s secure our Kafka component in the Kafka cluster with TLS!
Let’s secure our Kafka component in the Kafka cluster with TLS!
How to secure the Kafka component
Natthanan Bhukan
Mar 20, 2023
Data Downtime Monitoring
Data Downtime Monitoring
สำหรับงาน Data Engineer แล้วการทำ Data Pipeline ไม่ได้จบแค่การสร้าง pipeline ใน airflow แล้วจบ…
Watcharee Skr
Jun 12, 2023
Using PySpark to read data from BigQuery
Using PySpark to read data from BigQuery
การทำ Data Pipeline เราต้องยุ่งเกี่ยวกับข้อมูลหลายรูปแบบ และพยายามปรับเปลี่ยนข้อมูลให้อยู่ในรูปแบบที่เหมาะสมกับการใช้งาน…
Nitit Taepant
May 25, 2023
สรุป Data Mesh สำหรับมือใหม่
สรุป Data Mesh สำหรับมือใหม่
เชื่อว่าในปี 2023 คงมีคนไม่น้อยที่จะเคยได้ยิน หรือคุ้นเคยกับคำศัพท์ “Big Data” และ “Data-driven organization”…
Punsiri Boonyakiat
Sep 4, 2023
Analytics Engineer คือใคร ทำหน้าที่อะไรบ้าง
Analytics Engineer คือใคร ทำหน้าที่อะไรบ้าง
หากพูดถึงตำแหน่งงานในสายงานด้าน data แล้ว ถ้าให้ยกตัวอย่างตำแหน่งงานในสายนี้มา 3 ตัวอย่าง คำตอบส่วนใหญ่ที่คนทั่วไปหรือแม้แต่คนในวงการ data…
Tanakrit Kongneing
Nov 16, 2023
Journey of TILDI Data Engineer in 2023 — การพัฒนา Data Platform อย่างต่อเนื่อง
Journey of TILDI Data Engineer in 2023 — การพัฒนา Data Platform อย่างต่อเนื่อง
ในปีที่แล้วเราได้อธิบายว่า Data Engineer ในทีม TILDI ทำอะไรบ้าง ทั้งด้าน tech stack, เครื่องมือที่เราใช้, security…
Burasakorn Sabyeying
Nov 18, 2023
PySpark (Pandas) UDF?
PySpark (Pandas) UDF?
บางครั้งเราก็อยาก process อะไรบางอย่างบน PySpark เช่นการ encrypt ข้อมูล หรือแปลงข้อมูลแบบแปลก ๆ ด้วย PySpark เราก็เลยไปลองค้นใน document…
Watcharee Skr
Nov 28, 2023
Airflow Unit Testing — เพิ่มประสิทธิภาพของ Data pipeline และเสริมเกราะ Data Quality
Airflow Unit Testing — เพิ่มประสิทธิภาพของ Data pipeline และเสริมเกราะ Data Quality
ในงาน Data Engineer เรามักพูดกันว่า “ข้อมูล” คือขุมทรัพย์ขององค์กร และเราพยายามกันอย่างมากในการสร้าง culture สร้าง data platform ที่ดี…
Punsiri Boonyakiat
Dec 11, 2023
How to apply Private Service Connect (PSC) with Apache Kafka
How to apply Private Service Connect (PSC) with Apache Kafka
ในฐานะผู้ให้บริการข้อมูล การปกป้องข้อมูลให้มีความปลอดภัยก็เป็นส่วนหนึ่งในหน้าที่ที่ต้องทำ…
Tanakrit Kongneing
Jan 3
[Apache Airflow Fundamentals] ทำความเข้าใจ Scheduler & Trigger
[Apache Airflow Fundamentals] ทำความเข้าใจ Scheduler & Trigger
บทความนี้จะมาเล่าเรื่องพื้นฐานที่ Data Engineer หลายคนที่ทำงานอยู่บน open-source ที่ใช้ในนการจัดการ data pipeline อย่าง Apache Airflow…
Punsiri Boonyakiat
Jan 25
[Apache Airflow Fundamentals] สร้าง data pipeline ที่ยืดหยุ่นขึ้นด้วย Skip + Branching +…
[Apache Airflow Fundamentals] สร้าง data pipeline ที่ยืดหยุ่นขึ้นด้วย Skip + Branching +…
ต่อจากบทความที่แล้ว เราเล่าพื้นฐานการทำงานของ Scheduler + และการ Trigger บน Airflow เชื่อว่าหลายๆคนน่าจะพอสามารถเอาหลักการการใช้…
Punsiri Boonyakiat
Jan 28
About CJ Express Tech (TILDI)
Latest Stories
Archive
About Medium
Terms
Privacy
Teams