Apache Sqoop : Transfer data RDBMS ke HDFS

jadi kita sudah punya apps ( microservice ) dan punya big data

trus data transfer tadi pake ETL/ELT

berarti sekarang kita tinggal transfer data dari RDBMS ke HDFS

tools data transfer yang lazim digunakan untuk ini adalah Apache Sqoop

dengan apache sqoop kita bisa transfer dari RDBMS ke HDFS dan jga sebaliknya

Apache Sqoop ini sebenarnya merupakan MapReduce program yang akan build koneksi JDBC ( koneksi java database ) ke masing2 partition.

Jadi klo ada Apache Sqoop yang runing ini bisa kita cek juga running sebagai MapReduce yang di run sama YARN application

gitu cara ngetrace nya

Hurray.. now our data is safe and steady di HDFS dengan format parquet dan dengan compression snappy

thanks to Apache Sqoop