Apache Sqoop : Transfer data RDBMS ke HDFS
jadi kita sudah punya apps ( microservice ) dan punya big data
trus data transfer tadi pake ETL/ELT
berarti sekarang kita tinggal transfer data dari RDBMS ke HDFS
tools data transfer yang lazim digunakan untuk ini adalah Apache Sqoop
dengan apache sqoop kita bisa transfer dari RDBMS ke HDFS dan jga sebaliknya
Apache Sqoop ini sebenarnya merupakan MapReduce program yang akan build koneksi JDBC ( koneksi java database ) ke masing2 partition.
Jadi klo ada Apache Sqoop yang runing ini bisa kita cek juga running sebagai MapReduce yang di run sama YARN application
gitu cara ngetrace nya
Hurray.. now our data is safe and steady di HDFS dengan format parquet dan dengan compression snappy
thanks to Apache Sqoop