Google Cloud Platform’a Apache Nifi Kurulumu
Herkese merhaba ben yusuf gözübüyük bu yazımda sizlere apache nifi’yi Google Cloud Platform(GCP) kurmayı anlatacağım
ETL Nedir ?
Apache Nifi Nedir ?
ETL Süreçlerini kontrol etmeye yarayan bir Data Pipeline aracıdır
Nifi’ye başlamadan önce ortamımızı hazırlamalıyız ben Google cloud Platform(GCP) üzerinden yapacağız ve nifi’ye ssh ile bağlanıp kurlum işlemlerinde sadece konsol üzerinden gidileceği için temel linux komutlarına aşina olmanız sizin için faydalı olacaktır
Önce GCP hesabınız olması lazım daha sonra aşağıdaki adımları yaparak bir sanal makine oluşturuyoruz
GCP hesabımıza girerek Sol üsteki bara tıklayıp Compute Engine daha sonra ise Cerate instance tıklıyoruz
Ardından Sanal bilgisayarımızın ismini veriyoruz ve aşağıya inip Boot disk kısmında CHANGE ye tıklıyoruz
Aşağıdaki gibi ayarlıyoruz ve SELECT tıklıyoruz
Burası bizim sanal bilgisayarımızın özelliklerini belirlediğimiz kısım ihtiyaçlara göre ayarlayabilirsiniz
Firewall’ıda aşağıdaki gibi yapıp Create butonuna basalım ve Sanal Bilgisayarımız oluşsun
Ve biraz bekledikten sonra Bilgisayarımız hazır SSH’a tıklayıp nifi nin kurulumunu yapma aşamasına geçelim
Nifi’yi indirmek ve kurulum ayarları
Gelen ssh ekranına
wget https://archive.apache.org/dist/nifi/1.13.2/nifi-1.13.2-bin.tar.gz
yapıştıralım ve enter’a tıklayalım ve nifi dosyasını indirmeye başlayalım, dosya 1.5Gb ama merak etmeyin google ın gücünü kullandığımız için hızı indirecektir
İndirilen dosyayı aşağıdaki kod ile dosyayı açalım
tar -xzvf nifi-1.13.2-bin.tar.gz
Şimdi java’yı indirelim aşağıdaki kodu yazarak enter’a basalım ve gelen soruya Y yapıp devam edelim
sudo apt-get install openjdk-8-jdk
Java’yı kurduk artık bizim için küçük nifi için büyük birkaç adım kaldı :)
GCP de çalıştığımız için nifi’nin ayarlarından localhost portunu Google ın bize verdiği portla değiştirmemiz lazım konsol ekranına aşağıdaki kodu yazıp ender’a basalım
nano nifi-1.13.2/conf/nifi.properties
F6 tuşuna basıp 127.0.0.1 yazıp arama yapalım ve işaretli olan 127.0.0.1 siliyoruz ve bu şekilde bırakıyoruz bu şekilde nifi google’ın verdiği ip adresini otomatik bulacaktır
Ardından ctrl+x yapıp Y diyip Entera basıyoruz ve yaptığımız değişiklikler kayıt ediliyor
Şimdi GCP ye 8080 portunu eklememiz lazım bunun için tekrar aşağıdaki alana gidelim ve nifi-example ye tıklayalım ardından nick0 a tıklayalım
Yan menüden Firewall’e tıklayalım gelen ekrandan da Create Firewall Rule diyip port ayarlarını yapacağız
İsmini ben nifi-port yazdım ve aşağıdaki gibi düzenleyip create dedim
Artık 8080 portumuz hazır şimdi geri SSH(siyah konsol ekranı) ekranına dönüp sırasıyla aşağıdaki kodları yazıp enter diyelim
cd nifi-1.13.2/bin/
./nifi.sh start
./nifi.sh status
Artık nifi çalışıyor
Geri aşağıdaki ekrana dönüp External IP kısmına tıkalayalım bendeki ip 34.134.75.131 bu şekilde 8080/nifi ekleyince nifi ara yüzüne ulaşacağız 34.134.75.131:8080/nifi
not: bende ip nin önüne https koydu bundan dolayı çalışmadı https’i silmeyi unutmayın
Ve sonunda Nifiyi kurabildik
Şimdi nifi deki birkaç aracı göstericem bir sonraki derste kullanmak için
Process Group yapacağımız projenin hepsini içinde tutacak araç
Processor projelerimizdeki araçları seçmemiz için gerekli bölüm sürükle bırak ile ekrana taşımamız yeterli
Processor sürükleyip bıraktığımızda ekrana böyle bir pencere gelecek ve ihtiyacımız olan araçların isimlerini yazıp kullanmaya başlayacağız
Evet arkadaşlar bu yazımda sizlere GCP de bir sanal bilgisayar oluşturarak Nifi’yi kurmayı anlatmaya çalıştım umarım faydalı olmuştur yazı hakkında geri dönüşlerinizi bekliyorum.
Benimle Linkedin üzerinden bağlantı kurmayı unutmayın başarılar
