Azure Data Factory Lookup Task
Merhabalar bugünkü yazımızda Azure Data Factory ortamında Lookup taskını inceleyeceğiz.
Azure ortamında fabrikamızı oluşturduktan sonra aşağıdaki arayüzde sol tarafta bulunan menüden yeni öğeler ekleyebiliyoruz.
Bu menüde bulunan “Ardışık Düzenler” (Pipelines) kısmında yeni işlem hatları oluşturup üzerinden ilerleniyor.
Yeni işlem hattı oluşturmaya tıklandığında şöyle bir ekran çıkıyor ve daha sonrasında sol tarafta “Etkinlikler” menüsü açılıyor. Etkinlikler menüsünden “Verileri kopyala” ve “Veri akışı” tasklarını alıp boş sayfaya taşıdığımızda gereken ayarlamaları yapıp istenen işlemleri yapabiliriz.
Etkinlikler menüsündeki taskları kullanabilmek için öncelikle veri setimizi veya setlerimizi fabrikaya eklememiz gerekiyor. Bu işlemi de Fabrika Kaynakları menüsünde Veri Kümeleri adımında yapıyoruz.
Yeni veri kümesi ekle işleminde kaynaklarımızın dosya türüne göre veri kümesini oluşturuyoruz.
Tüm bu gereken eklemeleri yaptıktan sonra istenen task üzerinden ilerlemeye başlayabiliriz. Bu yazıda Copy Data ve Lookup taskı örneğinden ilerleyeceğiz.
Etkinlikler menüsünden verileri kopyala taskını sayfaya taşıyıp, “Kaynak” sekmesinden kopyalanacak verinin kaynağını seçiyoruz. (Bu örnekte CSV veri kümesi kullandık.) Veri kaynağı ayarlarını yaptıktan sonra “Havuz” sekmesinden verilerin kopyalanacağı veri kümesini belirtiyoruz. Kopyalama davranışı ayarını da yaptıktan sonra üst sekmeden “Doğrula” işlemini yaptırıp sayfayı çalıştırdığımızda kopyalama işlemi gerçekleşiyor.
Etkinlikler menüsünde oluşturulan veri akışı taskında, oluşturduğumuz veri akışlarını “Ayarlar” sekmesinden seçip istediğimiz işlemi çalıştırabiliyoruz. Ekranda gördüğünüz üzere Sort veri akışı, DerivedColumn veri akışı gibi liste gösteriyor.
Lookup taskı için öncelikle bir veri akışı oluşturmamız gerekiyor. Bu veri akışı ataması için tekrar “Fabrika Kaynakları” menüsünden veri akışı oluşturalım. Fabrika Kaynakları menüsünden veri akışını aşağıdaki şekilde ekliyoruz.
Yeni veri akışı oluşturduktan sonra sayfada “Kaynak Ekle” görseli çıkıyor. Oradan kaynak eklediğimizde aşağıdaki ekran geliyor ve işlem yapacağımız veri kümesini seçiyoruz. Veri kümesini seçtikten sonra taskın sağ alt kısmında “+” ya tıklayarak veriler üzerinde yapmak istediğimiz işlemi seçerek ilerliyoruz.
Lookup işlemi için birden fazla kaynak kullanıp eşleşen satırları havuz veri kümesine almak istediğimiz durumu örneklendirdiğimizde, birinci ve ikinci kaynaklarımızı tanımlayıp lookup taskının ayarlarını yapıyoruz. Lookup’ın üstüne tıkladığımızda karşımıza birincil akış ve arama akışı için kaynakları tanımlıyoruz. Eşleştirme ayarlarını ve arama koşulunu belirttikten sonra tüm ayarları yapmış oluyoruz.
Veriler üzerinde yapmak istediğimiz işlemleri ayarladıktan sonra verilerin yazılacağı veri kümesini yeni bir kaynak oluşturarak tanımlıyoruz. Lookup taskında eşleşmeyen verileri aktarmak için başka bir destination da tanımlanabilir.
İhtiyacımıza yönelik Lookup taskından sonra yapmak istediğimiz başka bir işlem varsa “+”ya tıklayarak ekleyebiliriz. Tüm işlemler bittiyse sayfayı çalıştırıp işlemi sonlandırabiliriz.
Azure Data Factory Copy Data ve Lookup işlemlerinden bahsettik. Herkese iyi çalışmalar…
