Data Engineer Serüveni 5
Selam, bu yazımda sizlere INFORMATICA’nın PowerCenter aracından bahsetmeye çalışacağım. INFORMATICA , veri entegrasyon ürünleri sunan bir yazılım geliştirme şirketidir. ETL, veri maskeleme, veri kalitesi, veri çoğaltma, veri sanallaştırma, ana veri yönetimi vb. için ürünler sunar.
PowerCenter ETL / Veri Entegrasyon aracı en yaygın kullanılan araçtır. ETL ile ilgili önceki yazımı okuyabilirsiniz. Tek bir makineden çeşitli databaselere bağlanmaya imkan sağlar ve farklı kaynaklardan hedefleri besleyebilirsiniz.
PowerCenter Modülleri
Workflow Monitor, yapmış olduğunuz workflow ların durumunu kontrol etmemizi ve gerekli güncellemeleri yapabilmemize imkan sağlar. Bir workflow için abort,restart,stop,schedule ve unschedule gibi işlemler yapabiliriz. Aynı zamanda bir hata varsa buradan görüntüleyebiliriz.
Workflow Manager, session bazında işlemler yaparak, belirtilen mapping üzerinden başta source ve target, diğer gerekli bilgiler belirterek tanımla yapılır. Aynı workflow içerisinde birden fazla session için ihtiyaca göre seri veya paralel bir kurgu yapılabilir. Son olarak oluşturulan worfklow için scheduler ayarlaması yapılarak işlem tamamlanır.
Workflowlar, sırayla yani tanımlandıkları sıraya göre veya olay tabanlı yani olay koşuluna göre yürütülür.
ETL işlerinde farklı kaynaklar veya hedefler ile karşılaşabiliriz. Designer ile mapping oluşturabiliriz veya güncelleyebiliriz. Her mapping de source ve target metadatası olmalıdır.
Mapping oluştururken kullandığımız tranformation toollarının bazılarından bahsedecek olursak:
- Source Qualifier: Kaynak belirtirken default gelen bir araçtır. Select işini yapar.
- Expression Transformation: Yeni bir kolon oluşturmak için kullanılır.
- Filter Transformation: Filtrelemek için kullanılır.
- Aggregator Transformation: Gruplama işlemi için kullanılır.
- Joiner Transformation: Birleştirme işlemi için kullanılır.
- Sorter Transformation: Sıralama işlemi için kullanılır.
Genel olarak PowerCenter bu şekilde özetleyebiliriz. Diğer yazılarda görüşmek üzere.
