Microsoft Integration Runtime ile On-Prem. ve Cloud Veri Kaynağı Entegrasyonu

Merhabalar, bu yazımızda daha önceki yazılarımızda kullandığımız ancak detaylarına değinmediğimiz Integration Runtime(IR)’dan bahsedeceğiz. Öncelike Azure Data Factory(ADF) ve Synapse pipelinelarda sıklıkla kullandığımız Integration Runtime’ın tanımını yapalım. Sonrasında ise türleri ve kullanım metotlarından bahsedeceğiz.

Microsoft Integration Runtime

Integration Runtime, farklı ağ ortamlarında veri akışı, veri taşıma ve SSIS paketi çalıştırma gibi görevleri yerine getirebilmek için Azure Data Factory ve Azure Synapse pipelineları tarafından kullanılan işlem altyapısıdır. Integration Runtime bir nevi aktiviteler ve bağlantılar arası köprü görevi sağlayan altyapıdır diyebiliriz.

Üç farklı Integration Runtime vardır. Bunlar aşağıdaki gibidir.

1. Azure IR
2. Self-hosted IR
3. Azure-SSIS IR

Yazımızın bundan sonraki bölümlerinde IR türlerini sırasıyla anlatacağız.

1.Azure Integration Runtime

Azure IR, Azure içerisinde bir Data Flow çalıştırırken ya da bulut üzerinde bulunan sistemler arası veri transferi sağlarken kullanılabilir. Bunlara ek olarak Data Factory ve Synapse’te tanımlı birçok aktivitede kullanılabilir. Data Flow ve Copy Activity dışında en sık kullanıldığı aktivitelere aşağıda bulunan aktiviteleri örnek olarak verebiliriz.

Azure IR’ların yönetimi Microsoft sorumluluğundadır. Kullandıkça ödeme yaptığınız Serverless bir hizmet olarak düşünebilirsiniz. Bir Azure Data Factory oluşturduğunuzda AutoResolveIntegrationRuntime adında bir Azure IR da tanımlı olarak gelecektir. Tanımlı olan Azure IR’ı kullanabileceğiniz gibi kendi iş süreçlerinize uygun Azure IR tanımlaması da yapabilirsiniz. Burada yapabileceğiniz değişiklikler virtual network, region, compute type, core count ve time to live seçenekleridir.

• Data Flow’larda sadece Azure IR ile tanımlaması yapılmış datasetler kullanabiliriz.

2. Self-hosted Integration Runtime

Self-hosted Integration Runtime(SHIR) şirket içinde bulunan verilere ADF ya da Synapse ile erişmek istediğimizde kullanmamız gereken IR çeşididir. ADF oluşturduğunuzda default olarak tanımlı gelmez. Eğer şirket içi verilere erişmek istiyorsak kendimiz oluşturmalıyız. Tüm bakım ve yönetimi de bize ait olacaktır. SHIR oluşturulduktan sonra yerel makineye bir kurulum ve gerekli konfigürasyon ayarlarını yaparak ADF ile şirket içi veriler arasında bir bağlantı sağlamış oluruz. Şimdi birlikte SHIR kurulumu yaparak lokalimde bulunan SQL Server’a bağlanan bir ADF örneği yapalım.

Adım 1 : Yapmamız gereken ilk iş ADF üzerinde Manage sekmesi üzerinden Integration Runtime menüsüne gelerek New butonuna tıklamak olmalıdır. Daha sonra açılan ekranda aşağıdaki resimde de göründüğü gibi Azure, Self-Hosted seçeneğini ile ilerlemeliyiz.

Adım 2 : Sonrasında karşımıza çıkan ekranda Self-Hosted seçimi yaparak Continue butonuna tıklarız. Ardından oluşturacağımız SHIR için bir isim verip Create diyerek son adımı da tamamlamış oluruz.

Adım 3 : Aşağıda da gördüğünüz gibi SHIR oluşturma işlemini tamamladık. Şimdi Key1 alanında yazan metni kopyalayalım. Kopyaladığımız bu metni daha sonrasında kullanacağız. Close butonuna basarak bu ekrandan çıkabiliriz.

Adım 4 : Çıkış yaptıktan sonra Integration Runtime menüsünde oluşturduğumuz emreari-SHIR isimli SHIR’ı görüyoruz. Ancak Status başlığı altında Unavailable olarak görünüyor. Bunun sebebi henüz kurulum işlemini tamamlamamış olmamızdır.

Kurulumun ADF tarafındaki adımlarını tamamladık. Şimdi yerel makinemizde Microsoft Integration Runtime kurulumu yapacağız.

Adım 5 : emreari-SHIR yazısının üzerine tıklayalım ve sonrasında Download and install integration runtime yazısına tıklayalım. Bu işlem bizi Microsoft Integration Runtime indirme sayfasına yönlendirecektir. Güncel versiyonlardan birini seçerek Download butonuna basalım. Kısa süre içerisinde dosya bilgisayarımıza indirilecektir. Kurulum yapabilmek için belirli gereksinimlerin sağlanması gerekmektedir. Bu gereksinimler Microsoft’un sitesinde aşağıdaki gibi belirtilmiştir.

Bu gereksinimler sonrası bir konuyu netleştirmekte fayda var. Desteklenen sistemler arasında sadece Windows işletim sistemleri görünmektedir. Bu açıklama Windows harici bir işletim sisteminde konumlandırılmış kaynaklara erişemediğimiz anlamına gelmemektedir. Çünkü SHIR kurulumunu bağlantı sağlayacağımız makine dışında başka bir makineye de kurabiliyoruz. Bu durumda Windows işletim sistemine sahip bir makineye kurulum yapıp, kurulum yaptığımız ortam üzerinden kaynak sisteme erişim sağlayabiliriz. Örnek vermek gerekirse Linux üzerinden konumlandırılmış bir SAP sistemine bağlanmak istediğimizde kaynak sistem SAP’ye erişebilen bir Windows makineye bu kurulum yapılarak bağlantı sağlanabilir.

Adım 6 : İndirdiğimiz dosyayı çalıştıralım ve kurulum işlemine başlayalım. Dil seçimini yapıp ileri dedikten sonra Lisans Sözleşmesi’ni kabul ederek ilerleyebiliriz.

Adım 7 : Kurulum yapacağımız dosya yolunu seçerek. Yükle butonuna basarak ilerleyebiliriz.

Adım 8 : Yükleme işlemi kısa süre içerisinde tamamlandıktan sonra Son diyerek kurulumu tamamlayabiliriz.

Adım 9 : ADF adımlarını daha önce tamamlamıştık. Şimdi de bilgisayarımıza kurulumu tamamladık. Artık bu iki sistem arasında bağlantı sağlayabilmek için gerekli ayarları yapabiliriz. Bunun için Microsoft Integration Runtime Configüration Manager açılır ve emreari-SHIR oluşturduktan sonra kopyaladığımız Key1'i aşağıda kırmızı ile işaretlediğimiz alana yapıştırırız. Sonrasında Register butonuna basarak süreci tamamlayabiliriz.

Adım 10 : Register işlemi tamamlandıktan sonra Finish butonuna basarız. Son olarak aşağıdaki gibi bir ekran ile karşılaşmış olmamız gerekir.

Adım 11 : ADF üzerindeki Integration Runtime menüsünde refresh butonuna basarız ve kurulum öncesi Unavailable olan statünün Running olarak güncellendiğini görürüz.

Artık Self-Hosted Integration Runtime hazır duruma geldi. Oluşturduğumuz SHIR’ı kullanarak bir yerel makinemize bağlantı sağlayan bir Linked Service oluşturabiliriz. Sonrasında bu Linked Service kullanılarak bir Dataset oluşturup, yerel makinemiz ile ADF arasında veri akışı sağlayabiliriz.

İkinci maddemiz olan Self Hosted Integration Runtime ile ilgili konularımızı tamamladık. Artık bir sonraki maddeye geçebiliriz.

3. Azure-SSIS Integration Runtime

SSIS paketlerini ADF üzerinden çalıştırmak istediğimizde başvuracağımız IR türüdür. Azure-SSIS IR, bize daha öncesinde SSIS ile geliştirdiğimiz projeleri yeniden yazmadan hızlı bir şekilde Azure Cloud’a geçirmemizi sağlar. Azure-SSIS IR çalıştığı süre boyunca faturalandırılır. Etkin maliyet yönetimi için PowerShell komutlarıyla ihtiyaç durumunda açıp, sonrasında kapatabilirsiniz.

Bu noktada yazımızın sonuna geldik. Vakit ayırıp okuduğunuz için teşekkürler. Bir sonraki yazımızda görüşmek üzere…

Referanslar

https://learn.microsoft.com/en-us/azure/data-factory/concepts-integration-runtime