Apache Kafka 1 — Apache Kafka Nedir?
Kafka Nedir?
Apache Kafka , açık kaynaklı “distributed event streaming platform” ‘dur. Kısaca kendisine iletilen mesajları belirli bir süre yakalayıp, barındırabilir ve istendiğinde bu mesajları sunabilir. Distributed olması nedeniyle tüm bu işlemleri birden fazla makine üzerinde paralel olarak gerçekleştirebilir.
Örneğin 1 motosiklete ait konum bilgisi 10 sn’de bir kafka servisine gönderilebilir. Bu işlem dakikada 6 adet mesaj anlamına gelir. Eğer sahada 100 adet motorsikletimiz olsaydı; dakikada 600 adet mesaj kafka servisine gidecekti. Farklı bir örnek olarak; günümüzdeki IOT cihazlarının da sürekli olarak mesaj ürettiğini düşünebiliriz ve bu mesajları da kafka servisinde işleyebiliriz. Sonuç olarak Kafka servisi ile saniyede 1 milyon mesajı işleyebiliriz.
Şimdi de Kafka’da yer alan kavramlara hızlıca değinelim:
Broker: Bir Kafka cluster’inda yer alan sunucularin her birine broker denir. İhtiyaca göre broker (sunucu) sayısını ayarlayabiliriz.
Topic: Veritabanındaki tablo’lara benzetebiliriz. Kafka’ya gönderilen mesajların tutulduğu yerdir.
Partition: Topic oluştururken bir veya daha fazla partition oluşturabiliriz. Topic’e gelen mesajlar bu partition’lara sıralı olarak yazılırlar.
Replication: Kafka Cluster’imiz varsa yani birkac makineden oluşan bir yapımız varsa; Topic içinde yer alan partition’ların otomatik replica’larının olmasını sağlayabiliriz. Böylece makinelerden biri erişilemez olduğunda veri kaybı olmadan sistem hizmet vermeye devam edebilir.
Zookeper: Cluster yapısının koordinasyonunu sağlayan servis olarak düşünebiliriz. Şu an için Kafka, Zookeper servisi olmadan çalışmaz. Arka planda JVM kullanır.
Tüm bu sistemin simulasyonunu görmek için aşağıdaki adresi ziyaret edebilirsiniz.
https://softwaremill.com/kafka-visualisation/
Kaynaklar:
https://kafka.apache.org/quickstart
https://softwaremill.com/kafka-visualisation/
https://www.veribilimiokulu.com/apache-kafka-temel-kavramlar/
https://www.datasciencearth.com/zookeeper-bolum-1-nedir-ne-degildir/
