ELK Nedir? — 1

ELK Nedir? — 1

“ELK Stack” genellikle birlikte kullanılan üç teknolojiden oluşur: “Elasticsearch”, “Logstash” ve “Kibana”.

“Elasticsearch”, açık kaynak kodlu, analitik ,full text arama motoru ve veri analiz aracıdır. ElasticSearch’e herhangi bir veri kaydedilirken, veri içerisinde daha önceden belirlenen alanlar Lucene alt yapısının kullanımı ile indexlenmeye başlamaktadır, ElasticSearch, bu işlemi veri kaydının ilk anında gerçekleştirdiği ve verileri indeks listesine göre sınıflandırdığı için, arama sonuçlarına hızlıca ulaşabilir. “Elasticsearch” veriyi, “dökümanlar” şeklinde tutar. “Elasticsearch”e gönderdiğiniz sorgular, JSON formatında yazılır ve “REST API” üzerinden sorgularsınız. JSON formatında gelen logları depolar ve istenilen aramalara filtrelerine uygun log kayıtlarını Kibana’ ya iletilir. Sorgulama yapabilir ve “Elasticsearch” ü bir analitik platformu olarakta kullanabilirsiniz. İstenilen veriyi toplayan sorgular yazabilir, gelen sonuçlardan grafikler çıkarabilirsiniz, anlamlı sonuçlar oluşturabilirsiniz.

Örneğin, uygulamalardan gelen log dosyalarını saklayabilir, farklı referans sistem metriklerini tutabilir ve sonrasında alarmlar oluşturabilirsiniz. Sunucuların CPU, memory kullanımlarını takip edebilir, bu veriler üzerinden grafikler oluşturabilirsiniz.

“Kibana”, analitik ve görselleştirme aracıdır. “Elasticsearch” den aldığı veriyi analizini yaptıktan sonra görselleştirir, yani verinin anlamlandırılmasını ve “Elasticsearch” de tutulan veriye web arayüzü sağlar.

Logstash, Uygulamalardan gelen verileri toplar. Bu verileri işleyip anlamlı hale getirir ve elasticsearch e aktarır.

Mimari yapı

Cluster & Node: Cluster içerisinde birden fazla sunucu bulunduran bir kümedir. Cluster içerisindeki tüm sunuculara “node” adı verilir. İndekslenen data Cluster içerisinde belirli kurallar çerçevesinde node’lara dağıtılmış bir biçimde saklanır.

“node”, kendisine verilen bir arama sorgusunu, kendi üzerinde tuttuğu veri üzerinde yapar. “Node”lar, birbirinin varlıklarından haberdardırlar. Yapıda “master node” vardır. “Master node”, “cluster”daki değişiklikleri koordine eder. Örneğin, “cluster”a “node” eklenmesi, “cluster”dan “node” çıkarılması, indekslerin oluşturulması, indekslerin silinmesi gibi. “Cluster”ın hangi durumda olduğunu “master node” günceller. Nodelar’ın her birinde bir tane ElasticSearch çalışır. Her bir node, tüm indexleme ve okuma işlerinde birbirleri ile haberleşir.

Shardlar ise, Nodeların içerisinde de Shardlar çalışmaktadır. Shardlar, dokümanların yer aldığı en küçük birimleri ifade etmektedir. Verilerin indexlenmesinden sorumludur.

Replica: node’lardan birisi down olması durumunda yerine geçmesi için yedekte aslının birebir aynısı olan bir shard daha tutulur. Bu shard’lara ise replica denir.