ElasticSearch - Kibana ile Data Visualization

Bir önceki blog yazısında bir Oracle tablonusu ES makinanıza nasıl indexleyeceğinizi açıklamıştım. Bu yazıda da Kibana kullanarak bu datayı nasıl görselleştirip raporlama ve analiz yapacağınızı anlatacağım.

Kurulum

• https://www.elastic.co/downloads/kibana
• Kurulumu aslında yine bir kurulumun olmaması sadece paketi indirip çalıştırdığınızda eğer ES'nin default port'unu değiştirmediyseniz aşağıdaki adresden çalışmaya başlayacaktır. Komut satırında da yazdığı gibi localinizde şu adrese bağlandığınızda karşınıza kibana'nın arayüzü gelecektir.
• http://localhost:5601

Kibana ES Index Table Ayarı

Arayüzde sağ taraftaki resimde görüldüğü gibi Management'a girdiğinizde index'lediğiniz tablolar gelmektedir. Şu ana kadar bir şey indexlemediğinizden burası boş olacaktır. Öncelikle Add New'e basarak index'lediğiniz indexName'i buraya girin. Böylece Kibana DataSet'ini kullanabilecektir. (IndexName ES'de tablo index'lerken kullandığınız ismin aynısı)

Discover sekmesine bastığınızda yukarıdaki görüntüdeki gibi datanın görünmesi gerekiyor. Sağ üst köşeden tarih aralığını genişleterek datasının bir kısmını yada tamamını görebilirsiniz. Burası önemli bir nokta çünkü Date column'una göre datayı göstermektedir. Eğer datanızda bir ay öncesinin date'leri mevcutsa sadece burayı da Last 30 day seçmelisiniz ki datasını gözüksün.

Kibana ile Görselleştirme

Visualize sekmesine bastığınızda size yapabileceğiniz tüm grafikleri göstermektedir. Ben örnek olması açısından verilen tarih aralığı için günlük kaç adet row'umuz var onu gösteren bir grafik oluşturacağım. Bunun için örnek olarak AreaChart'ı seçtim.

Sol tafafta Y-Axis ve hemen altında X-Axis bölümleri bulunmakta.

• Y-Axis için default Count geldiği için buraya karışmıyorum. Bunun dışında Average, Sum, Min, Max.. gibi 10'a yakın daha aggregate fonksiyonları da bulunamakta.
• X-Axis için date aralığı oluşturmamız gerekiyor. Benim index tablolm için günlük olarak Date column'u olan InsertDate'i seçtim.

Ve üst tarafta ok işaretine bastığınızda ekrandaki gibi grafiğim oluştu. Bu oluşturduğunuz grafikleri sonradan Dashboard oluşturuken kulllanacaksınız o yüzden yukarı sağ köşeden Save ile bir isim vererek kaydedin.

Kibana Dashboard

Dashboard oluşturduğunuz tüm grafikleri yerleştirip kullanacabileceğiniz bir arayüz. Sol taraftaki sekmelerden Dashboard'u seçtikten sonra sağ üst köşeden Add butonuna tıkladığnızda daha önce Save ettiğiniz chart'ların isimlerini göreceksiniz bunlara tıkladığınızda otomatikman Dashboard'a 

eklenecektir. Daha sonra büyüklük küçüklük ve yerleştirme işlemleri için ayarlamalar kalmaktadır. Sonradan bu Dashboard'u da yine yukarıdan Save ile kaydedip başka bir Dashboard'da yapabilrsiniz.

Netice olarak benim CleanDuplicateLogs index tablom için Dashboard'um şu şekilde gözüküyor.