Splunk kullanım testleri (1)

Şeytan dürttü, Graylog ile aynı ortamda Splunk kurarak bir karşılaştırma yapayım dedim. Çerçevesini iyi belirlemek gereken bir karşılaştırma olduğunu farkındayım. Splunk gibi çok güçlü bir ürünle açık kaynak Graylog'u işlevsellik açısından yarıştırmak gibi bir hataya düşmeyeceğim. Amacım aynı gelen verinin her iki sistem üzerinde birbirine göre ne gibi farklılıklar oluşturduğunu, kaynak ve lisans kullanımını nasıl değiştirdiğini görmek gibi nesnel sınırlarda kalmak olacak.

Graylog'u 7 ESX 5.5 sunucusundan gelen logları izlemek üzere kurmuştum. Tüm ESX'lerde syslog yönlendirmesi bu CentOS sunucuya ve üzerindeki rsyslog'a yapılmıştı. Rsyslog da aynı sunucu üzerindeki Graylog'a 10514 (UDP) portuna syslog yönlendiriyordu.

Splunk'u ayrı bir CentOS sunucusu üzerine kurdum. Graylog'un rsyslog'undan da bu sefer 514 (UDP)'ye yönlendirme yaptım.

Ortaya çıkan sonuçlar bana göre ilginç oldu :

7 tane ESX sunucusundan asgari Info ve üstü seviyeden gelen loglar (Toplamda 100 VM var) Splunk'da gayet düşük yer kaplıyor. Bu anlamda disk kullanımının "makul" olduğunu söyleyebiliriz. Bakınız, üstteki görüntü.

7 tane ESX sunucusunun sysloglarını barındırdığımız CentOS sunucusu alışkanlık olduğu üzere mütevazi kaynaklara sahip. Altta orta-seviye bir disk depolama sisteminde çalışan 2 GB RAM ve 2 vCPU'su olan bir sunucu kullandım. Yukarıdaki görüntüden de anlaşılacağı üzere 4 milyon satır üzerinde kayıt birikmiş durumda ve indeksleme-arama sonuçları yine makul ve üstü düzeyde.

Gelelim konunun can alıcı kısmına. Yine hatırlatmak için söyleyeyim Splunk'un lisans kullanımını etkileyen şey dışarıdan gelen verinin Splunk'da depolanma durumu. Günlük 500 MB'a kadar sistem herhangi bir lisans ihlali üretmiyor.
Yukarıdaki grafik bu bağlamda incelendiğinde yine olumlu bir durum görmekteyiz. 100 VM'in koştuğu , 7 ESX sunucunun olduğu bir ortamda üretilen syslog verisi Splunk için günde 50 MB'ı aşmıyor. Bu, kendi ortamlarımızda ölçeğin hesaplanabilmesi için çok değerli bir bilgi sanırım.

Genelde lisans kullanımı %25'in üzerine çıkmamış.

Toplamda son 7 günde 250 bin kaydın depolandığı görülüyor. Bunun +/- %20 kadar sapması olabileceğini düşünüyorum. O konulara da ayrıca başka bir yazıda gireriz. :)