Splunk kullanım testleri (1)

Şeytan dürttü, Graylog ile aynı ortamda Splunk kurarak bir karşılaştırma yapayım dedim. Çerçevesini iyi belirlemek gereken bir karşılaştırma olduğunu farkındayım. Splunk gibi çok güçlü bir ürünle açık kaynak Graylog'u işlevsellik açısından yarıştırmak gibi bir hataya düşmeyeceğim. Amacım aynı gelen verinin her iki sistem üzerinde birbirine göre ne gibi farklılıklar oluşturduğunu, kaynak ve lisans kullanımını nasıl değiştirdiğini görmek gibi nesnel sınırlarda kalmak olacak.

Graylog'u 7 ESX 5.5 sunucusundan gelen logları izlemek üzere kurmuştum. Tüm ESX'lerde syslog yönlendirmesi bu CentOS sunucuya ve üzerindeki rsyslog'a yapılmıştı. Rsyslog da aynı sunucu üzerindeki Graylog'a 10514 (UDP) portuna syslog yönlendiriyordu.

Splunk'u ayrı bir CentOS sunucusu üzerine kurdum. Graylog'un rsyslog'undan da bu sefer 514 (UDP)'ye yönlendirme yaptım.

Ortaya çıkan sonuçlar bana göre ilginç oldu :

7 tane ESX sunucusundan asgari Info ve üstü seviyeden gelen loglar (Toplamda 100 VM var) Splunk'da gayet düşük yer kaplıyor. Bu anlamda disk kullanımının "makul" olduğunu söyleyebiliriz. Bakınız, üstteki görüntü.

7 tane ESX sunucusunun sysloglarını barındırdığımız CentOS sunucusu alışkanlık olduğu üzere mütevazi kaynaklara sahip. Altta orta-seviye bir disk depolama sisteminde çalışan 2 GB RAM ve 2 vCPU'su olan bir sunucu kullandım. Yukarıdaki görüntüden de anlaşılacağı üzere 4 milyon satır üzerinde kayıt birikmiş durumda ve indeksleme-arama sonuçları yine makul ve üstü düzeyde.

Gelelim konunun can alıcı kısmına. Yine hatırlatmak için söyleyeyim Splunk'un lisans kullanımını etkileyen şey dışarıdan gelen verinin Splunk'da depolanma durumu. Günlük 500 MB'a kadar sistem herhangi bir lisans ihlali üretmiyor.
Yukarıdaki grafik bu bağlamda incelendiğinde yine olumlu bir durum görmekteyiz. 100 VM'in koştuğu , 7 ESX sunucunun olduğu bir ortamda üretilen syslog verisi Splunk için günde 50 MB'ı aşmıyor. Bu, kendi ortamlarımızda ölçeğin hesaplanabilmesi için çok değerli bir bilgi sanırım.

Genelde lisans kullanımı %25'in üzerine çıkmamış.

Toplamda son 7 günde 250 bin kaydın depolandığı görülüyor. Bunun +/- %20 kadar sapması olabileceğini düşünüyorum. O konulara da ayrıca başka bir yazıda gireriz. :)

Splunk 6 yayınlandı

Splunk severler için güzel bir gün. Splunk 6 yayınlandı.

Bu sürümdeki yenilikler hakkında bilgi almak için :
http://www.splunk.com/view/whats-new/SP-CAAAFD2

Splunk / OSSEC entegrasyonu.

OSSEC her zaman çok sevdiğim bir HIDS yazılımı oldu. UNIX - Linux sistem gruplarında hep tercihimi OSSEC'ten yana kullandım. Şu an yaptığım Splunk testlerinde de Splunk- OSSEC entegrasyonunu deniyorum. Okuduğum tüm belgeler entegrasyonun çok basit ve sorunsuz olduğunu söylüyordu ama beklendiği üzere, tüm Splunk macerasında olduğu üzere burada da bir arıza elbette ki çıktı.

Senaryomuz şu ; geçen haftadan beri kullandığım Splunk üzerine OSSEC kurarak, test ortamımdaki OSSEC sunucumuzu buraya taşımış oldum. Ardından da Splunk App for OSSEC kuruldu. Ardından çalışması, logları okuması, bir şeyler göstermesi beklendi. Ama olmadı tabi ki.

Biraz uğraştırdı. Neler okumadım ki, kimlerin bloglarına girmedim ki. Garip olan, herkesin son derece basit bir şekilde kurmuş ve çalıştırmış olmasıydı. Zaten bundan da fena halde şüphelendim.

Sebebi yaklaşık 10 saat sonra şuradan çıktı. Ben bir düzen ve tertip hastasıyım ya, tüm kurulumlarımı standart klasörlerime yaparım. OSSEC'i de /opt/ossec altına kurmuştum. Oysa ki Splunk App for OSSEC, uygulamayı /var/ossec altında istiyor.

Kurulumu yeniden ve bu klasöre (/var/ossec) yapınca herşey düzeldi. Kurulum çok basit olduğu için burada anlatmıyorum.

Not : Açıkçası Splunk TA ayarlarında bu isteğin hard-coded mı olduğunu yoksa parametrik mi olduğunu araştırmadım. Bir sonraki sefere işallah.

UNIX sunucularından ajan ile Splunk'a veri gönderme

Splunk'ı giderek daha fazla seviyorum demem boşuna değil. Ekosistem içindeki uygulamalar güzel iş çıkartıyor. Oldukça yüksek sayıda ek uygulama ile, bililnen bir çok sistem ve cihazı destekler hale gelmiş, giderek de bu desteği arttıran bir ürün.

Unix sunucularından Splunk'a yalnızca syslog değil, sistem bilgisi ve diğer önemli dosya ve aktivitelere dair bilgileri nasıl gönderirim sorusunun cevabı aşağıda.

- Universal forwarder indirilecek.
http://www.splunk.com/download/universalforwarder

- Ubuntu 12.04 sunucusuna kurulur.
# dpkg -i splunk-forwarder.deb

Bu pakete ek olarak Splunk add for Unix / Linux da kurulmalı.

http://apps.splunk.com/app/833# (paket /opt/splunkforwarder klasörüne indirilecek).
# cd /opt/splunkforwarder
# tar xvfz Splunk_TA_nix-4.7.0-156739.tgz
# chown -R splunk:splunk Splunk_TA_nix
# mkdir /opt/splunkforwarder/etc/apps/Splunk_TA_nix/local
# cp /opt/splunkforwarder/etc/apps/Splunk_TA_nix/default/input.conf /opt/splunkforwarder/etc/apps/Splunk_TA_nix/local
# vi /opt/splunkforwarder/etc/apps/Splunk_TA_nix/local/input.conf
       (aktif duruma getirmek istediğimiz tüm seçeneklerde 1 > 0 yapıyoruz.
# chown -R splunk:splunk /opt/splunkforwarder/etc/apps/Splunk_TA_nix

Agentı, splunk sunucusuyla konuşacak şekilde düzenliyoruz.

- Splunk sunucusunda 9997 portundan dinleme yapacak bir "Receiver" oluşturuyoruz.
# /opt/splunkforwarder/bin/splunk add forward-server 192.2.1.10:9997
          kullanıcı adı (değiştirmedikçe) admin:changeme
# /opt/splunkforwarder/bin/splunk start (dikkat root kullanıcısı ile başlattık. Dileyen bu adımda splunk'a geçebilir)

Bu konuyla ilgili karmaşık ama sabırla okununca bilgi veren belge :
http://docs.splunk.com/Documentation/Splunk/latest/Deploy/Deployanixdfmanually

Sonuç :

VMware ESX'ten Splunk'a log yönlendirmek.

VMware ESX sunucularından Splunk'a nasıl log yönlendirilebileceğine dair bir çalışma yaptım. Yordam aşağıdaki gibidir.

 yordamla, ESX'ten sysloga düşen tüm mesajlar ve host hareketleri Splunk'a yönlendirilmektedir.

(ESX sunucusunda)

# vi /etc/syslog.conf
            *.*             @splunksunucusu.domain.local
# esxcfg-firewall -o 514,udp,out,syslog && esxcfg-firewall -l
# vi /etc/vmware/hostd/config.xml
                 
                outputToConsole>true
                 
olarak değiştirilmeli ve kayıt edilmelidir.

# service mgmt-vmware restart

Mutluyuz, basit ve temiz iş. Bu arada Splunk'tan çok memnunum, ona dair izlenimlerimi daha sonra yazmayı planlıyorum.

Splunk universal forwarder agent, Windows 2008 + Active Directory yükleme problemi

Splunk 5.x sürümünün Universal Forwarder agentını denemek üzere test ortamımdaki Windows 2008 DC sunucuma yüklemek istedim.

Yordamı aynen uyguladım ve kullandığım servisi hesabı ile ilgili sıkıntım yoktu. Ayrıca servis hesabı "Domain Admin' seviyesinde yetkiliydi. Ancak sürekli aşağıdaki hata mesajını alıp kurulumu geri çekmek zorunda kaldım.

"splunk installer was unable to start splunk services exit code '4'"

Çözüm manasız, garip ve basit.

servis hesabını "domain\account" yerine "account@domain" şeklinde yazınca düzeldi.

Splunk / Citrix Netscaler log entegrasyonu nasıl sağlanır ?

Splunk'a bir Citrix Netscaler WAF / LB' yi bağlamak ve logları görebilmek Splunk belgesinde anlatıldığı kadar kolay değil. Ben de belgeye kanıp kolay olduğunu sanmıştım ama beni tahminimden biraz daha uğraştırdı. Üstelik güncel belgelerde bunun nasıl yapılacağına dair bir yordam da bulunmuyor.

Neyse biz bulduğumuz yoldan devam edelim.

Zannettiniz ki aşağıdaki belgeyi aynen uygulayınca Splunk Citrix Netscaler App'da verileriniz görünecek. Yok olmuyor öyle. Ekran boş geliyor.

http://support.citrix.com/article/CTX132533

Ne kullandım bunu yaparken ?

- Splunk 5.0.4, build 172409
- Citrix Netscaler NS9.3: Build 50.3.nc

1- Öncelikle Netscaler'da uygun kural oluşturulacak. Portun 8514 olduğuna dikkat.

2- Audit policy oluşturulacak ve demin oluşturduğumuz server ile ilişkilendirilecek. Daha sonra ekranın altında yer almayan ve resimde görülmeyen Global Policy ile bağdaştırılacak.

3- Splunk uygulamasında "Index" oluşturulacak. Bilgiler aynen girilmesi faydalı olacaktır.

4- Splunk'ta "Data Input" oluşturulacak.

5- Data Input aşağıdaki bilgileri aynen sağlamalı.

6- Splunk App for Netscaler aşağıdaki linkten indirilecek ve Splunk'a eklenecek.

http://apps.splunk.com/app/370

7- Oldu da bitti maşallah. İlk loglar artık düşmeye başlamış olmalı.