Müşteri, "kurduğunuz ESX 5.5 ortamında yavaşlama var, nedenini anlayamıyoruz..." şikayetiyle başvurdu. Tüm ESX sunucuları, storage kaynakları, SAN switchler vs.de yaptığımız incelemelerde performans grafikleri üzerinden hiç bir dalgalanma ve ani değişim göremedik. Güzel bir senaryo, şikayet var ama belirti yok :)
Neyse ki tüm ESX sunucularından logları Graylog'a yönlendirmiştik. Yaptığımız taramada [Warn] seviyesinde ESX sunucularının hakikaten şikayet etmeye başladığını gördük.
Sonra başka şeyleri kurcalamaya başladık. İş Qlogic HBA kartlarının firmware güncellemesine kadar gitti. Ancak diğer taraftan bir şekilde vCenter 5.5 sunucusunda SQL express ile kurulum yapılmış (biz değiliz :) ) ve SQL express 2008'in veritabanı maksimum büyüklüğüne erişilmiş olduğunu gördük. Eski veriyi silmeye başladık.
Sabah her şey yolundaydı. Yavaşlık bitmiş, müşteri mutlu. Ancak ESX sunuculardaki yavaşlık ile vCenter SQL DB'sinin dolmasını nasıl korele edersiniz ve bunu müşteriye anlatırsınız ? Normal şartlar altında algı sorunu SAN / Network tarafında aramaya meyilli olduğundan anlatmak da zor, ikna etmek de. Ancak dikkatli birisi, mesai sonrası saatlerde sistemi izliyor olacak ve SQL shrink bittiğinde de yavaşlığın kesildiğini gözlemleyecek. Her babayiğidin harcı değil. Ayrıca müşteriden bunu beklemek de haksızlık bir anlamda. Son olarak, bu iki başlığı birleştiren aramalarımda da net bir KB veya forum bilgisine rastlamadığımı ekleyeyim.
Aşağıdaki grafik her şeyi gösteriyor. Olaya konu olan hata mesajları bazında yapılan bir arama sonucu ve grafiğine göre, akşam 19.00 itibariyle shrink bittikten sonra ESX sunucularından gelen olaylar bıçakla kesilir gibi kesilmiş. Doğru kelime dizgileri ve basit mantıksal operatörlerle elde edilen ikna edici bir gösterge. Bunu sözle söylemek farklı, grafikle ispat etmek farklı.
Daha ne olsun :)
Hiç yorum yok:
Yorum Gönder