Masalah
Beberapa server produksi (situs Jerman dan Indonesia) tidak punya tampilan terpadu untuk CPU, memory, maupun log. Insiden didiagnosis dengan SSH dari satu server ke server lain, dan tidak ada alerting sama sekali.
Pendekatan
- 01
Deploy Grafana + Prometheus (node dan container exporter) + Loki untuk log di semua VPS produksi.
- 02
Membangun dashboard untuk kesehatan per server dan konsumen resource terbesar.
- 03
Membuat log level bisa dicari per server dan memonitor kesehatan setiap scrape target.
- 04
Menyiapkan on-call alerting dengan escalation chain yang membuat telepon developer berdering.
Hasil
Satu pane of glass untuk semua server produksi. Insiden kini terdeteksi lewat alert, bukan laporan pengguna, sehingga uptime situs klien tetap terjaga.
Stack
- Grafana
- Prometheus
- Loki
- Docker
- Ansible