Fail2ban di VPS: Otomatiskan Perlindungan Brute Force dalam 15 Menit

Fail2ban adalah alat keamanan dengan leverage tertinggi di VPS Linux — 15 menit untuk menginstal dan mengonfigurasi, dan ia diam-diam memblokir serangan brute-force sepanjang waktu tanpa intervensi manusia. Di DigitalOcean Droplet baru Commsult Indonesia dengan fail2ban berjalan, kami melacak 145 upaya SSH yang gagal dan 45 auto-ban dalam minggu pertama dari bot yang memindai internet.

Cara Kerja Fail2ban

Fail2ban adalah daemon yang memantau file log secara real-time menggunakan filter regex yang dapat dikonfigurasi. Ketika alamat IP memicu ambang kegagalan dalam jendela waktu (misalnya 5 login SSH yang gagal dalam 10 menit), fail2ban menambahkan aturan iptables atau nftables yang menjatuhkan semua traffic dari IP tersebut selama durasi larangan yang dapat dikonfigurasi.

Instalasi dan Setup Awal

Di Ubuntu/Debian: apt install fail2ban. Fail2ban dikirimkan dengan konfigurasi default di /etc/fail2ban/jail.conf — jangan pernah edit file ini secara langsung, karena pembaruan paket menimpanya. Sebagai gantinya, buat /etc/fail2ban/jail.local dengan override Anda. Jail SSH diaktifkan secara default di sebagian besar sistem.

Memahami Jail dan Filter

Jail adalah kombinasi file log yang dipantau, filter (pola regex untuk mencocokkan kegagalan), dan tindakan (apa yang harus dilakukan saat ambang tercapai). Fail2ban dikirimkan dengan jail bawaan untuk SSH, Nginx, Apache, Postfix, Dovecot, dan lusinan layanan lainnya. Anda dapat menguji filter terhadap file log dengan fail2ban-regex.

┌─────────────────────────────────────────────────────┐
│              HOW FAIL2BAN WORKS                     │
└─────────────────────────────────────────────────────┘

  Bot attempts SSH login
          │
          ▼
  /var/log/auth.log ──► fail2ban monitors in real-time
          │
          ▼
  Filter regex matches   ──► Failure count for IP
  "Failed password for..."
          │
     maxretry (3) exceeded?
          │
     YES  │  NO
          ▼
  iptables DROP rule added for IP
          │
          ▼
  bantime expires (1h) ──► Rule auto-removed
          │
          ▼
  Persistent offenders get escalating bans:
  1h → 2h → 4h → 1 day → 1 week

Konfigurasi Jail Nginx

Di luar SSH, lindungi server Nginx Anda dengan jail fail2ban untuk kegagalan autentikasi HTTP, brute-force WordPress, dan anomali tingkat permintaan. Jail nginx-http-auth melarang IP yang gagal autentikasi HTTP basic. Jail nginx-badbots melarang user agent berbahaya yang diketahui.

Jail Kustom untuk API NestJS

Untuk API NestJS dengan autentikasi kustom, buat jail fail2ban kustom yang memantau log aplikasi Anda untuk event login yang gagal. Definisikan filter yang mencocokkan format log Anda, atur untuk dipicu setelah 5 kegagalan dalam 5 menit, dan larang selama 1 jam. Ini melindungi endpoint login API Anda dari serangan credential stuffing.

# /etc/fail2ban/jail.local
[DEFAULT]
bantime  = 1h
findtime = 10m
maxretry = 3
ignoreip = 127.0.0.1/8 YOUR_HOME_IP YOUR_OFFICE_IP

# Progressive banning
bantime.increment = true
bantime.multiplier = 2
bantime.maxtime = 1w

[sshd]
enabled = true
port    = 2222
logpath = /var/log/auth.log
maxretry = 3

[nginx-http-auth]
enabled = true
logpath = /var/log/nginx/error.log

[nginx-req-limit]
enabled  = true
filter   = nginx-req-limit
logpath  = /var/log/nginx/error.log
maxretry = 10

# Check status and manage bans
fail2ban-client status sshd
fail2ban-client set sshd unbanip 1.2.3.4
fail2ban-client set sshd banip 5.6.7.8

Memantau dan Mengelola Larangan

Periksa status fail2ban: fail2ban-client status (mencantumkan semua jail aktif), fail2ban-client status sshd (menampilkan IP yang dilarang saat ini dan total larangan untuk jail SSH). Untuk membatalkan larangan IP secara manual: fail2ban-client set sshd unbanip 1.2.3.4. Periksa log fail2ban di /var/log/fail2ban.log untuk event larangan/pembatalan larangan.

Lanjutan: Integrasi Cloudflare

Jika situs Anda berada di belakang Cloudflare, event larangan di level fail2ban tidak efektif karena semua traffic berasal dari IP Cloudflare. Sebagai gantinya, konfigurasikan fail2ban untuk menggunakan tindakan API Cloudflare — saat larangan dipicu, fail2ban memanggil API Cloudflare untuk memblokir IP klien nyata di edge, sebelum mencapai server Anda.

Fail2ban Saja Tidak Cukup

Fail2ban adalah satu lapisan dalam strategi defense-in-depth, bukan solusi keamanan yang lengkap. Penyerang dapat merotasi IP di ratusan penyedia cloud dan proxy residensial, mengalahkan larangan IP tunggal. Kombinasikan fail2ban dengan: hanya autentikasi kunci SSH, firewall cloud yang membatasi SSH ke IP yang diketahui, pembaruan keamanan reguler, dan rate limiting Nginx untuk endpoint API.

Sumber & Bacaan Lanjutan

• DigitalOcean — Cara Melindungi SSH dengan Fail2ban di Ubuntu — https://www.digitalocean.com/community/tutorials/how-to-protect-ssh-with-fail2ban-on-ubuntu-20-04
• Hostinger — Panduan Konfigurasi Fail2Ban untuk Hardening Server Linux — https://www.hostinger.com/tutorials/fail2ban-configuration
• DEV Community — Panduan Lengkap Fail2Ban Lindungi Server SSH dari Serangan Brute Force — https://dev.to/sebos/complete-guide-to-fail2ban-protect-your-ssh-server-from-brute-force-attacks-3m3l