# Serving inferensi LLM, secara berurutan

> Inferensi LLM self-hosted secara berurutan: vLLM dan SGLang, disaggregated serving dan KV cache, llm-d dan KServe, autoscaling, serta biaya per token.

URL: https://www.matthewswong.com/id/ai-devops/llm-inference-serving/

- Author: Matthews Wong (https://www.matthewswong.com/id/about/)
- Ditinjau pada: 17 Oktober 2026

> **Poin utama:** Jalur ini mengikuti model self-hosted dari engine sampai tagihan. Dimulai dari engine-nya, vLLM dan SGLang, lalu disaggregated prefill dan decode serta KV cache bersama, kemudian lapisan Kubernetes berupa llm-d, KServe, Dynamo, dan Gateway API Inference Extension beserta router di depannya, dan diakhiri dengan autoscaling berdasarkan kedalaman antrean serta pengukuran biaya per token.

Artikel di situs ini tentang menyajikan model open-weight sendiri, disusun menjadi satu jalur: dari server lokal di laptop hingga disaggregated serving di Kubernetes, lalu berapa biaya setiap token.

## Baca sesuai urutan ini

Setiap tahap dibangun di atas tahap sebelumnya. Jika sudah memahami suatu tahap, lewati saja; baris di bawah setiap judul menjelaskan apa yang ditambahkan artikel itu.

### Tahap 1: Pilih dan jalankan engine

Mulai dari yang kecil, hitung kebutuhan hardware, lalu pelajari apa yang dilakukan berbeda oleh dua engine utama.

1. [Jalankan LLM Lokal dengan Ollama: Model, API, Modelfile](https://www.matthewswong.com/id/blog/ollama-run-local-llms/): Baseline lokal paling sederhana: tarik model open-weight dan panggil lewat API yang kompatibel dengan OpenAI.
2. [vllm-metal di Apple Silicon: Server vLLM Lokal untuk Mac](https://www.matthewswong.com/id/blog/vllm-metal-apple-silicon-local-llm-server/): Server vLLM dengan continuous batching di Mac, beserta anggaran memori dan batasannya.
3. [Kapasitas GPU Jakarta: Menakar VRAM untuk Tim AI Indonesia](https://www.matthewswong.com/id/blog/jakarta-gpu-capacity-indonesian-ai-startups/): Sebelum menyewa GPU: hitung VRAM dan KV cache lebih dulu, dan timbang apa yang dikorbankan kuantisasi.
4. [Release Notes vLLM 0.31: Preload, Model Runner V2, dan Flag yang Rusak Saat Upgrade](https://www.matthewswong.com/id/blog/vllm-0-31-fast-restart-preload-weight-cache/): Apa yang diubah vLLM 0.31: daemon preload weight-cache, Model Runner V2 sebagai default, dan flag yang rusak saat upgrade.
5. [SGLang Unified Radix Cache: Prefix Caching Model Hybrid](https://www.matthewswong.com/id/blog/sglang-unified-radix-cache-hybrid-model-prefix-caching/): Pendekatan SGLang terhadap prefix caching, dan bagaimana tingkatan cache-nya menangani model hybrid attention dan Mamba.
6. [DeepSeek V4.1 Flash di vLLM vs SGLang: Arti Angkanya](https://www.matthewswong.com/id/blog/deepseek-v4-1-flash-serving-vllm-vs-sglang/): Kedua engine pada satu model: apa yang diukur tiap benchmark, mengapa angkanya berbeda, dan apa yang layak ditiru.

### Tahap 2: Disaggregated serving dan KV cache

Memisahkan prefill dari decode, serta memindahkan atau berbagi KV cache di antara keduanya.

7. [vLLM Disaggregated Prefill Decode: Panduan NixlConnector](https://www.matthewswong.com/id/blog/vllm-disaggregated-prefill-decode-serving-guide/): Pisahkan vLLM menjadi prefill dan decode dengan NixlConnector, serta pemeriksaan transfer yang menangkap setup rusak sebelum Anda melakukan benchmark.
8. [vLLM NixlPushConnector: Push vs Pull KV Transfer dan TTFT](https://www.matthewswong.com/id/blog/vllm-nixl-push-connector-faster-ttft-disaggregated/): Varian push menulis KV cache ke decode lebih awal: bagaimana ia memperbaiki TTFT, bagaimana ia gagal, dan kapan pull tetap lebih baik.
9. [vLLM Bi-Directional KV Transfer untuk Agen Multi-Turn](https://www.matthewswong.com/id/blog/vllm-bidirectional-kv-transfer-multi-turn-agents/): Untuk agent multi-turn, node prefill menarik kembali blok cache dari decode; konfigurasi, TTL, dan batasannya.
10. [LMCache Multi-Process Mode: Shared KV Cache untuk MoE Serving](https://www.matthewswong.com/id/blog/lmcache-multi-process-mode-moe-shared-kv-cache/): Satu pool KV di memori host yang dibagi lintas rank untuk serving MoE, serta apa yang ditunjukkan dan tidak ditunjukkan benchmark-nya.

### Tahap 3: Serving di Kubernetes, dan gateway di depannya

Stack native Kubernetes yang menjadwalkan dan merutekan trafik model, serta gateway yang berada di antara pengguna dan model.

11. [llm-d di Kubernetes: Distributed Inference dan Hardening v0.10](https://www.matthewswong.com/id/blog/llm-d-kubernetes-native-distributed-inference/): Bagaimana llm-d dibangun di atas vLLM dan Gateway API Inference Extension, dan apa arti rilis hardening-nya bagi rollout.
12. [Gateway API Inference Extension: EPP Moves to llm-d, What Now](https://www.matthewswong.com/id/blog/gateway-api-inference-extension-epp-moves-to-llm-d/): Endpoint Picker pindah ke llm-d: apa yang tetap di upstream dan cara mengarahkan ulang chart Helm Anda.
13. [Panduan KServe LLMInferenceService: llm-d, WVA dan vLLM](https://www.matthewswong.com/id/blog/kserve-llminferenceservice-llm-d-production-guide/): LLMInferenceService dari KServe menambahkan routing llm-d dan autoscaling; kapan ia lebih baik daripada Deployment vLLM biasa.
14. [NVIDIA Dynamo di Kubernetes: Rust EPP dan Upgrade v1beta1](https://www.matthewswong.com/id/blog/nvidia-dynamo-1-5-rust-endpoint-picker-kubernetes/): Stack NVIDIA di Kubernetes: Endpoint Picker berbasis Rust, perubahan penyimpanan CRD, dan migrasi blue/green.
15. [OCI Model Artifacts: Cold Start Model Kubernetes Lebih Cepat](https://www.matthewswong.com/id/blog/oci-model-artifacts-kserve-faster-model-cold-start/): Cold start sebagai latensi tersembunyi: image volume OCI, modelcar, dan unduhan S3 diukur satu sama lain.
16. [vLLM Semantic Router v0.4: Panduan Routing Mixture-of-Models](https://www.matthewswong.com/id/blog/vllm-semantic-router-v0-4-mixture-of-models-routing/): Arahkan satu nama model ke sekumpulan model dengan signal dan decision, dan kapan cara itu lebih baik daripada pilihan statis.
17. [Envoy AI Gateway Kini Agent Router: Apa yang Berubah di 1.2](https://www.matthewswong.com/id/blog/envoy-ai-gateway-becomes-agent-router-1-2/): Envoy AI Gateway kini bernama Agent Router: apa yang rusak di 1.2 untuk MCP dan kredensial, serta urutan upgrade-nya.
18. [LiteLLM CVE-2026-42208: Fix SQL Injection dan Hardening Gateway](https://www.matthewswong.com/id/blog/litellm-cve-2026-42208-sql-injection-hardening/): Gateway juga permukaan serangan: tambal SQL injection-nya, rotasi key, dan perkuat proxy-nya.

### Tahap 4: Autoscaling dan biaya per token

Lakukan scaling berdasarkan sinyal yang tepat, lalu ukur biaya serving dan di mana caching menghematnya.

19. [KEDA: Autoscaling Event-Driven & Scale-to-Zero di K8s](https://www.matthewswong.com/id/blog/keda-event-driven-autoscaling-kubernetes/): Dasar KEDA: scaling berdasarkan kedalaman antrean, lag, Prometheus, atau cron alih-alih CPU, beserta trade-off scale-to-zero.
20. [Autoscale vLLM di Kubernetes dengan KEDA: Queue Depth, Bukan GPU %](https://www.matthewswong.com/id/blog/autoscale-vllm-keda-queue-depth-gpu-eks/): Penerapannya pada vLLM: pemicu kedalaman antrean dan p95, bukan utilisasi GPU, dengan threshold aktivasi dan scale-down yang lambat.
21. [Kubernetes HPA Scale to Zero untuk GPU Queue Worker (1.37)](https://www.matthewswong.com/id/blog/kubernetes-hpa-scale-to-zero-gpu-queue-workers/): Scale to zero native di HPA untuk worker antrean GPU di 1.37, jebakan ScaledToZero, dan perbandingannya dengan KEDA.
22. [OpenCost Inference Cost per Million Tokens for Self-Hosted vLLM](https://www.matthewswong.com/id/blog/opencost-inference-cost-per-million-tokens-vllm/): Ukur biaya vLLM self-hosted per sejuta token dengan OpenCost, dan temukan titik impasnya dibandingkan API.
23. [State of FinOps 2026: Arti 98% Tim Kelola Biaya AI](https://www.matthewswong.com/id/blog/state-of-finops-2026-ai-cost-management/): Sudut pandang organisasi: apa yang ditunjukkan survei State of FinOps tentang visibilitas biaya AI, ROI, dan metrik token.
24. [LLM Prompt Caching: Optimasi Biaya Termurah yang Belum Anda Pakai](https://www.matthewswong.com/id/blog/llm-prompt-caching-cost-optimization/): Untuk model hosted: cara kerja prompt caching di Anthropic, OpenAI, dan Gemini, serta cara menulis prompt yang ramah cache.
25. [Semantic Caching untuk LLM: Hemat Biaya Pertanyaan Berulang](https://www.matthewswong.com/id/blog/semantic-caching-llm-cost-reduction/): Cache seluruh jawaban untuk pertanyaan berulang berdasarkan kemiripan embedding, dengan penyetelan threshold dan invalidasi.

## Lainnya dari panduan AI & DevOps

- [Keamanan MCP & Agent](https://www.matthewswong.com/id/ai-devops/mcp-agent-security/): Prompt injection, insiden MCP 2026, kontrol akses, sandbox, dan pemeriksaan skill agent. (25 artikel)
- [Kubernetes untuk AI](https://www.matthewswong.com/id/ai-devops/kubernetes-for-ai/): Upgrade 1.36 dan 1.37, DRA dan gang scheduling, routing Gateway API, dan agent di dalam cluster. (24 artikel)
- [AI SRE & Agentic Ops](https://www.matthewswong.com/id/ai-devops/ai-sre-and-agentic-ops/): Agent investigasi insiden, server MCP untuk tool ops, agent di CI, dan IaC di bawahnya. (25 artikel)
- [Rantai Pasok & Regulasi](https://www.matthewswong.com/id/ai-devops/software-supply-chain-and-regulation/): Worm npm dan PyPI, model signing dan AIBOM, secret di commit agent, CRA, dan EU AI Act. (23 artikel)

---

- HTML version: https://www.matthewswong.com/id/ai-devops/llm-inference-serving/
- English: https://www.matthewswong.com/en/ai-devops/llm-inference-serving/
- Site index for agents: https://www.matthewswong.com/llms.txt
- Sitemap: https://www.matthewswong.com/sitemap.xml
- API description (OpenAPI): https://www.matthewswong.com/openapi.json