AI & DevOps · Inferensi
Serving inferensi LLM, secara berurutan
Artikel di situs ini tentang menyajikan model open-weight sendiri, disusun menjadi satu jalur: dari server lokal di laptop hingga disaggregated serving di Kubernetes, lalu berapa biaya setiap token.
Oleh Matthews WongDitinjau pada
Poin utama
Jalur ini mengikuti model self-hosted dari engine sampai tagihan. Dimulai dari engine-nya, vLLM dan SGLang, lalu disaggregated prefill dan decode serta KV cache bersama, kemudian lapisan Kubernetes berupa llm-d, KServe, Dynamo, dan Gateway API Inference Extension beserta router di depannya, dan diakhiri dengan autoscaling berdasarkan kedalaman antrean serta pengukuran biaya per token.
Jalur bacaan · 25 artikel
Baca sesuai urutan ini
Setiap tahap dibangun di atas tahap sebelumnya. Jika sudah memahami suatu tahap, lewati saja; baris di bawah setiap judul menjelaskan apa yang ditambahkan artikel itu.
Tahap 1 / 4
Pilih dan jalankan engine
Mulai dari yang kecil, hitung kebutuhan hardware, lalu pelajari apa yang dilakukan berbeda oleh dua engine utama.
- 01AI9 menit bacaJalankan LLM Lokal dengan Ollama: Model, API, ModelfileMengapa langkah ini: Baseline lokal paling sederhana: tarik model open-weight dan panggil lewat API yang kompatibel dengan OpenAI.
- 02AI/ML12 menit bacavllm-metal di Apple Silicon: Server vLLM Lokal untuk MacMengapa langkah ini: Server vLLM dengan continuous batching di Mac, beserta anggaran memori dan batasannya.
- 03Cloud11 menit bacaKapasitas GPU Jakarta: Menakar VRAM untuk Tim AI IndonesiaMengapa langkah ini: Sebelum menyewa GPU: hitung VRAM dan KV cache lebih dulu, dan timbang apa yang dikorbankan kuantisasi.
- 04AI/ML12 menit bacaRelease Notes vLLM 0.31: Preload, Model Runner V2, dan Flag yang Rusak Saat UpgradeMengapa langkah ini: Apa yang diubah vLLM 0.31: daemon preload weight-cache, Model Runner V2 sebagai default, dan flag yang rusak saat upgrade.
- 05AI/ML12 menit bacaSGLang Unified Radix Cache: Prefix Caching Model HybridMengapa langkah ini: Pendekatan SGLang terhadap prefix caching, dan bagaimana tingkatan cache-nya menangani model hybrid attention dan Mamba.
- 06AI/ML12 menit bacaDeepSeek V4.1 Flash di vLLM vs SGLang: Arti AngkanyaMengapa langkah ini: Kedua engine pada satu model: apa yang diukur tiap benchmark, mengapa angkanya berbeda, dan apa yang layak ditiru.
Tahap 2 / 4
Disaggregated serving dan KV cache
Memisahkan prefill dari decode, serta memindahkan atau berbagi KV cache di antara keduanya.
- 07AI/ML12 menit bacavLLM Disaggregated Prefill Decode: Panduan NixlConnectorMengapa langkah ini: Pisahkan vLLM menjadi prefill dan decode dengan NixlConnector, serta pemeriksaan transfer yang menangkap setup rusak sebelum Anda melakukan benchmark.
- 08AI/ML12 menit bacavLLM NixlPushConnector: Push vs Pull KV Transfer dan TTFTMengapa langkah ini: Varian push menulis KV cache ke decode lebih awal: bagaimana ia memperbaiki TTFT, bagaimana ia gagal, dan kapan pull tetap lebih baik.
- 09AI/ML12 menit bacavLLM Bi-Directional KV Transfer untuk Agen Multi-TurnMengapa langkah ini: Untuk agent multi-turn, node prefill menarik kembali blok cache dari decode; konfigurasi, TTL, dan batasannya.
- 10AI/ML11 menit bacaLMCache Multi-Process Mode: Shared KV Cache untuk MoE ServingMengapa langkah ini: Satu pool KV di memori host yang dibagi lintas rank untuk serving MoE, serta apa yang ditunjukkan dan tidak ditunjukkan benchmark-nya.
Tahap 3 / 4
Serving di Kubernetes, dan gateway di depannya
Stack native Kubernetes yang menjadwalkan dan merutekan trafik model, serta gateway yang berada di antara pengguna dan model.
- 11DevOps12 menit bacallm-d di Kubernetes: Distributed Inference dan Hardening v0.10Mengapa langkah ini: Bagaimana llm-d dibangun di atas vLLM dan Gateway API Inference Extension, dan apa arti rilis hardening-nya bagi rollout.
- 12DevOps11 menit bacaGateway API Inference Extension: EPP Moves to llm-d, What NowMengapa langkah ini: Endpoint Picker pindah ke llm-d: apa yang tetap di upstream dan cara mengarahkan ulang chart Helm Anda.
- 13AI/ML12 menit bacaPanduan KServe LLMInferenceService: llm-d, WVA dan vLLMMengapa langkah ini: LLMInferenceService dari KServe menambahkan routing llm-d dan autoscaling; kapan ia lebih baik daripada Deployment vLLM biasa.
- 14AI/ML12 menit bacaNVIDIA Dynamo di Kubernetes: Rust EPP dan Upgrade v1beta1Mengapa langkah ini: Stack NVIDIA di Kubernetes: Endpoint Picker berbasis Rust, perubahan penyimpanan CRD, dan migrasi blue/green.
- 15AI/ML12 menit bacaOCI Model Artifacts: Cold Start Model Kubernetes Lebih CepatMengapa langkah ini: Cold start sebagai latensi tersembunyi: image volume OCI, modelcar, dan unduhan S3 diukur satu sama lain.
- 16AI/ML12 menit bacavLLM Semantic Router v0.4: Panduan Routing Mixture-of-ModelsMengapa langkah ini: Arahkan satu nama model ke sekumpulan model dengan signal dan decision, dan kapan cara itu lebih baik daripada pilihan statis.
- 17Backend12 menit bacaEnvoy AI Gateway Kini Agent Router: Apa yang Berubah di 1.2Mengapa langkah ini: Envoy AI Gateway kini bernama Agent Router: apa yang rusak di 1.2 untuk MCP dan kredensial, serta urutan upgrade-nya.
- 18Security11 menit bacaLiteLLM CVE-2026-42208: Fix SQL Injection dan Hardening GatewayMengapa langkah ini: Gateway juga permukaan serangan: tambal SQL injection-nya, rotasi key, dan perkuat proxy-nya.
Tahap 4 / 4
Autoscaling dan biaya per token
Lakukan scaling berdasarkan sinyal yang tepat, lalu ukur biaya serving dan di mana caching menghematnya.
- 19DevOps10 menit bacaKEDA: Autoscaling Event-Driven & Scale-to-Zero di K8sMengapa langkah ini: Dasar KEDA: scaling berdasarkan kedalaman antrean, lag, Prometheus, atau cron alih-alih CPU, beserta trade-off scale-to-zero.
- 20DevOps12 menit bacaAutoscale vLLM di Kubernetes dengan KEDA: Queue Depth, Bukan GPU %Mengapa langkah ini: Penerapannya pada vLLM: pemicu kedalaman antrean dan p95, bukan utilisasi GPU, dengan threshold aktivasi dan scale-down yang lambat.
- 21DevOps12 menit bacaKubernetes HPA Scale to Zero untuk GPU Queue Worker (1.37)Mengapa langkah ini: Scale to zero native di HPA untuk worker antrean GPU di 1.37, jebakan ScaledToZero, dan perbandingannya dengan KEDA.
- 22Cloud11 menit bacaOpenCost Inference Cost per Million Tokens for Self-Hosted vLLMMengapa langkah ini: Ukur biaya vLLM self-hosted per sejuta token dengan OpenCost, dan temukan titik impasnya dibandingkan API.
- 23Cloud12 menit bacaState of FinOps 2026: Arti 98% Tim Kelola Biaya AIMengapa langkah ini: Sudut pandang organisasi: apa yang ditunjukkan survei State of FinOps tentang visibilitas biaya AI, ROI, dan metrik token.
- 24AI9 menit bacaLLM Prompt Caching: Optimasi Biaya Termurah yang Belum Anda PakaiMengapa langkah ini: Untuk model hosted: cara kerja prompt caching di Anthropic, OpenAI, dan Gemini, serta cara menulis prompt yang ramah cache.
- 25AI9 menit bacaSemantic Caching untuk LLM: Hemat Biaya Pertanyaan BerulangMengapa langkah ini: Cache seluruh jawaban untuk pertanyaan berulang berdasarkan kemiripan embedding, dengan penyetelan threshold dan invalidasi.
Panduan lapangan AI & DevOps
Lainnya dari panduan AI & DevOps
Jalur bacaan lain di bagian ini.
- Keamanan MCP & AgentPrompt injection, insiden MCP 2026, kontrol akses, sandbox, dan pemeriksaan skill agent.
- Kubernetes untuk AIUpgrade 1.36 dan 1.37, DRA dan gang scheduling, routing Gateway API, dan agent di dalam cluster.
- AI SRE & Agentic OpsAgent investigasi insiden, server MCP untuk tool ops, agent di CI, dan IaC di bawahnya.
- Rantai Pasok & RegulasiWorm npm dan PyPI, model signing dan AIBOM, secret di commit agent, CRA, dan EU AI Act.