AI & DevOps · Kubernetes
Kubernetes untuk AI, secara berurutan
Artikel di situs ini tentang menjalankan beban kerja AI di Kubernetes, disusun menjadi satu jalur: upgrade cluster, beri GPU yang bisa dijadwalkannya, rutekan trafik model lewat Gateway API, lalu biarkan agent bekerja di dalamnya dengan aman.
Oleh Matthews WongDitinjau pada
Poin utama
Jalur ini dimulai dari apa yang diubah rilis 1.36 dan 1.37 bagi tim platform, lalu membahas alokasi GPU dengan DRA, gang scheduling, serta scheduler KAI dan Volcano, kemudian perpindahan dari Ingress ke Gateway API beserta ekstensi inferensinya, dan diakhiri dengan agent di dalam cluster: resource Agent Sandbox, kagent, dan akses MCP read-only.
Jalur bacaan · 24 artikel
Baca sesuai urutan ini
Setiap tahap dibangun di atas tahap sebelumnya. Jika sudah memahami suatu tahap, lewati saja; baris di bawah setiap judul menjelaskan apa yang ditambahkan artikel itu.
Tahap 1 / 4
Upgrade dulu: apa yang diubah 1.36 dan 1.37
Perubahan rilis yang sampai ke setiap cluster sebelum fitur AI mana pun.
- 01DevOps12 menit bacaRilis Kubernetes 1.37: Apa yang Rusak Saat Upgrade dari 1.36Mengapa langkah ini: Ringkasan 1.37 untuk tim platform: default yang berubah, tanggal deprecation, dan skrip preflight.
- 02Security12 menit bacaPerubahan Keamanan Kubernetes 1.36: userns, kubelet, gitRepoMengapa langkah ini: Perubahan keamanan 1.36: user namespace GA, otorisasi kubelet yang lebih rinci, dan gitRepo dihapus, beserta skrip audit.
- 03Security12 menit bacaKubernetes Manifest-Based Admission Control Beta di 1.37Mengapa langkah ini: Webhook admission dan kebijakan CEL yang dimuat dari disk, sehingga tetap berlaku meski etcd mati.
- 04Security10 menit bacaBypass runAsNonRoot containerd: Fix dan Audit CVE-2026-46680Mengapa langkah ini: Image yang dirancang khusus bisa mengalahkan runAsNonRoot; versi containerd yang sudah diperbaiki, mitigasi di Pod, dan audit cluster.
- 05DevOps11 menit bacaKYAML di Kubernetes 1.37: Subset YAML Stable dan kubectl -o kyamlMengapa langkah ini: KYAML sudah stabil: apa yang ditegakkan subset YAML yang ketat ini dan cara memakainya di CI.
- 06DevOps12 menit bacakube-proxy ipvs Deprecated: Migrasi ke nftables Sebelum v1.40Mengapa langkah ini: Mode ipvs di kube-proxy sudah deprecated; rencana migrasi ke nftables yang bersumber, lengkap dengan pemeriksaan kernel.
Tahap 2 / 4
GPU: DRA, gang scheduling, dan AI conformance
Bagaimana cluster membagikan akselerator, memulai job multi-pod secara bersamaan, dan membuktikan kesiapannya untuk beban kerja AI.
- 07DevOps12 menit bacaKubernetes DRA GPU Fallback: Prioritized List di 1.36Mengapa langkah ini: Minta satu jenis GPU dan beralih ke jenis lain dengan prioritized list DRA, plus partisi MIG dan device taint.
- 08DevOps12 menit bacaKubernetes 1.37 DRA Extended Resources GA: Jalankan example.com/gpu Tanpa Device PluginMengapa langkah ini: Tinggalkan device plugin tanpa menulis ulang manifest: petakan satu DeviceClass dan migrasikan node satu per satu.
- 09DevOps12 menit bacaGang Scheduling Kubernetes 1.37 Beta: Yang Siap, Yang BelumMengapa langkah ini: Gang scheduling native untuk job training: API Workload dan PodGroup, dan apa yang masih membutuhkan Kueue atau Volcano.
- 10DevOps12 menit bacaVolcano Scheduler GPU: Gang Preemption v1.15, DRA Queue QuotaMengapa langkah ini: Gang preemption, kuota antrean DRA, dan scheduling gate di Volcano, dibandingkan dengan gang scheduling native.
- 11DevOps11 menit bacaNVIDIA Run:ai Open Source: KAI Scheduler, GPU FractioningMengapa langkah ini: Bagian Run:ai yang kini open source: KAI Scheduler, GPU fractioning, kendala CUDA, dan ketentuan lisensinya.
- 12DevOps12 menit bacaKubernetes HPA Scale to Zero untuk GPU Queue Worker (1.37)Mengapa langkah ini: Skalakan worker antrean GPU ke nol dengan HPA native, dan jebakan yang harus dihindari.
- 13AI12 menit bacaKubernetes AI Conformance: Apa yang Dituntut KAR dari PlatformMengapa langkah ini: Periksa platform terhadap persyaratan AI conformance, dan apa yang tidak dibuktikan oleh badge-nya.
Tahap 3 / 4
Trafik: Gateway API dan routing inferensi
Beralih dari Ingress ke Gateway API, lalu ekstensi yang merutekan request ke server model.
- 14DevOps9 menit bacaKubernetes Gateway API vs Ingress: Mengapa Ia Menggantikan AnotasiMengapa langkah ini: Dasarnya: bagaimana resource Gateway API yang berorientasi peran menggantikan Ingress.
- 15DevOps12 menit bacaRetirement ingress-nginx: Migrasi ke Contour atau Gateway APIMengapa langkah ini: Setelah ingress-nginx pensiun, bandingkan pemindahan langsung ke Contour dengan migrasi ke Gateway API.
- 16DevOps12 menit bacaIngress2Gateway 1.0: Migrasi ingress-nginx ke Gateway APIMengapa langkah ini: Konversi langsung dengan Ingress2Gateway: baca peringatannya dan perbaiki yang tidak bisa diterjemahkannya.
- 17DevOps11 menit bacaGateway API Inference Extension: EPP Moves to llm-d, What NowMengapa langkah ini: Gateway API untuk trafik model: apa yang dipertahankan Inference Extension di upstream setelah Endpoint Picker pindah ke llm-d.
- 18DevOps12 menit bacallm-d di Kubernetes: Distributed Inference dan Hardening v0.10Mengapa langkah ini: Stack serving yang dibangun di atas ekstensi itu, dan apa yang diubah rilis hardening-nya untuk rollout.
Tahap 4 / 4
Agent di dalam cluster
Menjalankan agent sebagai beban kerja Kubernetes, dan memberinya akses cluster yang tidak bisa merusaknya.
- 19AI12 menit bacaKubernetes Agent Sandbox CRD: AI Agent Stateful TerisolasiMengapa langkah ini: Agent yang terisolasi dan stateful sebagai resource Kubernetes: Sandbox, template, claim, dan warm pool.
- 20AI12 menit bacaTutorial kagent Kubernetes: AI Agent di Cluster LaptopMengapa langkah ini: Jalankan AI agent di cluster kind di laptop dengan kagent dan sambungkan tool MCP ke dalamnya.
- 21DevOps12 menit bacaKubernetes MCP Server: read_only, Toolsets, Denied ResourcesMengapa langkah ini: Beri agent akses cluster yang tidak bisa meng-uninstall apa pun: ServiceAccount view, mode read-only, dan resource yang ditolak.
- 22DevOps12 menit bacaPanduan kubectl-ai: Gerbang Konfirmasi dan Risiko MCP ServerMengapa langkah ini: Bagaimana confirmation gate kubectl-ai mengklasifikasikan perintah, dan mengapa server HTTP MCP-nya membutuhkan OAuth.
- 23DevOps11 menit bacaAI DevOps Assistant untuk Triage Produksi KubernetesMengapa langkah ini: Apa yang benar-benar dipersingkat AI assistant dalam triase Kubernetes, dan keputusan yang tidak boleh ia ambil untuk Anda.
- 24DevOps12 menit bacaPanduan KubeCon North America 2026: Track AI dan Hari Co-locatedMengapa langkah ini: Untuk mendalami langsung: panduan KubeCon North America bagi platform engineer, termasuk track AI Inference dan Agentic-nya.
Panduan lapangan AI & DevOps
Lainnya dari panduan AI & DevOps
Jalur bacaan lain di bagian ini.
- Keamanan MCP & AgentPrompt injection, insiden MCP 2026, kontrol akses, sandbox, dan pemeriksaan skill agent.
- Serving Inferensi LLMvLLM dan SGLang, disaggregated serving, llm-d dan KServe, autoscaling, dan biaya per token.
- AI SRE & Agentic OpsAgent investigasi insiden, server MCP untuk tool ops, agent di CI, dan IaC di bawahnya.
- Rantai Pasok & RegulasiWorm npm dan PyPI, model signing dan AIBOM, secret di commit agent, CRA, dan EU AI Act.