# Kubernetes untuk AI, secara berurutan

> Kubernetes untuk beban kerja AI secara berurutan: upgrade 1.36 dan 1.37, GPU dengan DRA dan gang scheduling, routing inferensi Gateway API, dan agent.

URL: https://www.matthewswong.com/id/ai-devops/kubernetes-for-ai/

- Author: Matthews Wong (https://www.matthewswong.com/id/about/)
- Ditinjau pada: 17 Oktober 2026

> **Poin utama:** Jalur ini dimulai dari apa yang diubah rilis 1.36 dan 1.37 bagi tim platform, lalu membahas alokasi GPU dengan DRA, gang scheduling, serta scheduler KAI dan Volcano, kemudian perpindahan dari Ingress ke Gateway API beserta ekstensi inferensinya, dan diakhiri dengan agent di dalam cluster: resource Agent Sandbox, kagent, dan akses MCP read-only.

Artikel di situs ini tentang menjalankan beban kerja AI di Kubernetes, disusun menjadi satu jalur: upgrade cluster, beri GPU yang bisa dijadwalkannya, rutekan trafik model lewat Gateway API, lalu biarkan agent bekerja di dalamnya dengan aman.

## Baca sesuai urutan ini

Setiap tahap dibangun di atas tahap sebelumnya. Jika sudah memahami suatu tahap, lewati saja; baris di bawah setiap judul menjelaskan apa yang ditambahkan artikel itu.

### Tahap 1: Upgrade dulu: apa yang diubah 1.36 dan 1.37

Perubahan rilis yang sampai ke setiap cluster sebelum fitur AI mana pun.

1. [Rilis Kubernetes 1.37: Apa yang Rusak Saat Upgrade dari 1.36](https://www.matthewswong.com/id/blog/kubernetes-1-37-garhwal-whats-new/): Ringkasan 1.37 untuk tim platform: default yang berubah, tanggal deprecation, dan skrip preflight.
2. [Perubahan Keamanan Kubernetes 1.36: userns, kubelet, gitRepo](https://www.matthewswong.com/id/blog/kubernetes-1-36-user-namespaces-kubelet-authz-gitrepo-removed/): Perubahan keamanan 1.36: user namespace GA, otorisasi kubelet yang lebih rinci, dan gitRepo dihapus, beserta skrip audit.
3. [Kubernetes Manifest-Based Admission Control Beta di 1.37](https://www.matthewswong.com/id/blog/kubernetes-manifest-based-admission-control-beta/): Webhook admission dan kebijakan CEL yang dimuat dari disk, sehingga tetap berlaku meski etcd mati.
4. [Bypass runAsNonRoot containerd: Fix dan Audit CVE-2026-46680](https://www.matthewswong.com/id/blog/containerd-cve-2026-46680-runasnonroot-bypass/): Image yang dirancang khusus bisa mengalahkan runAsNonRoot; versi containerd yang sudah diperbaiki, mitigasi di Pod, dan audit cluster.
5. [KYAML di Kubernetes 1.37: Subset YAML Stable dan kubectl -o kyaml](https://www.matthewswong.com/id/blog/kyaml-kubernetes-stable-yaml-format/): KYAML sudah stabil: apa yang ditegakkan subset YAML yang ketat ini dan cara memakainya di CI.
6. [kube-proxy ipvs Deprecated: Migrasi ke nftables Sebelum v1.40](https://www.matthewswong.com/id/blog/kube-proxy-ipvs-deprecation-nftables-migration/): Mode ipvs di kube-proxy sudah deprecated; rencana migrasi ke nftables yang bersumber, lengkap dengan pemeriksaan kernel.

### Tahap 2: GPU: DRA, gang scheduling, dan AI conformance

Bagaimana cluster membagikan akselerator, memulai job multi-pod secara bersamaan, dan membuktikan kesiapannya untuk beban kerja AI.

7. [Kubernetes DRA GPU Fallback: Prioritized List di 1.36](https://www.matthewswong.com/id/blog/kubernetes-1-36-dra-prioritized-list-gpu-fallback/): Minta satu jenis GPU dan beralih ke jenis lain dengan prioritized list DRA, plus partisi MIG dan device taint.
8. [Kubernetes 1.37 DRA Extended Resources GA: Jalankan example.com/gpu Tanpa Device Plugin](https://www.matthewswong.com/id/blog/kubernetes-1-37-dra-extended-resources-ga/): Tinggalkan device plugin tanpa menulis ulang manifest: petakan satu DeviceClass dan migrasikan node satu per satu.
9. [Gang Scheduling Kubernetes 1.37 Beta: Yang Siap, Yang Belum](https://www.matthewswong.com/id/blog/kubernetes-1-37-gang-scheduling-beta-ai-training/): Gang scheduling native untuk job training: API Workload dan PodGroup, dan apa yang masih membutuhkan Kueue atau Volcano.
10. [Volcano Scheduler GPU: Gang Preemption v1.15, DRA Queue Quota](https://www.matthewswong.com/id/blog/volcano-1-15-gang-preemption-dra-queue-quota/): Gang preemption, kuota antrean DRA, dan scheduling gate di Volcano, dibandingkan dengan gang scheduling native.
11. [NVIDIA Run:ai Open Source: KAI Scheduler, GPU Fractioning](https://www.matthewswong.com/id/blog/nvidia-runai-open-source-kai-scheduler-gpu-fractioning/): Bagian Run:ai yang kini open source: KAI Scheduler, GPU fractioning, kendala CUDA, dan ketentuan lisensinya.
12. [Kubernetes HPA Scale to Zero untuk GPU Queue Worker (1.37)](https://www.matthewswong.com/id/blog/kubernetes-hpa-scale-to-zero-gpu-queue-workers/): Skalakan worker antrean GPU ke nol dengan HPA native, dan jebakan yang harus dihindari.
13. [Kubernetes AI Conformance: Apa yang Dituntut KAR dari Platform](https://www.matthewswong.com/id/blog/kubernetes-ai-conformance-program-explained/): Periksa platform terhadap persyaratan AI conformance, dan apa yang tidak dibuktikan oleh badge-nya.

### Tahap 3: Trafik: Gateway API dan routing inferensi

Beralih dari Ingress ke Gateway API, lalu ekstensi yang merutekan request ke server model.

14. [Kubernetes Gateway API vs Ingress: Mengapa Ia Menggantikan Anotasi](https://www.matthewswong.com/id/blog/kubernetes-gateway-api-vs-ingress/): Dasarnya: bagaimana resource Gateway API yang berorientasi peran menggantikan Ingress.
15. [Retirement ingress-nginx: Migrasi ke Contour atau Gateway API](https://www.matthewswong.com/id/blog/ingress-nginx-retirement-migration-paths/): Setelah ingress-nginx pensiun, bandingkan pemindahan langsung ke Contour dengan migrasi ke Gateway API.
16. [Ingress2Gateway 1.0: Migrasi ingress-nginx ke Gateway API](https://www.matthewswong.com/id/blog/ingress2gateway-1-0-migration-walkthrough/): Konversi langsung dengan Ingress2Gateway: baca peringatannya dan perbaiki yang tidak bisa diterjemahkannya.
17. [Gateway API Inference Extension: EPP Moves to llm-d, What Now](https://www.matthewswong.com/id/blog/gateway-api-inference-extension-epp-moves-to-llm-d/): Gateway API untuk trafik model: apa yang dipertahankan Inference Extension di upstream setelah Endpoint Picker pindah ke llm-d.
18. [llm-d di Kubernetes: Distributed Inference dan Hardening v0.10](https://www.matthewswong.com/id/blog/llm-d-kubernetes-native-distributed-inference/): Stack serving yang dibangun di atas ekstensi itu, dan apa yang diubah rilis hardening-nya untuk rollout.

### Tahap 4: Agent di dalam cluster

Menjalankan agent sebagai beban kerja Kubernetes, dan memberinya akses cluster yang tidak bisa merusaknya.

19. [Kubernetes Agent Sandbox CRD: AI Agent Stateful Terisolasi](https://www.matthewswong.com/id/blog/kubernetes-agent-sandbox-crd-ai-agents/): Agent yang terisolasi dan stateful sebagai resource Kubernetes: Sandbox, template, claim, dan warm pool.
20. [Tutorial kagent Kubernetes: AI Agent di Cluster Laptop](https://www.matthewswong.com/id/blog/kagent-ai-agents-kubernetes-tutorial/): Jalankan AI agent di cluster kind di laptop dengan kagent dan sambungkan tool MCP ke dalamnya.
21. [Kubernetes MCP Server: read_only, Toolsets, Denied Resources](https://www.matthewswong.com/id/blog/kubernetes-mcp-server-go-read-only-toolsets/): Beri agent akses cluster yang tidak bisa meng-uninstall apa pun: ServiceAccount view, mode read-only, dan resource yang ditolak.
22. [Panduan kubectl-ai: Gerbang Konfirmasi dan Risiko MCP Server](https://www.matthewswong.com/id/blog/kubectl-ai-google-human-in-loop-guide/): Bagaimana confirmation gate kubectl-ai mengklasifikasikan perintah, dan mengapa server HTTP MCP-nya membutuhkan OAuth.
23. [AI DevOps Assistant untuk Triage Produksi Kubernetes](https://www.matthewswong.com/id/blog/ai-devops-assistant-production-triage/): Apa yang benar-benar dipersingkat AI assistant dalam triase Kubernetes, dan keputusan yang tidak boleh ia ambil untuk Anda.
24. [Panduan KubeCon North America 2026: Track AI dan Hari Co-located](https://www.matthewswong.com/id/blog/kubecon-na-2026-salt-lake-city-guide/): Untuk mendalami langsung: panduan KubeCon North America bagi platform engineer, termasuk track AI Inference dan Agentic-nya.

## Lainnya dari panduan AI & DevOps

- [Keamanan MCP & Agent](https://www.matthewswong.com/id/ai-devops/mcp-agent-security/): Prompt injection, insiden MCP 2026, kontrol akses, sandbox, dan pemeriksaan skill agent. (25 artikel)
- [Serving Inferensi LLM](https://www.matthewswong.com/id/ai-devops/llm-inference-serving/): vLLM dan SGLang, disaggregated serving, llm-d dan KServe, autoscaling, dan biaya per token. (25 artikel)
- [AI SRE & Agentic Ops](https://www.matthewswong.com/id/ai-devops/ai-sre-and-agentic-ops/): Agent investigasi insiden, server MCP untuk tool ops, agent di CI, dan IaC di bawahnya. (25 artikel)
- [Rantai Pasok & Regulasi](https://www.matthewswong.com/id/ai-devops/software-supply-chain-and-regulation/): Worm npm dan PyPI, model signing dan AIBOM, secret di commit agent, CRA, dan EU AI Act. (23 artikel)

---

- HTML version: https://www.matthewswong.com/id/ai-devops/kubernetes-for-ai/
- English: https://www.matthewswong.com/en/ai-devops/kubernetes-for-ai/
- Site index for agents: https://www.matthewswong.com/llms.txt
- Sitemap: https://www.matthewswong.com/sitemap.xml
- API description (OpenAPI): https://www.matthewswong.com/openapi.json