Skip to main content

Blog

Pemikiran & Cerita

Berbagi pengalaman, pembelajaran, dan petualangan saya di dunia teknologi dan lainnya.

Jelajahi Berdasarkan Topik

DevOps & Infrastruktur Cloud (193)AI & LLM (143)Backend & API (102)Pengembangan Web (90)Sistem ERP (77)Keamanan (65)Pengembangan Perangkat Lunak (58)Refleksi Karier (29)Cloud (29)AI / Machine Learning (18)Produk & SaaS (12)Universitas (1)Hackathon (1)
Release Notes vLLM 0.31: Preload, Model Runner V2, dan Flag yang Rusak Saat Upgrade
AI/MLOktober 202612 menit baca

Release Notes vLLM 0.31: Preload, Model Runner V2, dan Flag yang Rusak Saat Upgrade

Pembacaan dekat atas halaman release vLLM v0.29, v0.30 dan v0.31 serta docs preload: weight-cache daemon yang mempercepat restart, kapan ia diam-diam kembali ke disk, dan flag terhapus yang perlu di-grep dulu.

Baca Selengkapnya
vLLM Bi-Directional KV Transfer untuk Agen Multi-Turn
AI/MLOktober 202612 menit baca

vLLM Bi-Directional KV Transfer untuk Agen Multi-Turn

Agen multi-turn mengirim ulang seluruh riwayatnya, dan prefill node yang di-disaggregate menghitung ulang apa yang sudah dipegang decode node. Pembacaan teliti bi-directional KV transfer di vLLM: enam langkah, pengaturan TTL dan threshold, angkanya, dan apa yang bisa rusak.

Baca Selengkapnya
vLLM Disaggregated Prefill Decode: Panduan NixlConnector
AI/MLOktober 202612 menit baca

vLLM Disaggregated Prefill Decode: Panduan NixlConnector

Cara memisahkan vLLM menjadi instance prefill dan decode dengan NixlConnector, apa kata angka goodput L40S dari vLLM sendiri, dan pengecekan transfer agar Anda tidak mem-benchmark setup yang rusak.

Baca Selengkapnya
vLLM NixlPushConnector: Push vs Pull KV Transfer dan TTFT
AI/MLOktober 202612 menit baca

vLLM NixlPushConnector: Push vs Pull KV Transfer dan TTFT

Push-based KV transfer di vLLM mendaftarkan block decode lebih awal dan membiarkan prefill menulisnya, memangkas TTFT sekitar 3x di pengujian vLLM sendiri. Bedah mekanisme, angka, failure mode, dan kapan pull masih menang.

Baca Selengkapnya
Anthropic Mengganti Git dengan Scion: Apa yang Berubah di Source Control Skala Agent
DevOpsOktober 202616 menit baca

Anthropic Mengganti Git dengan Scion: Apa yang Berubah di Source Control Skala Agent

Claude mendorong monorepo Anthropic dari 2.500 ke lebih dari 30.000 merge per hari, dan git tidak sanggup mengikutinya. Pembacaan dekat atas desain Scion, figure dan angkanya sendiri, serta apa yang layak ditiru tim yang tidak akan pernah sampai skala itu.

Baca Selengkapnya
Cara Mendesain Metrics dan Monitoring System dengan Prometheus
DevOpsOktober 202612 menit baca

Cara Mendesain Metrics dan Monitoring System dengan Prometheus

Cara mendesain metrics dan monitoring system dari ujung ke ujung: instrumentasi, pull vs push, hitungan storage time-series, cardinality, retention, dan alerting.

Baca Selengkapnya

Menampilkan 127–132 dari 818 artikel

Jelajahi Lainnya

Proyek

Lihat proyek yang saya bangun

Pengalaman

Perjalanan karier profesional saya

Sertifikasi

Sertifikasi profesional