Blog
Artikel machine learning yang lebih mendalam — pemilihan model, embedding, dan konsep ML di balik sistem AI terapan.
18 artikel
Datadog mengklaim model Scout hasil RL menginvestigasi alert dengan biaya jauh lebih rendah dari model frontier. Pembacaan teliti AlertEval, SREGym, harga credit, dan batasannya.
Baca Selengkapnya
LMCache multi-process mode mengganti KV offload per rank dengan satu host-memory pool bersama untuk serving vLLM DP+EP. Telaah benchmark, config, dan batasnya.
Baca Selengkapnya
Cara vLLM Semantic Router v0.4 merute satu nama model ke sebuah pool lewat signal, decision, algorithm, dan plugin, serta kapan ia mengalahkan pilihan model statis.
Baca Selengkapnya
Pembacaan teliti LLMInferenceService KServe v0.17 dan v0.18: routing llm-d, autoscaling WVA, LeaderWorkerSet, dan kapan ia mengungguli Deployment vLLM biasa.
Baca Selengkapnya
Pembacaan teliti studi cold start KServe 2026: image volume, modelcar dan object storage dibandingkan pada 2, 14 dan 140 GB, plus biaya pull dingin pertama dan pemeriksaan integritas.
Baca Selengkapnya
Yang berubah di Dynamo 1.5 bagi operator: Rust Endpoint Picker, storage CRD v1beta1, TLS dan mTLS untuk transport, deprecation KVBM, dan migrasi EPP blue/green yang aman.
Baca Selengkapnya
vLLM melaporkan throughput agentic 5x dan SGLang 35 sampai 873 token per detik untuk DeepSeek-V4.1-Flash. Pembacaan teliti kedua post: apa yang diukur, apa yang sebanding, dan apa yang layak ditiru.
Baca Selengkapnya
Cara Unified Radix Cache dan tier HiCache SGLang (GPU, host, Mooncake) membuat prefix caching bekerja untuk model hybrid attention dan Mamba, dengan angka nyata.
Baca Selengkapnya
Apa yang dibawa vllm-metal ke Mac: continuous batching, paged KV cache, dan server OpenAI-compatible di atas MLX. Instalasi, memory budget, MTP, dan batasnya.
Baca Selengkapnya
Pembacaan dekat atas halaman release vLLM v0.29, v0.30 dan v0.31 serta docs preload: weight-cache daemon yang mempercepat restart, kapan ia diam-diam kembali ke disk, dan flag terhapus yang perlu di-grep dulu.
Baca Selengkapnya
Agen multi-turn mengirim ulang seluruh riwayatnya, dan prefill node yang di-disaggregate menghitung ulang apa yang sudah dipegang decode node. Pembacaan teliti bi-directional KV transfer di vLLM: enam langkah, pengaturan TTL dan threshold, angkanya, dan apa yang bisa rusak.
Baca Selengkapnya
Cara memisahkan vLLM menjadi instance prefill dan decode dengan NixlConnector, apa kata angka goodput L40S dari vLLM sendiri, dan pengecekan transfer agar Anda tidak mem-benchmark setup yang rusak.
Baca Selengkapnya
Push-based KV transfer di vLLM mendaftarkan block decode lebih awal dan membiarkan prefill menulisnya, memangkas TTFT sekitar 3x di pengujian vLLM sendiri. Bedah mekanisme, angka, failure mode, dan kapan pull masih menang.
Baca Selengkapnya
Tingkatkan akurasi RAG dengan hybrid search dan reranking, menggabungkan pencarian kata kunci BM25 dengan vector search, lalu melakukan reranking dengan cross-encoder sebelum generation.
Baca Selengkapnya
Kerangka praktis untuk memilih model embedding untuk RAG: dimensi versus biaya versus recall, mengapa skor MTEB bisa menyesatkan, dan skrip untuk membenchmark kandidat pada data Anda sendiri.
Baca Selengkapnya
Anda mungkin tidak butuh Pinecone. Cara membangun semantic search produksi dengan pgvector di PostgreSQL yang sudah Anda jalankan, lengkap dengan index dan hybrid search.
Baca Selengkapnya
RAG dan fine-tuning menyelesaikan masalah berbeda, dan kebanyakan tim salah pilih. Framework praktis untuk menentukan mana yang fitur LLM Anda benar-benar butuhkan.
Baca Selengkapnya
Panduan praktis untuk merancang sistem Retrieval-Augmented Generation tingkat produksi menggunakan LangChain, pgvector, dan metrik evaluasi RAGAS. Mencakup strategi chunking, setup vector store, optimasi retrieval, dan cara mengukur kualitas jawaban di deployment nyata.
Baca Selengkapnya