Human-in-the-Loop Design for AI Agents

Agen AI otonom tidak sekadar menjawab pertanyaan. Ia menyunting berkas, menjalankan perintah shell, memanggil API, membelanjakan uang, dan mendorong perubahan ke produksi. Kemampuan itulah yang membuat agen berguna, sekaligus membuat tindakan yang salah menjadi mahal. Menghapus tabel yang keliru atau mengirim email ke pelanggan yang salah tidak selalu bisa dibatalkan.

Human-in-the-loop adalah jawabannya. Alih-alih membiarkan agen bertindak bebas atas segala hal, Anda membiarkannya bergerak cepat pada pekerjaan yang aman dan bisa dibatalkan, lalu berhenti untuk meminta persetujuan manusia sebelum apa pun yang mahal atau permanen. Tulisan ini membahas pola konkret yang membuat kompromi itu praktis.

Mengapa otonomi penuh berisiko

Agen yang cakap akan dengan senang hati merangkai puluhan pemanggilan tool untuk menuntaskan tugas. Sebagian besar pemanggilan itu tidak berbahaya, tetapi beberapa menyentuh dunia nyata dengan cara yang tak bisa Anda balikkan. Bahayanya bukan karena agen jahat, melainkan karena rencana yang tampak masuk akal bisa memuat satu langkah tak bisa dibatalkan yang seharusnya dicegat manusia.

Panduan Anthropic tentang membangun agen yang efektif mencatat bahwa otonomi ideal untuk menskalakan pekerjaan di lingkungan tepercaya, tetapi disertai biaya lebih tinggi dan potensi kesalahan yang menumpuk. Satu kekeliruan awal dapat merambat ke setiap langkah berikutnya. Itulah alasan utama menaruh titik pemeriksaan sebelum tindakan berdampak besar, bukan sesudahnya.

• Tindakan tak bisa dibatalkan seperti menghapus data, mengirim email, atau menagih kartu tidak bisa dikembalikan dengan tombol undo.
• Kesalahan menumpuk: asumsi keliru di awal rencana diam-diam merusak setiap langkah yang bergantung padanya.
• Agen mengoptimalkan penyelesaian tugas, bukan seberapa besar dampak bila satu langkah keliru.

Pola human-in-the-loop

Human-in-the-loop berarti seorang manusia tetap berada dalam jalur keputusan untuk tindakan yang penting. Wikipedia menggambarkannya sebagai model yang membutuhkan interaksi manusia, dan membedakan human-in-the-loop, saat manusia memulai tindakan, dari human-on-the-loop, saat manusia dapat membatalkannya. Untuk agen tujuannya sama: manusia menyetujui atau dapat menghentikan langkah berdampak besar.

Anda tidak menggerbangi semuanya, karena agen jadi tak berguna. Anda mengklasifikasikan tindakan berdasarkan dampak dan hanya menggerbangi yang sulit dibatalkan. Membaca berkas, mencari kode, atau menjalankan uji coba boleh berjalan otomatis. Menulis ke produksi, membelanjakan uang, atau mengirim pesan ke pihak luar berhenti dan menunggu persetujuan.

Kontrol konkret yang menjaga kendali manusia

Human-in-the-loop bukan satu fitur melainkan lapisan kontrol. Claude Code adalah contoh implementasi yang baik: ia default ke izin baca-saja dan bertanya sebelum menjalankan perintah apa pun yang dapat mengubah sistem Anda. Blok bangunan yang sama berlaku untuk agen apa pun yang Anda rancang.

• Gerbang persetujuan: wajibkan konfirmasi eksplisit sebelum tindakan tak bisa dibatalkan atau berdampak besar, dan biarkan pengguna menyetujui sekali atau mengizinkan perintah aman yang sudah dikenal secara otomatis.
• Allow-list dan hak akses minimal: beri agen hanya tool dan cakupan yang ia butuhkan, tolak selebihnya, dan jaga akses tulis di dalam direktori kerja yang dibatasi, bukan seluruh sistem.
• Peninjauan rencana serta batas pengeluaran atau laju: biarkan manusia memeriksa rencana sebelum eksekusi, dan terapkan batas keras atas uang yang dibelanjakan dan pemanggilan yang dilakukan agar sebuah loop tidak lepas kendali.
• Pencatatan audit: rekam setiap tindakan yang diambil agen agar manusia dapat memeriksa kemudian apa yang terjadi, dalam urutan apa, dan mengapa.

Sesuaikan otonomi dengan risiko

Jumlah pengawasan yang tepat bergantung pada tindakannya, bukan pada agennya. Sumbu yang berguna adalah kemampuan membalikkan. Jika sebuah langkah murah dan mudah dibatalkan, biarkan agen melakukannya dan lanjut. Jika sebuah langkah mahal atau permanen, minta izin dulu. Ini menaruh gesekan di tempat yang sepadan dan menghilangkannya di tempat lain.

Claude Code menuangkan ini lewat mode dan aturan izin: tool baca-saja berjalan tanpa prompt, suntingan berkas bisa disetujui otomatis di dalam direktori kerja, dan perintah jaringan atau yang mengubah sistem tetap memerlukan persetujuan. Anda menarik garis yang sama untuk agen Anda dengan menandai tiap tool sebagai otomatis untuk pekerjaan berisiko rendah yang bisa dibatalkan dan minta-izin-dulu untuk apa pun yang tak bisa dibatalkan.

Menemukan keseimbangan yang tepat

Tujuannya bukan kendali maksimal atau kecepatan maksimal, melainkan gerbang seminimal mungkin yang menangkap kerusakan nyata. Mulai ketat, amati prompt mana yang selalu disetujui, lalu naikkan tindakan itu ke allow-list. Mulai longgar hanya jika tidak menyangkut uang atau produksi, dan longgarkan sisanya hanya setelah Anda memercayai polanya.

• Gerbangi berdasarkan konsekuensi, bukan kenyamanan: berhenti pada langkah tak bisa dibatalkan dan mahal, dan biarkan pekerjaan yang bisa dibatalkan mengalir.
• Naikkan tindakan yang selalu disetujui ke allow-list untuk mengurangi kebisingan dan menjaga prompt yang penting tetap bermakna.
• Pertahankan log audit dan batas pengeluaran meski Anda melonggarkan persetujuan, agar kesalahan tetap terkurung dan terlihat.

Human-in-the-loop adalah cara agen otonom menjadi cukup aman untuk dipercaya menangani pekerjaan nyata. Gerbangi tindakan berdampak besar, batasi izin dengan ketat, batasi pengeluaran, dan catat semuanya, sambil membiarkan pekerjaan yang bisa dibatalkan berjalan bebas. Jika dilakukan dengan baik, manusia tak pernah merasa jadi penghambat dan tak pernah dikejutkan oleh tindakan yang seharusnya ia hentikan.