Ringkasan Utama
llms.txt adalah konvensi yang diusulkan, diperkenalkan oleh Jeremy Howard dari Answer.AI pada September 2024, untuk sebuah berkas Markdown di root situs web yang memberi large language model peta terkurasi dari konten paling penting situs tersebut. Ia menjawab keterbatasan konteks LLM dan HTML yang berantakan. Adopsinya luas di situs dokumentasi, tetapi belum ada penyedia AI besar yang mengonfirmasi memakainya, dan nilai nyatanya di 2026 masih belum terbukti.
Jika Anda pernah mengoptimalkan situs untuk mesin pencari, llms.txt meminta Anda mengoptimalkan untuk pembaca berbeda: model bahasa. Diusulkan oleh Jeremy Howard, co-founder Answer.AI, pada September 2024, ia adalah satu berkas Markdown yang Anda letakkan di root situs — example.com/llms.txt — yang memberi AI peta bersih dan terkurasi tentang apa yang penting di situs Anda.
Ide ini menyebar cepat di kalangan tim dokumentasi dan sama cepatnya memancing skeptisisme soal apakah ada AI yang benar-benar membacanya. Kedua reaksi itu layak ditanggapi serius, jadi tulisan ini membahas spesifikasinya, adopsi nyatanya, dan bukti soal apakah ia berfungsi — karena berkas yang sepele untuk diterbitkan juga sepele untuk diterbitkan tanpa alasan.
Masalahnya: jendela konteks dan kebisingan HTML
Justifikasi spesifikasinya sendiri konkret. Model bahasa punya jendela konteks yang terlalu kecil untuk menelan seluruh situs web, dan mengubah halaman HTML nyata — navigasi, iklan, banner cookie, JavaScript — menjadi teks bersih untuk model, dalam kata-kata spesifikasinya, sulit sekaligus tidak presisi. llms.txt menghindari kedua masalah itu dengan menawarkan titik masuk Markdown singkat, terkurasi, dan polos di lokasi yang dapat diprediksi, ditulis untuk model, bukan untuk browser.
Apa isi sebuah berkas llms.txt
Formatnya sengaja minimal dan berurutan ketat. Satu-satunya elemen wajib adalah H1 berisi nama situs atau proyek. Setelah itu Anda boleh menambah ringkasan blockquote, Markdown bebas, dan bagian H2 berisi daftar tautan berpoin, masing-masing bisa diberi anotasi. Sebuah bagian yang secara harfiah bernama Optional menandai tautan yang boleh dilewati model ketika perlu memangkas konteks agar muat. Ini bentuknya:
# Example Project
> A short summary of the project, with the key information
> needed to understand the rest of the file.
## Docs
- [Quick start](https://example.com/docs/quickstart.md): Set up in 5 minutes
- [API reference](https://example.com/docs/api.md): Full endpoint list
## Optional
- [Changelog](https://example.com/changelog.md): Skippable when trimming contextllms.txt vs robots.txt vs sitemap.xml
| Aspek | robots.txt | sitemap.xml | llms.txt |
|---|---|---|---|
| Audiens utama | Crawler pencarian dan AI | Mesin pencari | Model bahasa saat inferensi |
| Tugas | Mengatur apa yang boleh diakses | Mendaftar semua URL terindeks | Menunjuk konten paling berguna |
| Format | Aturan teks polos | XML | Markdown yang mudah dibaca |
Ada dua berkas berkaitan yang sering dikacaukan orang. llms.txt adalah indeks tautan yang singkat dan terkurasi. llms-full.txt adalah konvensi komunitas untuk satu berkas dengan seluruh konten halaman disisipkan langsung, bagi model yang bisa menerima semuanya sekaligus. Tooling Answer.AI sendiri juga menghasilkan berkas konteks yang diperluas bernama llms-ctx.txt dan llms-ctx-full.txt dari llms.txt Anda.
Siapa yang benar-benar sudah mengadopsinya
Adopsinya nyata dan mudah diverifikasi — Anda bisa membuka berkas-berkas ini di browser sekarang juga.
- Anthropic menerbitkan satu untuk dokumentasi developer-nya di platform.claude.com/docs/llms.txt, lengkap dengan bagian H2 dan tautan ke sebuah llms-full.txt.
- Dokumentasi milik Stripe, Cloudflare, Vercel, Zapier, Hugging Face, Supabase, dan Cursor merilis berkas llms.txt.
- Mintlify mulai menghasilkan llms.txt secara otomatis untuk setiap situs dokumentasi yang di-host-nya pada November 2024, menambahkan berkas ke ribuan dokumentasi teknis dalam semalam.
Apakah crawler AI benar-benar membacanya?
Inilah bagian yang tak nyaman. John Mueller dari Google menulis bahwa, sepengetahuannya, tidak ada layanan AI yang menyatakan memakai llms.txt, dan log server menunjukkan mereka bahkan tidak memeriksanya — ia membandingkannya dengan meta tag keywords yang sudah lama mati dan menyebut nilainya murni spekulatif untuk saat ini. Data independen mendukung keraguan itu: Evil Martians mengukur dua bulan lalu lintas pada 2026 dan menemukan bahwa dari sekitar 770 pengambilan llms.txt dan llms-full.txt, hanya 37 yang berasal dari asisten AI bernama seperti Perplexity, ChatGPT, dan Claude — sisanya adalah crawler SEO. Kesimpulan mereka: Mueller pada dasarnya benar.
Perlakukan setiap klaim bahwa llms.txt mendongkrak visibilitas AI Anda dengan curiga. Sampai 2026 belum ada penyedia LLM besar yang secara publik berkomitmen memakainya sebagai sinyal retrieval atau peringkat, dan lalu lintas terukur dari asisten nyata kecil. Ia adalah usulan yang punya momentum, bukan tuas peringkat yang terkonfirmasi.
Perlukah Anda merilisnya di 2026?
Jadi apakah layak dilakukan? Pandangan saya adalah ya dengan syarat, dibingkai jujur sebagai taruhan murah, bukan kemenangan yang dijamin.
- Ia adalah kebersihan berbiaya rendah: jika tooling dokumentasi Anda menghasilkannya otomatis, seperti Mintlify, tak ada alasan mematikannya.
- Untuk situs yang dipelihara manual, menulis llms.txt yang baik memaksa Anda mengartikulasikan halaman-halaman terpenting Anda — berguna bahkan jika tak ada model yang pernah membacanya.
- Jangan mengharapkan peningkatan rujukan AI yang terukur, dan jangan biarkan ia menggeser fundamental: HTML bersih, konten nyata, dan sitemap normal masih jauh lebih penting.
Saya merilisnya karena hanya butuh satu sore dan mungkin membuahkan hasil jika adopsi menikung seperti yang akhirnya terjadi pada robots.txt. Tetapi saya memegangnya longgar. Posisi paling jujur di 2026 adalah momentum spesifikasinya sendiri berhadapan dengan log Mueller: banyak situs menerbitkan llms.txt, dan nyaris belum ada yang membuktikan model membacanya. Terbitkan sebagai opsi, pantau log Anda sendiri, dan biarkan bukti — bukan hype — yang memutuskan apakah Anda terus berinvestasi.