AI
Mengenal llms.txt: Standar AI untuk Konten Situs Web
Juli 20269 menit baca
Foto oleh Tara Winstead on Pexels
llms.txt adalah konvensi yang diusulkan, diperkenalkan oleh Jeremy Howard dari Answer.AI pada September 2024, untuk sebuah berkas Markdown yang diletakkan di root situs web di /llms.txt. Ia memberi large language model peta terkurasi yang mudah dibaca tentang konten paling penting sebuah situs, menjawab kenyataan bahwa jendela konteks LLM terlalu kecil untuk menelan seluruh situs HTML. Ia adalah usulan komunitas, bukan standar W3C atau IETF.
robots.txt memberi tahu crawler path mana yang boleh diakses, dan sitemap.xml mendaftar setiap URL untuk pengindeksan. llms.txt tidak melakukan keduanya: ia adalah indeks Markdown terkurasi berisi konten paling berharga, ditulis agar dibaca LLM saat inferensi, bukan untuk mengatur crawl. Ia melengkapi robots.txt dan sitemap, bukan menggantikannya.
Sebagian besar belum, dan inilah pertanyaan terbuka terbesar standar ini. John Mueller dari Google menyatakan tidak ada layanan AI yang mengaku memakai llms.txt dan log server menunjukkan mereka bahkan tidak memeriksanya. Studi log Evil Martians pada 2026 menemukan hanya 37 dari sekitar 770 pengambilan llms.txt berasal dari asisten AI nyata; sisanya bot SEO. Belum ada penyedia besar yang berkomitmen memakainya.
Buat berkas Markdown polos dengan judul H1 yang wajib, ringkasan blockquote opsional, dan bagian H2 berisi tautan Markdown berpoin ke halaman-halaman penting Anda, idealnya versi .md yang bersih. Simpan di root situs sebagai /llms.txt. Secara opsional tambahkan llms-full.txt dengan konten penuh yang disisipkan, atau hasilkan berkas konteks yang diperluas memakai tool llms_txt2ctx milik Answer.AI.
Tergantung tujuan Anda. Adopsinya luas di situs dokumentasi seperti Anthropic, Stripe, Cloudflare, Vercel, dan ribuan dokumentasi yang di-host Mintlify, dan berkasnya murah dibuat, sehingga banyak tim merilisnya sebagai kebersihan berisiko rendah. Tetapi belum ada bukti terbukti bahwa ia meningkatkan retrieval atau kutipan AI, dan belum ada vendor LLM besar yang berkomitmen memakainya, jadi perlakukan sebagai taruhan opsional, bukan tuas peringkat yang dijamin.
Foto oleh Tara Winstead on Pexels
Ringkasan Utama
llms.txt adalah konvensi yang diusulkan, diperkenalkan oleh Jeremy Howard dari Answer.AI pada September 2024, untuk sebuah berkas Markdown di root situs web yang memberi large language model peta terkurasi dari konten paling penting situs tersebut. Ia menjawab keterbatasan konteks LLM dan HTML yang berantakan. Adopsinya luas di situs dokumentasi, tetapi belum ada penyedia AI besar yang mengonfirmasi memakainya, dan nilai nyatanya di 2026 masih belum terbukti.
Jika Anda pernah mengoptimalkan situs untuk mesin pencari, llms.txt meminta Anda mengoptimalkan untuk pembaca berbeda: model bahasa. Diusulkan oleh Jeremy Howard, co-founder Answer.AI, pada September 2024, ia adalah satu berkas Markdown yang Anda letakkan di root situs — example.com/llms.txt — yang memberi AI peta bersih dan terkurasi tentang apa yang penting di situs Anda.
Ide ini menyebar cepat di kalangan tim dokumentasi dan sama cepatnya memancing skeptisisme soal apakah ada AI yang benar-benar membacanya. Kedua reaksi itu layak ditanggapi serius, jadi tulisan ini membahas spesifikasinya, adopsi nyatanya, dan bukti soal apakah ia berfungsi — karena berkas yang sepele untuk diterbitkan juga sepele untuk diterbitkan tanpa alasan.
Justifikasi spesifikasinya sendiri konkret. Model bahasa punya jendela konteks yang terlalu kecil untuk menelan seluruh situs web, dan mengubah halaman HTML nyata — navigasi, iklan, banner cookie, JavaScript — menjadi teks bersih untuk model, dalam kata-kata spesifikasinya, sulit sekaligus tidak presisi. llms.txt menghindari kedua masalah itu dengan menawarkan titik masuk Markdown singkat, terkurasi, dan polos di lokasi yang dapat diprediksi, ditulis untuk model, bukan untuk browser.
Formatnya sengaja minimal dan berurutan ketat. Satu-satunya elemen wajib adalah H1 berisi nama situs atau proyek. Setelah itu Anda boleh menambah ringkasan blockquote, Markdown bebas, dan bagian H2 berisi daftar tautan berpoin, masing-masing bisa diberi anotasi. Sebuah bagian yang secara harfiah bernama Optional menandai tautan yang boleh dilewati model ketika perlu memangkas konteks agar muat. Ini bentuknya:
# Example Project
> A short summary of the project, with the key information
> needed to understand the rest of the file.
## Docs
- [Quick start](https://example.com/docs/quickstart.md): Set up in 5 minutes
- [API reference](https://example.com/docs/api.md): Full endpoint list
## Optional
- [Changelog](https://example.com/changelog.md): Skippable when trimming context| Aspek | robots.txt | sitemap.xml | llms.txt |
|---|---|---|---|
| Audiens utama | Crawler pencarian dan AI | Mesin pencari | Model bahasa saat inferensi |
| Tugas | Mengatur apa yang boleh diakses | Mendaftar semua URL terindeks | Menunjuk konten paling berguna |
| Format | Aturan teks polos | XML | Markdown yang mudah dibaca |
Ada dua berkas berkaitan yang sering dikacaukan orang. llms.txt adalah indeks tautan yang singkat dan terkurasi. llms-full.txt adalah konvensi komunitas untuk satu berkas dengan seluruh konten halaman disisipkan langsung, bagi model yang bisa menerima semuanya sekaligus. Tooling Answer.AI sendiri juga menghasilkan berkas konteks yang diperluas bernama llms-ctx.txt dan llms-ctx-full.txt dari llms.txt Anda.
Adopsinya nyata dan mudah diverifikasi — Anda bisa membuka berkas-berkas ini di browser sekarang juga.
Inilah bagian yang tak nyaman. John Mueller dari Google menulis bahwa, sepengetahuannya, tidak ada layanan AI yang menyatakan memakai llms.txt, dan log server menunjukkan mereka bahkan tidak memeriksanya — ia membandingkannya dengan meta tag keywords yang sudah lama mati dan menyebut nilainya murni spekulatif untuk saat ini. Data independen mendukung keraguan itu: Evil Martians mengukur dua bulan lalu lintas pada 2026 dan menemukan bahwa dari sekitar 770 pengambilan llms.txt dan llms-full.txt, hanya 37 yang berasal dari asisten AI bernama seperti Perplexity, ChatGPT, dan Claude — sisanya adalah crawler SEO. Kesimpulan mereka: Mueller pada dasarnya benar.
Perlakukan setiap klaim bahwa llms.txt mendongkrak visibilitas AI Anda dengan curiga. Sampai 2026 belum ada penyedia LLM besar yang secara publik berkomitmen memakainya sebagai sinyal retrieval atau peringkat, dan lalu lintas terukur dari asisten nyata kecil. Ia adalah usulan yang punya momentum, bukan tuas peringkat yang terkonfirmasi.
Jadi apakah layak dilakukan? Pandangan saya adalah ya dengan syarat, dibingkai jujur sebagai taruhan murah, bukan kemenangan yang dijamin.
Saya merilisnya karena hanya butuh satu sore dan mungkin membuahkan hasil jika adopsi menikung seperti yang akhirnya terjadi pada robots.txt. Tetapi saya memegangnya longgar. Posisi paling jujur di 2026 adalah momentum spesifikasinya sendiri berhadapan dengan log Mueller: banyak situs menerbitkan llms.txt, dan nyaris belum ada yang membuktikan model membacanya. Terbitkan sebagai opsi, pantau log Anda sendiri, dan biarkan bukti — bukan hype — yang memutuskan apakah Anda terus berinvestasi.