Semantic Caching untuk LLM: Hemat Biaya Pertanyaan Berulang

Amati analitik chatbot produksi mana pun selama seminggu dan sebuah pola akan terlihat jelas: sekelompok kecil pertanyaan menyumbang sebagian besar trafik, dan hampir tidak ada yang ditulis dengan kata-kata identik. Pengguna bertanya apa kebijakan pengembalian dana, lalu bagaimana jika saya ingin uang saya kembali, lalu apakah saya bisa dapat refund. Tiga kalimat berbeda, satu maksud yang sama, tiga panggilan model penuh dengan biaya penuh.

Exact-match caching tidak bisa melihat pola ini. Ia melakukan hashing terhadap string prompt secara literal, sehingga perubahan kata, tanda baca, atau urutan kata langsung dianggap cache miss. Semantic caching mengatasi masalah ini dengan membandingkan makna, bukan karakter, menggunakan vektor embedding dan ambang batas kemiripan untuk memutuskan kapan jawaban tersimpan cukup mirip untuk digunakan kembali. Artikel ini membahas cara kerjanya, cara menentukan ambang batas, cara melakukan invalidasi entri yang basi, dan kapan teknik ini lebih unggul dibanding exact-match prompt caching bawaan penyedia seperti Anthropic dan Amazon Bedrock.

Exact match versus semantic match

Prompt caching sisi penyedia, seperti yang disediakan secara native oleh Anthropic dan Amazon Bedrock, bekerja pada prefix yang identik byte demi byte. Ini sangat efektif untuk konteks panjang dan statis seperti system prompt, dokumen, atau skema tool yang berulang di setiap giliran percakapan, karena penyedia layanan cukup melewati perhitungan ulang status attention untuk prefix yang persis sama itu. Namun ia tidak berbuat apa-apa untuk bagian pertanyaan pengguna yang sesungguhnya, karena bagian itu memang berubah di setiap permintaan. Semantic caching menyasar tepat pada celah tersebut, yaitu bagian bahasa alami yang variatif dari permintaan yang tidak bisa disentuh oleh cache milik penyedia.

• Exact-match caching mengandalkan hash dari teks literal, sehingga satu spasi tambahan atau kalimat yang ditulis ulang langsung menjadi cache miss penuh.
• Semantic caching mengandalkan vektor embedding, sehingga parafrasa, salah ketik, dan susunan kata yang berbeda masih bisa terdeteksi sebagai hit.
• Keduanya saling melengkapi, bukan bersaing: gunakan prompt caching bawaan penyedia untuk prefix yang statis, dan semantic cache untuk bagian pertanyaan yang variatif di atasnya.

Bagaimana pencarian ini sebenarnya bekerja

Mekanismenya sederhana meskipun manfaatnya besar. Setiap kueri yang masuk diubah menjadi vektor embedding berpanjang tetap menggunakan model embedding yang kecil dan murah, lalu dibandingkan dengan vektor kueri yang tersimpan sebelumnya menggunakan cosine similarity, yang mengukur sudut antara dua vektor, bukan jarak mentahnya. Jika vektor tersimpan yang paling dekat melewati ambang batas kemiripan, jawaban yang tersimpan langsung dikembalikan dalam hitungan milidetik dan permintaan tidak pernah menyentuh model bahasa. Jika tidak ada yang melewati ambang batas, permintaan diteruskan ke model seperti biasa, lalu kueri baru, embeddingnya, dan jawaban segar tersebut ditulis kembali ke dalam cache untuk digunakan berikutnya. Di balik layar, sebagian besar penerapan produksi tidak melakukan pemindaian brute-force ke setiap vektor tersimpan. Mereka mengandalkan indeks tetangga terdekat aproksimasi, umumnya graf HNSW atau struktur berbasis IVF, sehingga pencarian tetap berada di kisaran milidetik meskipun ada jutaan entri tersimpan. Redis, Postgres dengan pgvector, dan basis data vektor terkelola semuanya mendukung pola ini, dan pemilihan indeks lebih banyak bergantung pada apa yang sudah dioperasikan tim Anda daripada performa mentah, karena perbedaannya baru terasa pada skala yang sangat besar.

# Read-through semantic cache lookup (pseudocode)
def handle_query(user_message: str) -> dict:
    query_vec = embed(user_message)                # e.g. 1024-d model
    hit = vector_store.search(query_vec, k=3)       # cosine distance index

    if hit and hit.score >= SIMILARITY_THRESHOLD:   # e.g. 0.85
        return {"response": hit.answer, "source": "cache"}

    answer = call_llm(user_message)                 # cache miss -> real call
    vector_store.upsert(query_vec, answer, ttl=86400)
    return {"response": answer, "source": "llm"}

Menentukan ambang batas kemiripan

Ambang batas adalah satu-satunya pengaturan yang menentukan apakah cache Anda menghemat biaya atau justru menyajikan jawaban yang salah. Terlalu rendah, pertanyaan yang tidak berkaitan mulai mengembalikan jawaban satu sama lain, yang lebih buruk daripada cache miss karena pengguna mendapat informasi yang salah dengan penuh keyakinan tanpa sinyal kesalahan. Terlalu tinggi, Anda hampir tidak memperoleh peningkatan dibanding exact-match caching, karena hanya frasa yang hampir identik yang lolos. Implementasi yang dipublikasikan cenderung berkumpul pada rentang sempit: cosine similarity sekitar 0,8 hingga 0,85 menjadi titik awal umum untuk tanya jawab umum, mengetat menuju 0,9 atau lebih tinggi untuk konten yang jawabannya salah bisa berdampak nyata, seperti harga, kelayakan refund, atau konten medis maupun hukum.

Invalidasi cache, bagian yang sering dilewatkan semua orang

Semantic cache yang tidak pernah kedaluwarsa adalah beban, bukan fitur, karena dunia di balik jawaban yang tersimpan terus berubah meskipun pertanyaannya tetap sama. Bangun mekanisme invalidasi sejak hari pertama, bukan sebagai tugas tambahan belakangan.

1. Lekatkan time-to-live pada setiap entri. Rentang beberapa jam hingga satu hari cukup untuk sebagian besar konten dukungan; pertanyaan tentang harga dan stok butuh jendela waktu yang jauh lebih pendek, kadang hanya beberapa menit.
2. Lakukan invalidasi berdasarkan tag atau namespace saat sumber datanya berubah. Jika dokumen kebijakan diperbarui, hapus setiap entri cache yang bertanda dokumen tersebut daripada menunggu TTL masing-masing habis satu per satu.
3. Beri versi pada ruang kunci cache setiap kali system prompt, model, atau model embedding berubah, agar entri lama tidak bocor ke konfigurasi baru.
4. Catat setiap cache hit beserta skor kemiripannya. Lonjakan tiba-tiba pada skor yang mengumpul tepat di garis ambang batas adalah tanda peringatan dini bahwa cache sedang dipaksakan terlalu jauh.

Di mana semantic caching membuahkan hasil, dan di mana tidak

Teknik ini bukan peningkatan universal. Ia unggul pada pola trafik tertentu dan justru bisa merugikan pada pola lainnya.

• Target bernilai tinggi: bot dukungan pelanggan dan FAQ, asisten pengetahuan internal, serta chatbot apa pun yang menangani sekelompok kecil maksud yang sama dari banyak pengguna dengan banyak variasi kalimat berbeda.
• Kurang cocok: penulisan kreatif, pembuatan kode, atau beban kerja apa pun di mana setiap permintaan benar-benar baru, karena tidak ada yang bisa digunakan ulang dan pencarian embedding hanya menambah latensi tanpa manfaat.
• Berisiko tanpa perhatian ekstra: hal apa pun di mana jawaban yang basi atau kira-kira benar menimbulkan kerugian nyata, seperti panduan finansial, medis, atau hukum, kecuali ambang batas diatur sangat konservatif dan dipadukan dengan invalidasi yang ketat.

Daftar periksa implementasi minimal

Jika Anda menambahkan ini ke chatbot atau pipeline RAG yang sudah ada, versi paling minimal membutuhkan empat komponen: model embedding yang sudah Anda percaya, indeks vektor yang mendukung pencarian tetangga terdekat aproksimasi dengan skor kemiripan yang dikembalikan bersama setiap hit, ambang batas yang telah Anda validasi terhadap set kueri nyata berlabel, bukan sekadar tebakan, serta jalur TTL dan invalidasi yang terikat pada konten apa pun yang menjadi dasar jawaban tersebut. Mulailah dengan ambang batas yang konservatif, ukur hit rate dan false-hit rate secara terpisah menggunakan umpan balik yang tercatat, dan longgarkan ambang batas secara bertahap daripada mulai longgar lalu mengetat setelah terjadi insiden. Pantau tiga angka sejak minggu pertama: cache hit rate, estimasi penghematan biaya per hari berdasarkan harga per token model, dan sampel hit yang ditinjau secara manual untuk menangkap false positive yang tidak bisa terlihat oleh logging otomatis Anda sendiri. Sebagian besar tim menemukan penghematan nyata pertama dalam hitungan hari, dan penghematan tambahan terbesar setelah itu datang dari normalisasi kueri dan penyetelan ambang batas, bukan dari mengganti model embedding atau basis data vektor.