Prompt Caching: Biaya Sebenarnya dan Kapan Hemat

Kalau kamu memakai model AI untuk pekerjaan yang berulang — asisten dengan system prompt panjang, RAG yang menyisipkan dokumen yang sama, atau agen dengan instruksi tetap — sebagian besar token yang kamu bayar sebenarnya dikirim ulang setiap kali. Prompt caching dibuat untuk itu.

Masalahnya, cache tidak otomatis menghemat. Ada tiga jenis token dengan tarif berbeda, dan salah menghitung bisa membuat tagihan naik, bukan turun.

Tiga jenis token yang perlu dibedakan

Setiap permintaan bisa memuat sampai tiga komponen biaya:

1. Input biasa — token baru yang belum pernah dilihat model.
2. Cache write — token yang disimpan ke cache penyedia. Biasanya lebih mahal dari input: sekitar 1,25 kali untuk cache berumur pendek, dan bisa 2 kali untuk yang berumur satu jam.
3. Cache read — token yang diambil dari cache. Inilah yang murah: umumnya 5–10% dari harga input.

Yang membuat cache menguntungkan adalah selisih besar antara poin 1 dan 3, ditambah fakta bahwa poin 2 hanya dibayar sekali.

Kenapa cache read bisa jauh lebih murah

Model tidak perlu memproses ulang token yang sudah dikenal. Komputasi mahal pada dasarnya sudah dilakukan saat cache ditulis, jadi membacanya kembali hanya perlu memuat konteks. Penyedia meneruskan sebagian penghematan itu ke kamu.

Contoh dari katalog Pasarai, harga per 1 juta token:

Model	Input	Cache read	Porsi cache
Claude Fable 5	$4,2966	$0,4297	10%
GPT-6 Astra	$3,1032	$0,3108	10%
Claude Opus 5.5	$1,6754	$0,0838	5%

Porsi cache read berbeda tiap model, dan sebagian penyedia tidak mempublikasikannya sama sekali. Karena itu tarif cache disimpan per model, bukan satu angka global — angka global akan salah untuk sebagian besar katalog.

Menghitung untungnya

Ambil contoh nyata: system prompt 5.000 token, dipanggil 100 kali sehari, memakai model dengan harga input $4,2966 per 1 juta token.

Tanpa cache, seluruh token dihitung sebagai input baru:

• 500.000 token × $4,2966 = $2,15 per hari

Dengan cache, satu kali penulisan lalu 99 kali pembacaan:

• cache write: 6.250 token (5.000 × 1,25) × $5,3708 = $0,034
• cache read: 495.000 token × $0,4297 = $0,213
• total: $0,247 per hari

Selisihnya sekitar 89%. Semakin sering prompt yang sama dipakai, semakin besar penghematannya — dan biaya cache write yang tampak mahal itu terbayar setelah beberapa kali pemakaian saja.

Kapan cache justru tidak membantu

• Prompt pendek. Sebagian penyedia punya ambang minimum, biasanya 1.000–2.000 token. Di bawah itu tidak ada yang bisa di-cache.
• Prompt berubah tiap panggilan. Satu karakter berbeda di awal membuat prefix tidak cocok lagi.
• Jeda antar permintaan lebih lama dari umur cache. Cache yang kedaluwarsa harus ditulis ulang, dan biaya write lebih mahal daripada input biasa.
• Dipakai sekali saja. Menulis cache untuk satu kali pemakaian hanya menambah biaya.

Aturan praktisnya: cache cocok kalau ada bagian tetap yang panjang dan dipakai berkali-kali dalam rentang waktu yang berdekatan.

Jangan tertukar dengan cache respons

Ada dua lapis cache yang sering dicampur:

• Prompt cache (penyedia model) memotong biaya token untuk prefix yang sama. Jawaban tetap dihasilkan ulang setiap kali.
• Cache respons (gateway) mengembalikan jawaban yang sama persis tanpa memanggil model sama sekali.

Lapis kedua hanya aman untuk permintaan yang benar-benar deterministik: suhu rendah, tanpa tool, tanpa streaming. Yang pertama tidak mengubah apa pun pada hasil, hanya pada tagihan. Pasarai memakai keduanya — tarif cache read per model untuk yang pertama, dan cache respons berumur satu jam untuk permintaan identik.

Yang perlu kamu periksa di tagihan

• Apakah penyedia menagih cache write terpisah, dan sebesar apa pengalinya.
• Berapa umur cache-nya. Cache 5 menit dan 1 jam sering berbeda tarif.
• Apakah tarif cache read tersedia per model, atau hanya satu angka untuk semua.

Kalau salah satu dari itu tidak jelas, biaya cache-mu sedang ditebak. Di Pasarai, harga input, output, dan cache read ditampilkan per model dalam rupiah mengikuti kurs harian, jadi kamu bisa menghitung sendiri sebelum memutuskan.

Pertanyaan yang sering muncul

Apakah cache read selalu lebih murah? Di semua penyedia besar, ya. Kalau kamu menemukan harga cache lebih tinggi daripada harga input, hampir pasti itu salah pencocokan model, bukan kebijakan penyedia.

Apakah cache berlaku untuk streaming? Prompt cache berlaku. Cache respons tidak, karena jawaban yang dikirim harus utuh dan tidak bisa dipotong di tengah.

Apakah cache menurunkan kualitas jawaban? Tidak. Token yang diproses sama, hanya tidak dihitung ulang.

Berapa lama cache bertahan? Tergantung penyedia, umumnya 5 menit hingga 1 jam sejak pemakaian terakhir. Setiap cache read memperpanjang umurnya pada sebagian layanan.

Kalau kamu ingin membandingkan biaya beberapa model sekaligus sebelum memutuskan, mulai dari katalog model — semua harga sudah dalam rupiah.