State of FinOps 2026: Arti 98% Tim Kelola Biaya AI

Angka yang terus saya pikirkan dari laporan State of FinOps 2026 bukan 98%. Angka itu adalah 53,4%, yaitu porsi responden yang menyebut memahami cakupan penuh biaya AI sebagai tantangan, dan posisinya paling atas di grafik yang selebihnya membahas nilai dan alokasi. Hampir semua tim FinOps kini punya AI dalam cakupannya, tetapi lebih dari separuhnya masih menghitung seberapa besar AI itu sebenarnya.

Post ini membaca langsung data site laporan tersebut, termasuk angka yang tertanam di grafiknya, lalu halaman FinOps Foundation tentang FinOps for AI dan token pricing GenAI, serta halaman spesifikasi FOCUS yang mendefinisikan kolom billing yang benar-benar Anda query. Sudut pandangnya berbeda dari post saya sebelumnya tentang budget agent per task dan budget token LLM: di sini yang ditanyakan adalah apa yang bisa dan tidak bisa dikatakan survei 1.192 responden kepada tim platform soal biaya AI, dan apa yang diubah hari Senin. Saya tidak membaca apa pun di balik login, dan bila site hanya memberi headline tanpa angka, saya katakan demikian.

Apa yang diukur survei, dan siapa yang menjawab

Laporan ini adalah survei State of FinOps dari FinOps Foundation edisi 2026: 1.192 responden yang mewakili lebih dari $83bn belanja cloud tahunan. Menurut ukuran organisasi, 47% adalah large enterprise (10.000 karyawan atau lebih), 33% enterprise (1.000 sampai 9.999), dan 20% SMB (kurang dari 1.000). Menurut wilayah, 35% dari Eropa, Timur Tengah, dan Afrika, 34% dari Amerika Utara, 16% dari Asia Pasifik, dan 15% dari Amerika Selatan dan Tengah.

Ukuran sampelnya tidak konstan. Setiap grafik membawa N-nya sendiri: 693 untuk pertanyaan biaya AI, 649 untuk tantangan AI, 658 untuk rencana investasi AI, 685 untuk prioritas, dan 622 untuk FOCUS. Jadi angka yang layak dikutip untuk AI adalah 98% dari 693 yang menjawab, bukan 98% dari 1.192. Dari halaman yang saya baca, saya tidak bisa memastikan bagaimana responden direkrut, sehingga setiap angka saya perlakukan sebagai laporan praktisi, bukan sensus semua perusahaan pengguna AI.

Asia Pasifik menyumbang 16% responden. Bagi tim di Indonesia, persentase global ini lebih tepat jadi titik rujukan daripada benchmark lokal, dan itu sebabnya setiap angka saya atribusikan ke laporan, bukan saya tulis ulang sebagai fakta pasar.

98% adalah soal cakupan, bukan skor kematangan

Headline-nya: 98% responden kini mengelola biaya AI, naik dari 63% pada 2025 dan 31% pada 2024; site menulis angka lamanya sebagai naik dari 31% dua tahun lalu. Pada data kategori teknologi, AI berada di atas semua kategori lain yang ditanyakan survei.

Perhatikan kata kerjanya. Untuk SaaS, site menulis responden kini mengelolanya atau berencana melakukannya dalam setahun ke depan, sedangkan untuk AI tertulis 98% kini mengelola biaya AI. Halaman itu tidak menyebut berapa dari 98% tersebut yang sudah menjalankannya dan berapa yang baru berencana, dan tim yang sudah memasukkan AI ke roadmap kemungkinan ikut dihitung. Jadi 98% hanya memberi tahu bahwa AI masuk cakupan hampir di mana-mana. Angka itu tidak menyatakan visibilitas siapa pun sudah baik, dan bagian berikutnya menunjukkan bahwa belum.

Satu kutipan responden di site, dari perusahaan jasa keuangan, lebih berguna daripada persentasenya. Praktik yang sudah Anda punya untuk mengatur belanja public cloud seharusnya otomatis mencakup AI, karena AI hanyalah satu kelompok belanja lagi yang butuh disiplin dan governance yang sama. Itu bingkai laporan itu sendiri: AI tidak menulis ulang FinOps, tetapi menguji seberapa lentur kerangka operasinya.

Tiga masalah: cakupan, nilai, dan alokasi

Narasinya menyebut tiga tantangan utama: visibilitas biaya AI, alokasi biaya AI ke unit bisnis, dan menentukan nilai atau ROI AI. Grafik di baliknya bersifat multi-select dengan N=649, dan angkanya lebih tajam daripada narasinya.

Dua pembacaan. Pertama, masalah terbesar bukan optimisasi, melainkan tidak tahu totalnya: cakupan 53,4% mengalahkan nilai 40,1% dan alokasi 39,0%. Kedua, masalah yang biasanya pertama dikejar engineer justru lebih rendah, yaitu forecasting 20,9%, transisi dari proof of concept ke production 17,2%, dan risiko data, etika, atau governance 12,2%. Satu praktisi dikutip di site: apakah AI Anda memberi nilai? Belum ada yang bisa menjawab itu. Visibilitas biaya adalah masalah data plumbing yang bisa dibereskan kuartal ini. Nilai adalah sumber data yang sama sekali berbeda, dan halaman FinOps for AI dari Foundation menyatakannya lugas: billing cloud menyimpan data biaya, sedangkan product analytics atau CRM menyimpan data nilai.

Biaya AI mulai keluar dari tagihan cloud

Grafik investasi menanyakan di mana organisasi berencana menempatkan investasi AI ke depan (multi-select, N=658). Public cloud masih hampir universal, tetapi pertumbuhannya ada di tempat lain. Pembacaan site sendiri: AI menjadi tema investasi lintas bidang, bukan inisiatif yang berdiri sendiri.

Itulah sebabnya standar billing muncul di laporan tentang AI. Responden yang sudah memperoleh data billing berformat FOCUS atau berencana melakukannya naik dari 49,6% ke 85,3% di organisasi dengan belanja $100M ke atas, dari 58,5% ke 84,5% di rentang $15M sampai $100M, dan dari 57,6% ke 91,3% di bawah $15M (N=622). Ditanya area mana yang sebaiknya diperluas FOCUS berikutnya, 16,5% memilih workload AI, di depan data center 13,9% dan PaaS serta SaaS 13,6%. Situs FOCUS menggambarkan spesifikasinya sebagai penormalan dataset billing lintas vendor AI, cloud, SaaS, dan data center, serta mendaftar data generator untuk AWS, Google Cloud, dan Microsoft di v1.2, juga Databricks, Snowflake, Vercel, dan MongoDB di v1.3. Situs itu tidak menyebut token atau billing berbasis token, jadi cek dulu apa yang sebenarnya diekspor vendor LLM Anda sebelum membangun di atasnya.

Apa yang diminta tim dari tool: token, request, dan GPU

Ditanya kemampuan tool apa yang belum ada tetapi mereka inginkan, responden menaruh monitoring biaya AI yang granular, yaitu token, request LLM, dan utilisasi GPU, di urutan pertama. Pre-deployment architecture costing di urutan kedua dan single pane of glass untuk seluruh belanja teknologi di urutan ketiga. Ini permintaan terbuka, bukan fitur yang sudah rilis, dan laporan tidak memberi persentasenya. Bacalah sebagai celah tooling, bukan ukuran berapa banyak tim yang sudah menyelesaikannya.

Paper token pricing dari Foundation menjelaskan mengapa jumlah token mentah menyesatkan. Output token sering berharga tiga sampai lima kali input token. Sebagian besar API LLM bersifat stateless, sehingga seluruh riwayat dikirim ulang di setiap giliran: contohnya giliran ketiga dengan 6 token baru setelah 5 token user dan 50 token bot ditagih sebagai 61 input token. System prompt ikut dikirim ulang, dan biaya sebuah gambar berulang di setiap giliran berikutnya selama gambar itu masih ada di riwayat. Sarannya: ukur biaya per use case, karena biaya per unit bukan harga tetap melainkan sebuah distribusi. Query di bawah ini mengambil bagian yang sudah bisa Anda dapat dari ekspor FOCUS.

-- DuckDB. focus-export.parquet is a FOCUS Cost and Usage export from your
-- provider. Column names are the FOCUS ones: ChargePeriodStart, ServiceName,
-- ChargeCategory, BilledCost, ConsumedQuantity, ConsumedUnit, Tags.
SELECT
  date_trunc('month', ChargePeriodStart)            AS month,
  ServiceName,
  -- Tags is a JSON column and is nullable by spec. Null means "unallocated".
  coalesce(json_extract_string(Tags, '$.team'), '(untagged)') AS team,
  -- ConsumedQuantity is only populated for Usage charges, and its meaning
  -- depends on ConsumedUnit. Group by the unit; never sum across units.
  ConsumedUnit,
  sum(BilledCost)       AS billed_cost,
  sum(ConsumedQuantity) AS consumed_quantity
FROM read_parquet('focus-export.parquet')
WHERE ChargeCategory = 'Usage'
  -- ServiceName strings are provider-specific. Run SELECT DISTINCT ServiceName
  -- first and edit this pattern to match what your own export contains.
  AND regexp_matches(ServiceName, '(?i)bedrock|vertex|openai|foundry|inference')
GROUP BY ALL
ORDER BY billed_cost DESC;

-- How much AI spend has no team at all? Start here before arguing about ROI.
SELECT
  round(100.0 * sum(BilledCost) FILTER (WHERE Tags IS NULL
        OR json_extract_string(Tags, '$.team') IS NULL) / sum(BilledCost), 1)
    AS pct_unallocated
FROM read_parquet('focus-export.parquet')
WHERE ChargeCategory = 'Usage'
  AND regexp_matches(ServiceName, '(?i)bedrock|vertex|openai|foundry|inference');

Query itu menghasilkan biaya per team dan service. Ia tidak bisa memberi token per request atau utilisasi GPU kecuali provider melaporkannya sebagai ConsumedQuantity dan ConsumedUnit, dan spesifikasi hanya mewajibkan ConsumedQuantity untuk charge Usage ketika provider mengukur penggunaan. Celah itulah yang digambarkan permintaan tool teratas, dan sampai sebuah tool menutupnya, Anda mencatat token sendiri di titik pemanggilan, seperti ditunjukkan bagian terakhir.

Prioritas bergeser dari menekan pemborosan ke nilai

Pertanyaan prioritas bersifat multi-select dengan N=685 dan menanyakan kondisi sekarang serta 12 bulan ke depan. Workload optimisation dan pengurangan pemborosan tetap menjadi prioritas tunggal teratas saat ini di 42,5%, tetapi FinOps for AI adalah yang teratas untuk ke depan. Angka gabungan untuk baris yang relevan di sini:

Large enterprise paling condong ke arah ini: FinOps for AI naik dari 21,8% sekarang ke 37,1% tahun depan, dibanding 20,7% ke 34,2% untuk SMB dan 19,3% ke 26,1% untuk enterprise menengah. Unit economics yang naik dari 12,7% ke 20,4% sejalan dengan argumen paper token bahwa unit yang dilacak adalah hasil, bukan panggilan. Laporan juga mencatat banyak organisasi diminta membiayai sendiri AI lewat penghematan hasil optimisasi, tanpa menyebut persentasenya, sehingga turunnya prioritas optimisasi terkait dengan fakta anggaran, bukan sekadar tren.

Apa yang tidak bisa dikatakan laporan ini, dan di mana ia menyesatkan

Survei praktisi adalah bukti yang baik tentang ke mana perhatian bergerak, dan bukti yang lemah tentang ke mana uang bergerak. Ada empat batasan yang perlu dipahami sebelum Anda mengutipnya di dokumen perencanaan.

• Ia melaporkan porsi responden, bukan dolar. Angka 98% tidak mengatakan apa pun tentang seberapa besar belanja AI dibanding sisa tagihan.
• Porsi multi-select tidak berjumlah 100% dan tidak sebanding antar grafik dengan N berbeda. Turunnya pengurangan pemborosan dari 42,5% ke 25,0% bukan berarti optimisasi ditinggalkan; laporan menyatakan itu tetap prioritas teratas saat ini dan prioritas lain bila digabung melampauinya.
• Beberapa klaim utama tidak punya angka di halamannya: banyak organisasi membiayai AI dari penghematan, dan peringkat fitur tool yang diminta. Perlakukan itu sebagai arah, bukan ukuran.
• Ia tidak memberi benchmark biaya per hasil. Paper token dari Foundation menunda definisi successful outcome ke paper berikutnya, jadi tidak ada angka eksternal untuk membandingkan angka Anda sendiri.

Semua ini tidak membuat survei kurang berguna. Ia menjadi peta masalah yang sebentar lagi akan ditanyakan tim finance dan platform Anda, yang pekerjaannya berbeda dari benchmark tentang seperti apa kondisi yang baik.

Apa yang dikerjakan hari Senin

Lima langkah ini mengikuti jalur kematangan laporan itu sendiri, visibilitas dulu, lalu disiplin perencanaan, lalu nilai, dan tidak butuh tool baru.

1. Ekspor satu bulan data billing dalam format FOCUS bila provider Anda menyediakannya, lalu jalankan query alokasi di atas. Persentase biaya AI tanpa tag team adalah angka nyata pertama Anda.
2. Wajibkan tag atau label team, feature, dan environment pada setiap proyek dan API key AI. Jadikan biaya tanpa tag masalah milik seseorang yang disebut namanya.
3. Catat setiap panggilan LLM dengan jumlah input, output, dan cached token, feature, team, serta outcome id yang dibagi oleh retry-nya, lalu hitung biaya per accepted outcome seperti kode di bawah.
4. Minta platform inference atau GPU Anda menyediakan utilisasi sebagai metrik di samping biaya. Biaya tanpa utilisasi tidak bisa membedakan reservasi yang menganggur dari yang sibuk.
5. Untuk setiap fitur AI, tulis satu kalimat yang menyebut di mana data nilainya berada, misalnya product analytics atau CRM. Bila kalimat itu tidak bisa ditulis, pertanyaan ROI belum punya jawaban, dan itu penting diketahui sebelum review anggaran.

// ai-cost-record.ts: one record per LLM call, written next to your app logs.

type Usage = {
  inputTokens: number; // uncached input. Some providers report the total
  outputTokens: number; // instead, so check how yours splits cached reads out.
  cachedInputTokens: number;
};

// Per-million-token rates come from YOUR provider's price page and change.
// Pass them in; never hard-code a number copied from a blog post.
type Rates = { inputPerM: number; outputPerM: number; cachedInputPerM: number };

export function callCost(u: Usage, r: Rates): number {
  return (
    (u.inputTokens * r.inputPerM +
      u.cachedInputTokens * r.cachedInputPerM +
      u.outputTokens * r.outputPerM) /
    1_000_000
  );
}

// A stateless chat API resends the history every turn. The FinOps Foundation's
// worked example: turn 3 adds 6 new tokens after 5 user + 50 bot tokens,
// and is billed as 5 + 50 + 6 = 61 input tokens.
export function turnInputTokens(history: number[], newTokens: number): number {
  return history.reduce((sum, n) => sum + n, 0) + newTokens;
}

type Outcome = "accepted" | "retried" | "abandoned";
export type CostRecord = {
  feature: string;
  team: string; // the same key you put in the FOCUS Tags column
  outcomeId: string; // one id per user-visible result, shared by its retries
  costUsd: number;
  outcome: Outcome;
};

// Cost per SUCCESSFUL outcome, as a distribution, plus what failures burned.
export function costPerOutcome(records: CostRecord[]) {
  const byId = new Map<string, { cost: number; ok: boolean }>();
  for (const r of records) {
    const e = byId.get(r.outcomeId) ?? { cost: 0, ok: false };
    e.cost += r.costUsd;
    e.ok = e.ok || r.outcome === "accepted";
    byId.set(r.outcomeId, e);
  }
  const all = [...byId.values()];
  const costs = all.filter((e) => e.ok).map((e) => e.cost).sort((a, b) => a - b);
  if (costs.length === 0) return { n: 0, p50: 0, p90: 0, failedSpend: 0 };
  const q = (p: number) => costs[Math.min(costs.length - 1, Math.floor(p * costs.length))];
  const failedSpend = all.filter((e) => !e.ok).reduce((s, e) => s + e.cost, 0);
  // p90 and failedSpend are the numbers a per-token dashboard cannot show.
  return { n: costs.length, p50: q(0.5), p90: q(0.9), failedSpend };
}

Jalankan angka p90 dan biaya gagal untuk satu fitur sebelum Anda memperluasnya. Bila p90 jauh di atas p50, perubahan prompt, retry, atau context akan menggerakkan tagihan Anda lebih banyak daripada potongan harga, yang justru argumen paper token tersebut dalam bentuk kata-kata.

Aturan yang saya ambil dari laporan ini: biaya AI adalah masalah cakupan dan nilai sebelum menjadi masalah optimisasi. Alokasikan setiap charge AI ke sebuah team, ukur biaya per accepted outcome, bukan per token, dan simpan persentase survei sebagaimana adanya: catatan tentang apa yang dikatakan 1.192 praktisi sedang mereka kerjakan.