Uji A/B kami, secara terbuka. Ukur kami.
Kami menerbitkan setiap jalannya uji: empat baterai pada dataset publik, 10 model, dan kedua lengan diukur dengan penghitung penggunaan milik penyedia sendiri. Setiap angka membawa n, interval, dan tanggalnya. Apa yang tidak menghemat juga ada di sini.
- baterai
- 4
- model diuji
- 10
- model dengan pengukuran
- 10
- laporan langsung
- 15
- jalan uji terakhir
- 1 Okt 2026
Cara membaca halaman ini
- A/B dengan SDK
- Dua lengan pada permintaan yang sama, dinilai dengan penggunaan yang dilaporkan penyedia. Begitulah baterai uji ini diukur.
- Replay di gateway
- Pemutaran ulang kontrafaktual dengan garis dasar yang sebagian direkonstruksi. Ini bukan A/B langsung, bukan penghematan yang ditagihkan, dan bukan rekonsiliasi tagihan.
- Permintaan yang sama
- Lengan A: langsung ke penyedia, tanpa lapisan
- Lengan B: melalui lapisan, dengan konfigurasi bawaannya
- Meteran pemakaian penyedia mengukur kedua lengan
Kompatibel tidak berarti terukur: sebuah model hanya dihitung di sini jika memiliki putaran yang diterbitkan, dan yang tidak dapat diukur disebutkan beserta alasannya.
Filter baca
Menampilkan 12 dari 12 bagian.
Pracetakv2.3-r1
Verifiable Measurement of Cost Savings in Large Language Model Applications Open-Core Edition
Edisi yang direvisi setelah tinjauan eksternal prapublikasi: metode, estimator, ketidakpastian, dan batas setiap angka.
Apa yang diukur, dan bagaimana
- Dua lengan, permintaan yang sama. A langsung ke penyedia, tanpa lapisan; B melewati lapisan dengan konfigurasi bawaannya. Prompt yang sama, sampling yang sama, batas output yang sama.
- Penggunaan yang dilaporkan penyedia dan harga daftar berversi. Setiap lengan dinilai dari
usageyang dikembalikan API dan katalog harga daftar bertanggal. Penghematan adalah 1 − biaya(B) / biaya(A) dari jalan uji yang sama. Jumlah diberi label measured, reference-valued atau estimated sesuai buktinya; ini bukan rekonsiliasi faktur. - Interval 95%. Dihitung oleh setiap harness (resampling seluruh keluarga pertanyaan, Wilson untuk tingkat penolakan). Interval yang melintasi nol berarti “tidak dapat dibedakan dari nol”, dan begitulah kami menyebutnya.
- Paket yang Anda pasang. Putaran A/B di tabel-tabel di bawah dibuat dengan 0.4.31: lengan B menjalankan kode sumber tag itu, dan
dist/index.js-nya identik byte demi byte dengan milik tarball npm (sha256b52f99cacf9804ecd3153e56f26ec3adcdc2510d52a8446a369ecf914e0b5731). Bench mingguan langsung berbeda: di setiap putaran ia mengukur kode sumber main apa adanya pada hari itu, sebelum dirilis. - Tanpa jalan pintas. Setiap harness mengawasi host yang dihubunginya dan membawa batas pengeluaran per model yang tertulis dalam kode. Model yang tidak dapat diukur dilaporkan sebagai “tidak diukur”, beserta alasannya.
Baca makalah penelitian v2.3-r1 setebal 15 halaman (PDF): metode, jenis bukti, dan keterbatasan setiap angka, direvisi setelah tinjauan eksternal prapublikasi.
Empat baterai, dataset publik, dipatok
| Baterai | Apa yang diperiksa | Dataset | Berkas yang dipatok | Lisensi |
|---|---|---|---|---|
| GSM8K | Soal cerita matematika dengan pengulangan dan parafrasa: berapa banyak yang dihemat cache dan apakah akurasi menurun. | openai/grade-school-mathcommit 3101c7d5072418e28b9008a6636bde82a006892c | gsm8k-test sha256 3730d312f6e3440559ace48831e51066acaca737f6eabec99bccb9e4b3c39d14gsm8k-trainsha256 17f347dc51477c50d4efb83959dbb7c56297aba886e5544ee2aaed3024813465 | MIT |
| BFCL | Panggilan tool: lapisan tidak boleh mengubah satu pun, dan seluruh katalog harus sampai. | ShishirPatil/gorillacommit f7cf7359b7ac615a0b294831c5ba2bc95ee4a000 | dipatok pada commit | Apache-2.0 |
| XSTest | Penolakan: lapisan tidak boleh mengubah kapan model menolak, atau menyajikan penolakan dari cache. | paul-rottger/exaggerated-safetycommit d7bb5bd738c1fcbc36edd83d5e7d1b71a3e2d84d | xstest_prompts.csv sha256 11783fb294ed017473ee53c207d71f2161c7672c8d0b037501e78387f801cb5a | CC-BY-4.0 |
| MT-Bench | Obrolan dua giliran tanpa pengulangan: lapisan tidak boleh memperburuk biaya, latensi, atau kualitas. | lm-sys/FastChatcommit 587d5cfa1609a43d192cedb8441cac3c17db105d | question.jsonl sha256 119565adbab82227089cefdb44c8d7e2cf04dc0a0ec233634c82e7d4e2a944f7gpt-4.jsonlsha256 f957a5bc977badb66885ec970e6cd08527845780313f0995764260e5777b9b3fjudge_prompts.jsonlsha256 fd283293406d024f44c174b094ef48031d0687a4682fd3a56b29b138f80281b6 | Apache-2.0 |
Terjemahan, tanpa jargon
Pengujian ini eksperimen yang adil: tugas yang sama dua kali — tanpa Savings dan dengan Savings — dengan meteran penyedia yang sama menghitung keduanya.
Pada aliran di mana 30% permintaan berulang persis, tagihan turun 31,5% — antara 25,7% dan 36,7% dengan keyakinan 95%. Berapa yang Anda hemat bergantung pada seberapa sering lalu lintas Anda berulang.
Persentase tidak berarti apa-apa tanpa intervalnya, modelnya, dan lalu lintasnya: kami menerbitkan ketiganya.
Bench mingguan langsung
A/B dengan SDK
Setiap minggu, dan setiap kali kami menjalankannya secara manual, satu putaran membawa semua baterai ke semua model: lengan A langsung ke penyedia, lengan B melalui lapisan yang dibangun dari kode sumber main saat itu. Ini bukan versi yang sudah dirilis: ini yang akan segera dirilis. Putaran gagal jika ada aturan yang dilanggar, dan sel yang tidak bisa diukur menyebutkan alasannya.
Putaran 1 Okt 2026 · kode sumber main di commit 5bec174 (versi paket 0.4.35) · biaya US$21,96 dari batas US$50,00 · 36 dari 40 sel terukur. banco-semanal-5bec174.json
Putusan: tanpa regresi.
| Baterai | Model | Status | n | Biaya / batas | Kegagalan lapisan | Yang dihitung | B − A | Laporan vs biaya harga daftar |
|---|---|---|---|---|---|---|---|---|
| GSM8K | openai/gpt-4o-mini | terukur | 200 | US$0,12 / US$0,75 | 0 | jawaban pertanyaan lain: 0 | akurasi -1,7 pp [-4,8, +1,1] | 0,00% |
| GSM8K | openai/gpt-5.4-mini | terukur | 106 | US$0,42 / US$0,75 | 0 | jawaban pertanyaan lain: 0 | akurasi +1,0 pp [0,0, +3,3] | 0,00% |
| GSM8K | openai/gpt-5.5 | terukur | 24 | US$0,86 / US$1,25 | 0 | jawaban pertanyaan lain: 0 | akurasi 0,0 pp [0,0, 0,0] | 0,00% |
| GSM8K | openai/gpt-5.6-sol | terukur | 34 | US$0,31 / US$1,25 | 0 | jawaban pertanyaan lain: 0 | akurasi 0,0 pp [0,0, 0,0] | 0,00% |
| GSM8K | anthropic/claude-haiku-4-5 | terukur | 70 | US$0,42 / US$0,75 | 0 | jawaban pertanyaan lain: 0 | akurasi -1,6 pp [-4,3, 0,0] | 0,00% |
| GSM8K | anthropic/claude-sonnet-5 | terukur | 52 | US$0,48 / US$1,10 | 0 | jawaban pertanyaan lain: 0 | akurasi 0,0 pp [0,0, 0,0] | 0,00% |
| GSM8K | anthropic/claude-sonnet-5-5 | terukur | 56 | US$0,47 / US$1,10 | 0 | jawaban pertanyaan lain: 0 | akurasi 0,0 pp [0,0, 0,0] | 0,00% |
| GSM8K | anthropic/claude-opus-5-5 | terukur | 30 | US$0,55 / US$1,25 | 0 | jawaban pertanyaan lain: 0 | akurasi 0,0 pp [0,0, 0,0] | 0,00% |
| GSM8K | google/gemini-3.8-flash | terukur | 68 | US$0,40 / US$0,75 | 0 | jawaban pertanyaan lain: 0 | akurasi 0,0 pp [0,0, 0,0] | 0,00% |
| GSM8K | google/gemini-3.1-pro-preview | tidak terukur: kuota atau batas laju penyedia habis, bukan lapisan | — | |||||
| BFCL | openai/gpt-4o-mini | terukur | 100 | US$0,03 / US$0,75 | 0 | panggilan alat yang berubah: 0 | akurasi +2,0 pp [0,0, +5,0] | 0,00% |
| BFCL | openai/gpt-5.4-mini | terukur | 100 | US$0,15 / US$0,75 | 0 | panggilan alat yang berubah: 0 | akurasi -1,0 pp [-5,0, +2,0] | 0,00% |
| BFCL | openai/gpt-5.5 | terukur | 32 | US$0,28 / US$1,25 | 0 | panggilan alat yang berubah: 0 | akurasi +6,3 pp [0,0, +15,6] | 0,00% |
| BFCL | openai/gpt-5.6-sol | terukur | 32 | US$0,18 / US$1,25 | 0 | panggilan alat yang berubah: 0 | akurasi 0,0 pp [0,0, 0,0] | 0,00% |
| BFCL | anthropic/claude-haiku-4-5 | terukur | 100 | US$0,59 / US$0,75 | 0 | panggilan alat yang berubah: 0 | akurasi 0,0 pp [0,0, 0,0] | 0,00% |
| BFCL | anthropic/claude-sonnet-5 | terukur | 48 | US$0,72 / US$1,10 | 0 | panggilan alat yang berubah: 0 | akurasi 0,0 pp [-6,3, +6,3] | 0,00% |
| BFCL | anthropic/claude-sonnet-5-5 | terukur | 48 | US$0,64 / US$1,10 | 0 | panggilan alat yang berubah: 0 | akurasi 0,0 pp [0,0, 0,0] | 0,00% |
| BFCL | anthropic/claude-opus-5-5 | terukur | 32 | US$0,47 / US$1,25 | 0 | panggilan alat yang berubah: 0 | akurasi 0,0 pp [0,0, 0,0] | 0,00% |
| BFCL | google/gemini-3.8-flash | terukur | 100 | US$0,45 / US$0,75 | 0 | panggilan alat yang berubah: 0 | akurasi +1,0 pp [0,0, +3,0] | 0,00% |
| BFCL | google/gemini-3.1-pro-preview | tidak terukur: kuota atau batas laju penyedia habis, bukan lapisan | — | |||||
| XSTest | openai/gpt-4o-mini | terukur | 450 | US$0,06 / US$0,75 | 0 | penolakan di cache: 0 · dikreditkan: 0 | aman 0,0 pp (p = 1,00)tidak aman 0,0 pp (p = 1,00) | 0,00% |
| XSTest | openai/gpt-5.4-mini | terukur (berhenti di batas biayanya) | 412 | US$0,75 / US$0,75 | 0 | penolakan di cache: 0 · dikreditkan: 0 | aman +0,9 pp (p = 0,77)tidak aman 0,0 pp (p = 1,00) | 0,00% |
| XSTest | openai/gpt-5.5 | terukur | 99 | US$1,01 / US$1,25 | 0 | penolakan di cache: 0 · dikreditkan: 0 | aman 0,0 pp (p = 1,00)tidak aman 0,0 pp (p = 1,00) | 0,00% |
| XSTest | openai/gpt-5.6-sol | terukur | 99 | US$0,62 / US$1,25 | 0 | penolakan di cache: 0 · dikreditkan: 0 | aman 0,0 pp (p = 1,00)tidak aman 0,0 pp (p = 1,00) | 0,00% |
| XSTest | anthropic/claude-haiku-4-5 | terukur | 450 | US$0,63 / US$0,75 | 0 | penolakan di cache: 0 · dikreditkan: 0 | aman 0,0 pp (p = 1,00)tidak aman +0,5 pp (p = 1,00) | 0,00% |
| XSTest | anthropic/claude-sonnet-5 | terukur | 200 | US$0,87 / US$1,10 | 0 | penolakan di cache: 0 · dikreditkan: 0 | aman 0,0 pp (p = 1,00)tidak aman +2,2 pp (p = 0,50) | 0,00% |
| XSTest | anthropic/claude-sonnet-5-5 | terukur | 153 | US$0,81 / US$1,10 | 0 | penolakan di cache: 0 · dikreditkan: 0 | aman +1,1 pp (p = 1,00)tidak aman +3,0 pp (p = 0,50) | 0,00% |
| XSTest | anthropic/claude-opus-5-5 | terukur (berhenti di batas biayanya) | 82 | US$0,82 / US$1,25 | 0 | penolakan di cache: 0 · dikreditkan: 0 | tidak aman -3,7 pp (p = 0,45) | 0,00% |
| XSTest | google/gemini-3.8-flash | terukur | 448 | US$0,52 / US$0,75 | 0 | penolakan di cache: 0 · dikreditkan: 0 | aman +0,4 pp (p = 1,00)tidak aman +1,0 pp (p = 0,75) | 0,00% |
| XSTest | google/gemini-3.1-pro-preview | tidak terukur: kuota atau batas laju penyedia habis, bukan lapisan | — | |||||
| MT-Bench | openai/gpt-4o-mini | terukur | 40 | US$0,41 / US$1,15 | 0 | — | B dipilih 48,1% [38,5% – 57,7%] | 0,00% |
| MT-Bench | openai/gpt-5.4-mini | terukur | 40 | US$0,68 / US$1,15 | 0 | — | B dipilih 51,7% [40,0% – 65,0%] | 0,00% |
| MT-Bench | openai/gpt-5.5 | terukur (berhenti di batas biayanya) | 7 | US$0,65 / US$1,65 | 0 | — | B dipilih 46,4% [28,6% – 64,3%] | 0,00% |
| MT-Bench | openai/gpt-5.6-sol | terukur (berhenti di batas biayanya) | 11 | US$0,97 / US$1,65 | 0 | — | B dipilih 52,3% [45,5% – 59,1%] | 0,00% |
| MT-Bench | anthropic/claude-haiku-4-5 | terukur | 40 | US$0,79 / US$1,15 | 0 | — | B dipilih 52,6% [44,7% – 60,5%] | 0,00% |
| MT-Bench | anthropic/claude-sonnet-5 | terukur (berhenti di batas biayanya) | 19 | US$1,18 / US$1,50 | 0 | — | B dipilih 50,0% [38,5% – 59,6%] | 0,00% |
| MT-Bench | anthropic/claude-sonnet-5-5 | terukur | 24 | US$1,14 / US$1,50 | 0 | — | B dipilih 50,0% [42,6% – 58,8%] | 0,00% |
| MT-Bench | anthropic/claude-opus-5-5 | terukur | 16 | US$1,41 / US$1,65 | 0 | — | B dipilih 35,9% [26,6% – 43,8%] | 0,00% |
| MT-Bench | google/gemini-3.8-flash | terukur (berhenti di batas biayanya) | 32 | US$1,06 / US$1,15 | 0 | — | B dipilih 39,6% [27,1% – 50,0%] | 0,00% |
| MT-Bench | google/gemini-3.1-pro-preview | tidak terukur: kuota atau batas laju penyedia habis, bukan lapisan | — | |||||
“Kegagalan lapisan” adalah galat di lengan B yang tidak dialami lengan A. “B − A” adalah selisih akurasi di GSM8K dan BFCL, selisih tingkat penolakan di XSTest (p McNemar, prompt berpasangan) dan, di MT-Bench, seberapa sering juri memilih B (setengah berarti seri). “Laporan vs biaya harga daftar” membandingkan biaya yang dilaporkan lapisan untuk B dengan biaya yang dihitung independen dari penggunaan yang dilaporkan penyedia pada harga daftar berversi yang sama; ini bukan rekonsiliasi faktur.
Putaran mingguan sebelumnya
- 30 Sep 2026 · commit ca621e2 · gagal (aturan yang dilanggar: 4). banco-semanal-ca621e2.json
- 29 Sep 2026 · commit d650c59 · tanpa regresi. banco-semanal-d650c59.json
- 29 Sep 2026 · commit 1100960 · tanpa regresi. banco-semanal.json
- 29 Sep 2026 · commit 105fe13 · gagal (aturan yang dilanggar: 7). banco-semanal-105fe13.json
Putaran parsial
Putaran parsial dijalankan secara manual dengan hanya sebagian model atau baterai; misalnya hari lain untuk model yang kuota harian penyedianya tidak cukup untuk keempat baterainya dalam satu hari. Ia mengukur apa yang dinyatakannya, tetapi bukan putaran mingguan: tidak dihitung untuk publikasi.
- 2 Okt 2026 · commit b349d7a · google/gemini-3.1-pro-preview · GSM8K, XSTest · tanpa regresi. banco-semanal-b349d7a-gemini-31-pro-jornada-2.json
- 1 Okt 2026 · commit b349d7a · google/gemini-3.1-pro-preview · BFCL, MT-Bench · tanpa regresi. banco-semanal-b349d7a-gemini-31-pro-jornada-1.json
Penghematan terukur per model
A/B dengan SDK
GSM8K, dengan aliran permintaan di mana 30% adalah pengulangan eksak dan 20% adalah parafrasa. Ini baterai dengan trafik berulang: penghematan Anda bergantung pada seberapa banyak trafik Anda berulang. Tanpa pengulangan, lihat “Apa yang tidak menghemat”.
Kedua lengan, model demi model
GSM8K, baterai yang dibuat untuk mengukur penghematan. Pilih model yang terukur: A langsung ke penyedia dan B melewati lapisan.
Penghematan terukur per model, beserta intervalnya
A/B dengan SDKTitik adalah estimasi; batang adalah interval kepercayaan; garis adalah nol. Semuanya pada skala yang sama.
- 31,5% [25,7% – 36,7%] A/B dengan SDK
- 200 permintaan · 100 unik
- 95,0% → 96,1%
- 0.4.31 · 28 Sep 2026
Hanya model dengan putaran terukur yang muncul. Lihat metodologi
| Model | n | Penghematan terukur [IK] A/B dengan SDK | Dari cache eksak | Dalam panggilan (prefiks) | Akurasi A → B | Versi · tanggal |
|---|---|---|---|---|---|---|
openai/gpt-4o-mini | 200 permintaan · 100 unik | 31,5% [25,7% – 36,7%] | US$0,0124 | US$0,0006 | 95,0% → 96,1%Δ +1,1 pp [0,0, +2,8] | 0.4.31 · 28 Sep 2026 |
openai/gpt-5.4-mini | 176 permintaan · 88 unik | 31,7% [25,6% – 37,6%] | US$0,0734 | US$0,0003 | 95,6% → 93,7%Δ -1,9 pp [-5,0, 0,0] | 0.4.31 · 28 Sep 2026 |
openai/gpt-5.5 | 22 permintaan · 11 unik | 33,4% [6,8% – 53,8%] | US$0,0790 | -US$0,0023 | 100,0% → 100,0%Δ 0,0 pp [0,0, 0,0] | 0.4.31 · 28 Sep 2026 |
openai/gpt-5.6-sol | 32 permintaan · 16 unik | 29,2% [9,5% – 46,8%] | US$0,0252 | -US$0,0003 | 100,0% → 100,0%Δ 0,0 pp [0,0, 0,0] | 0.4.31 · 28 Sep 2026 |
anthropic/claude-haiku-4-5 | 116 permintaan · 58 unik | 32,2% [23,6% – 40,2%] | US$0,0773 | US$0,0002 | 99,0% → 99,0%Δ 0,0 pp [0,0, 0,0] | 0.4.31 · 28 Sep 2026 |
anthropic/claude-opus-5-5 | 32 permintaan · 16 unik | 77,2% [67,1% – 83,9%] | US$0,0974 | US$0,1391 | 100,0% → 100,0%Δ 0,0 pp [0,0, 0,0] | 0.4.31 · 28 Sep 2026 |
anthropic/claude-sonnet-5 | 62 permintaan · 31 unik | 75,1% [69,3% – 79,6%] | US$0,1054 | US$0,1313 | 100,0% → 100,0%Δ 0,0 pp [0,0, 0,0] | 0.4.31 · 28 Sep 2026 |
anthropic/claude-sonnet-5-5 | 62 permintaan · 31 unik | 77,5% [72,0% – 81,7%] | US$0,0924 | US$0,1289 | 100,0% → 100,0%Δ 0,0 pp [0,0, 0,0] | 0.4.31 · 28 Sep 2026 |
google/gemini-3.1-pro-preview | lapisan gagal: permintaan tidak melewati lapisan | 0.4.31 · 28 Sep 2026 | ||||
google/gemini-3.8-flash | lapisan gagal: permintaan tidak melewati lapisan | 0.4.31 · 28 Sep 2026 | ||||
Dari mana penghematan berasal, posisi demi posisi: “dari cache eksak” adalah yang dibayar A untuk permintaan yang dilayani lapisan tanpa memanggil penyedia; “dalam panggilan” adalah selisih pada permintaan yang memang sampai ke penyedia, sebagian besar dari cache prefiks penyedia (ditambah sedikit variasi output). Keduanya berjumlah total penghematan.
Akurasi diukur pada pertanyaan dengan jawaban yang dipublikasikan; varian dengan angka yang diubah hanya berfungsi untuk memeriksa bahwa lapisan tidak pernah mengembalikan jawaban dari pertanyaan lain.
Penurunan cache gateway: sebuah simulasi, bukan A/B
Replay di gateway
Ini adalah pemutaran ulang kontrafaktual dengan baseline yang direkonstruksi sebagian, bukan salah satu baterai A/B langsung di halaman ini. Kami memakai penggunaan yang dilaporkan penyedia dari sesi Claude Code nyata di satu organisasi saja, yaitu kami sendiri, dengan satu penyedia (Anthropic), lalu memperkirakan biaya pada harga daftar berversi dengan dan tanpa perubahan TTL cache PRO. Ini bukan eksekusi ganda langsung atau rekonsiliasi faktur.
Putusan laporan 3 Okt 2026: penurunan ini menyisakan neto +2,49% dari tagihan (US$113,45 dari US$4.563,61), setelah dikurangi kegagalan cache yang ditimbulkannya sendiri.
- Sesi
- 51
- Permintaan
- 19.779
- Hari
- 13
| Interval 95% | Neto, terhadap tagihan Replay di gateway |
|---|---|
| Pengambilan sampel ulang per sesi (kelompok: 51) | +1,50% – +3,57% |
| Pengambilan sampel ulang per hari (kelompok: 13) | +1,73% – +4,82% |
Bootstrap dengan 10.000 pengambilan sampel ulang. Kedua interval tidak mencakup nol: pada lalu lintas ini, penurunan tersebut menghasilkan uang. Kartu di halaman depan mengutip interval per sesi.
Hasilnya, beserta yang dikurangkan
| Penurunan | 2.583 |
| Premi yang dihemat, bruto | +3,10% |
| Kegagalan cache yang ditimbulkan | 124 |
| Biaya kegagalan tersebut | -0,62% |
| Neto | +2,49% · US$113,45 |
| Batas atas: seluruh premi satu jam | 7,2% |
Persentase dihitung terhadap tagihan harga daftar untuk permintaan yang disimulasikan (US$4.563,61). Batas atas adalah jumlah terbesar yang bisa dipulihkan kebijakan TTL mana pun, bahkan jika tidak pernah gagal. Setiap persentase dibulatkan secara terpisah.
Per model
| Model | Permintaan | Penurunan | Kegagalan cache yang ditimbulkan | Neto, terhadap tagihan model |
|---|---|---|---|---|
claude-fable-5 | 1.921 | 23 | 1 | +4,64% |
claude-fable-5-1 | 2.236 | 25 | 0 | +1,65% |
claude-opus-5 | 8.344 | 70 | 2 | +1,61% |
claude-opus-4-8 | 1.193 | 34 | 0 | +6,49% |
claude-sonnet-5 | 6.080 | 2.427 | 121 | +1,34% |
claude-haiku-4-5 | 5 | 4 | 0 | tanpa persentase (permintaan: 5) |
claude-sonnet-5 adalah kasus yang buruk: model ini menyumbang 94% dari penurunan dan 98% dari kegagalan, dan netonya hampir nol. Pada periode pertama perekaman, model ini malah rugi: 9,4% dari tagihannya. Lalu lintasnya berupa utas pendek yang sering dibangun ulang dan kembali setelah lima menit berlalu. Aturan ini benar-benar untung ketika awal sesi mahal dan jarang.
Cara pengerjaannya: model cache, dinyatakan terbuka
- Aturannya sama dengan yang dijalankan gateway, bukan salinan: aturan ini memindahkan penulisan cache dari TTL satu jam ke TTL lima menit ketika bagian yang baru setidaknya 30% dari isi permintaan.
- Garis dasar adalah apa yang dihitung penyedia, dengan penggunaan nyatanya, ketika penurunan belum aktif; ketika sudah aktif, garis dasar direkonstruksi dengan membatalkannya (lihat batasan). Dengan penurunan, giliran yang diturunkan membayar premi penulisan lima menit, bukan premi satu jam.
- Kegagalan yang ditimbulkan: jika giliran berikutnya di utas yang sama tiba setelah lima menit dan sebelum satu jam, apa yang ditulis giliran yang diturunkan tidak lagi dibaca dari cache, melainkan ditulis ulang, dan biaya itu dikurangkan.
- Ada varian konservatif, yang juga menganggap hilang prefiks yang dipakai bersama oleh utas yang berbeda. Angkanya nyaris tidak bergeser: +2,48%, dengan beberapa kegagalan tambahan (3).
- Hanya angka agregat: tidak ada prompt, respons, header, maupun pengenal sesi yang keluar dari rekaman.
Batasan
- Satu organisasi, satu klien, satu penyedia. Claude Code terhadap Anthropic, dengan lalu lintas kami sendiri. Tidak ada agen kode lain dan tidak ada penyedia lain.
- Harga daftar, disimulasikan. Ini bukan faktur: ini pemakaian nyata yang diberi harga dengan katalog harga. Diskon, tingkat akun, atau langganan akan mengubah nilai uangnya.
- Model cache adalah sebuah model. Model ini mengandaikan cara penyedia mengindeks entri cache-nya; tidak mengamatinya. Varian konservatif membatasi risiko itu.
- Sebagian besar garis dasar direkonstruksi. 79% permintaan direkam saat penurunan sudah aktif; di sana garis dasar direkonstruksi dengan membatalkan penurunan yang sebenarnya, dan kurang kokoh dibanding garis dasar pada rentang pertama. Rentang pertama itu saja memberikan interval yang jauh lebih lebar: +0,29% hingga +9,12%.
- Batas atasnya berubah mengikuti klien. Batas itu bergantung pada berapa banyak penulisan satu jam yang dikirim agen pemrograman, dan versi terbaru Claude Code mengirim lebih sedikit: dari 19.779 permintaan, 7.327 tidak membawa satu pun yang bisa diturunkan.
- Jeda antargiliran diukur sejak tibanya setiap permintaan, bukan sejak akhir respons: jeda ini menghitung beberapa kegagalan berlebih, tidak pernah kurang.
- Ini bukan prakiraan untuk tim Anda. Ini penghematan kecil dari satu lalu lintas saja, dan lalu lintas lain bisa memberi angka lain, termasuk yang lebih buruk: lihat kasus yang buruk itu.
Di produksi: sejak versi 0.5.1 (3 Okt 2026), gateway mengurangi kegagalan yang diamatinya, pada giliran yang mengalaminya, sehingga penghematan dari penurunan ini di dasbor Anda adalah angka bersih. Yang tercatat sebelumnya tidak dihitung ulang, dan dasbor menandai mesin dengan gateway yang lebih lama sebagai “bruto”.
Jaminan, terhitung
A/B dengan SDK
Lapisan tidak pernah mengubah panggilan tool
0 panggilan yang diubah dalam 1.325 perbandingan BFCL, 6 model, sejak 0.4.31. Jika lapisan gagal (galat pada B yang tidak dialami A), itu tidak dihitung di sini: itu ada di bawah “Bug yang ditemukan uji ini”.
Cara menghitungnya: setiap perbandingan dari setiap putaran langsung sejak versi itu, jadi model yang diukur dua kali (satu pilot dan putaran penuh) dihitung dua kali. Karena itu angkanya bisa melebihi n di tabel, yang menampilkan satu putaran per model.
Tidak ada jawaban dari pertanyaan lain sejak 0.4.31
0 dari 198 varian (pertanyaan yang sama dengan angka lain, sehingga jawaban lain) disajikan dengan jawaban dari pertanyaan lain, di 8 model langsung dan setiap konfigurasi cache yang diukur.
Replay luring dari seluruh split uji GSM8K: 0 dalam 5.813 permintaan, di masing-masing dari 5 konfigurasi cache.
Tingkat penolakan yang sama, dengan dan tanpa lapisan
XSTest, 10 model diukur: tidak ada perbedaan A/B di bawah p = 0,05 (McNemar, prompt berpasangan). Lapisan menyampaikan teks dari 4.668 respons tanpa perubahan (0 diubah).
Cara menghitungnya: respons, bukan prompt. Setiap respons lengan B dibandingkan dengan teks penyedia, termasuk pengulangan prompt yang sama, jadi ada lebih banyak respons daripada prompt di tabel.
| Model | Prompt | Penolakan, prompt aman (A → B) | Penolakan, prompt tidak aman (A → B) | Versi · tanggal |
|---|---|---|---|---|
openai/gpt-4o-mini | 450 | 5,2% → 5,2% (n = 250, p = 1,00) | 81,5% → 81,5% (n = 200, p = 1,00) | 0.4.31 · 28 Sep 2026 |
openai/gpt-5.4-mini | 441 | 11,0% → 9,8% (n = 245, p = 0,63) | 87,2% → 86,7% (n = 196, p = 1,00) | 0.4.31 · 28 Sep 2026 |
openai/gpt-5.5 | 120 | 6,3% → 4,7% (n = 64, p = 1,00) | 80,0% → 80,0% (n = 55, p = 1,00) | 0.4.31 · 29 Sep 2026 |
openai/gpt-5.6-sol | 199 | 2,7% → 2,7% (n = 111, p = 1,00) | 75,6% → 76,7% (n = 86, p = 1,00) | 0.4.31 · 29 Sep 2026 |
anthropic/claude-haiku-4-5 | 450 | 1,6% → 2,0% (n = 250, p = 1,00) | 42,5% → 42,5% (n = 200, p = 1,00) | 0.4.31 · 29 Sep 2026 |
anthropic/claude-opus-5-5 | 81 | — | 67,1% → 67,1% (n = 79, p = 1,00) | 0.4.31 · 29 Sep 2026 |
anthropic/claude-sonnet-5 | 264 | 2,7% → 2,0% (n = 147, p = 1,00) | 68,4% → 71,8% (n = 117, p = 0,34) | 0.4.31 · 29 Sep 2026 |
anthropic/claude-sonnet-5-5 | 311 | 1,5% → 0,0% (n = 135, p = 0,50) | 64,3% → 65,3% (n = 98, p = 1,00) | 0.4.31 · 29 Sep 2026 |
google/gemini-3.1-pro-preview | 58 | 0,0% → 0,0% (n = 32, p = 1,00) | 80,8% → 84,6% (n = 26, p = 1,00) | 0.4.31 · 29 Sep 2026 |
google/gemini-3.8-flash | 450 | 0,4% → 0,4% (n = 249, p = 1,00) | 67,8% → 66,8% (n = 199, p = 0,73) | 0.4.31 · 29 Sep 2026 |
Apa yang tidak menghemat
A/B dengan SDK
Tanpa pengulangan, penghematan ≈ 0%. Kami tetap mempublikasikannya, karena itulah yang akan Anda lihat jika trafik Anda tidak berulang.
MT-Bench adalah obrolan dua giliran dengan lapisan baru untuk setiap pertanyaan: tidak ada yang bisa digunakan kembali oleh cache, dan prompt hampir tidak pernah mencapai minimum yang disyaratkan penyedia untuk meng-cache sebuah prefiks. Di BFCL setiap panggilan tool berbeda. Yang diukur kedua baterai ini adalah bahwa lapisan tidak memperburuk apa pun; selisih biaya yang tersisa adalah noise dari output model, bukan lapisan.
| Baterai | Model | n | Penghematan terukur [IK] A/B dengan SDK | Pembacaan | Versi · tanggal |
|---|---|---|---|---|---|
| BFCL | openai/gpt-4o-mini | 400 item | 0,1% [0,0% – 0,3%] | tidak dapat dibedakan dari nol | 0.4.31 · 28 Sep 2026 |
| BFCL | openai/gpt-5.4-mini | 400 item | -0,2% [-1,0% – 0,5%] | tidak dapat dibedakan dari nol | 0.4.31 · 28 Sep 2026 |
| BFCL | anthropic/claude-haiku-4-5 | 48 item | 0,1% [0,0% – 0,2%] | tidak dapat dibedakan dari nol | 0.4.31 · 29 Sep 2026 |
| BFCL | anthropic/claude-sonnet-5 | 48 item | 1,5% [-1,6% – 5,8%] | tidak dapat dibedakan dari nol | 0.4.31 · 29 Sep 2026 |
| BFCL | google/gemini-3.1-pro-preview | 97 item | 4,8% [-6,6% – 15,6%] | tidak dapat dibedakan dari nol | 0.4.31 · 29 Sep 2026 |
| BFCL | google/gemini-3.8-flash | 324 item | -10,7% [-27,8% – 3,2%] | tidak dapat dibedakan dari nol | 0.4.31 · 29 Sep 2026 |
| MT-Bench | openai/gpt-4o-mini | 80 pertanyaan | 3,3% [0,8% – 6,0%] | penghematan · tidak dapat diatribusikan ke lapisan | 0.4.31 · 28 Sep 2026 |
| MT-Bench | openai/gpt-5.4-mini | 80 pertanyaan | -3,5% [-8,6% – 1,6%] | tidak dapat dibedakan dari nol · tidak dapat diatribusikan ke lapisan | 0.4.31 · 28 Sep 2026 |
| MT-Bench | openai/gpt-5.5 | 8 pertanyaan | 2,1% [-4,4% – 9,7%] | tidak dapat dibedakan dari nol | 0.4.31 · 29 Sep 2026 |
| MT-Bench | openai/gpt-5.6-sol | 13 pertanyaan | -0,4% [-21,2% – 13,5%] | tidak dapat dibedakan dari nol · tidak dapat diatribusikan ke lapisan | 0.4.31 · 29 Sep 2026 |
| MT-Bench | anthropic/claude-haiku-4-5 | 80 pertanyaan | -2,6% [-4,6% – -0,9%] | biaya tambahan · tidak dapat diatribusikan ke lapisan | 0.4.31 · 28 Sep 2026 |
| MT-Bench | anthropic/claude-opus-5-5 | 18 pertanyaan | 1,1% [-2,0% – 4,9%] | tidak dapat dibedakan dari nol | 0.4.31 · 29 Sep 2026 |
| MT-Bench | anthropic/claude-sonnet-5 | 23 pertanyaan | 1,7% [-8,9% – 12,7%] | tidak dapat dibedakan dari nol | 0.4.31 · 28 Sep 2026 |
| MT-Bench | anthropic/claude-sonnet-5-5 | 37 pertanyaan | -0,8% [-2,5% – 0,9%] | tidak dapat dibedakan dari nol | 0.4.31 · 29 Sep 2026 |
Status per model dan baterai
Setiap sel menampilkan jalan uji pada versi lapisan tertinggi. Jika sebuah model tidak dapat diukur, kami menyebutkan alasannya alih-alih membiarkan kekosongan.
| Model | GSM8K | BFCL | XSTest | MT-Bench |
|---|---|---|---|---|
openai/gpt-4o-mini | diukur · n = 200 0.4.31 · 28 Sep 2026 | diukur · n = 400 0.4.31 · 28 Sep 2026 | diukur · n = 450 0.4.31 · 28 Sep 2026 | diukur · n = 80 0.4.31 · 28 Sep 2026 |
openai/gpt-5.4-mini | diukur · n = 176 0.4.31 · 28 Sep 2026 | diukur · n = 400 0.4.31 · 28 Sep 2026 | diukur · n = 441 0.4.31 · 28 Sep 2026 | diukur · n = 80 0.4.31 · 28 Sep 2026 |
openai/gpt-5.5 | diukur · n = 22 0.4.31 · 28 Sep 2026 | tidak diukur: batas pengeluaran habis 0.4.31 · 29 Sep 2026 | diukur · n = 120 0.4.31 · 29 Sep 2026 | diukur · n = 8 0.4.31 · 29 Sep 2026 |
openai/gpt-5.6-sol | diukur · n = 32 0.4.31 · 28 Sep 2026 | tidak diukur: penyedia menolak permintaan di kedua lengan 0.4.31 · 29 Sep 2026 | diukur · n = 199 0.4.31 · 29 Sep 2026 | diukur · n = 13 0.4.31 · 29 Sep 2026 |
anthropic/claude-haiku-4-5 | diukur · n = 116 0.4.31 · 28 Sep 2026 | diukur · n = 48 0.4.31 · 29 Sep 2026 | diukur · n = 450 0.4.31 · 29 Sep 2026 | diukur · n = 80 0.4.31 · 28 Sep 2026 |
anthropic/claude-opus-5-5 | diukur · n = 32 0.4.31 · 28 Sep 2026 | tidak diukur: batas pengeluaran habis 0.4.31 · 29 Sep 2026 | diukur · n = 81 0.4.31 · 29 Sep 2026 | diukur · n = 18 0.4.31 · 29 Sep 2026 |
anthropic/claude-sonnet-5 | diukur · n = 62 0.4.31 · 28 Sep 2026 | diukur · n = 48 0.4.31 · 29 Sep 2026 | diukur · n = 264 0.4.31 · 29 Sep 2026 | diukur · n = 23 0.4.31 · 28 Sep 2026 |
anthropic/claude-sonnet-5-5 | diukur · n = 62 0.4.31 · 28 Sep 2026 | tidak diukur: batas pengeluaran habis 0.4.31 · 29 Sep 2026 | diukur · n = 311 0.4.31 · 29 Sep 2026 | diukur · n = 37 0.4.31 · 29 Sep 2026 |
google/gemini-3.1-pro-preview | lapisan gagal: permintaan tidak melewati lapisan 0.4.31 · 28 Sep 2026 | diukur · n = 97 0.4.31 · 29 Sep 2026 | diukur · n = 58 0.4.31 · 29 Sep 2026 | tidak diukur: kuota penyedia habis 0.4.31 · 29 Sep 2026 |
google/gemini-3.8-flash | lapisan gagal: permintaan tidak melewati lapisan 0.4.31 · 28 Sep 2026 | diukur · n = 324 0.4.31 · 29 Sep 2026 | diukur · n = 450 0.4.31 · 29 Sep 2026 | lapisan gagal: permintaan tidak melewati lapisan 0.4.31 · 29 Sep 2026 |
Kompatibilitas
Kompatibel tidak sama dengan terukur. SDK bekerja dengan endpoint apa pun yang kompatibel dengan API OpenAI, ditambah adaptor native Anthropic dan adaptor native Gemini (baru di 0.4.33). Dengan angka penghematan di bangku uji publik, saat ini hanya model OpenAI dan Anthropic; Gemini tidak memiliki angka penghematan. Yang terukur untuk Gemini: Gemini 3.8 Flash, melalui API native-nya, di bench mingguan langsung 1 Oktober 2026 — keempat baterai, tanpa kegagalan lapisan dan tanpa penolakan yang di-cache atau dikreditkan sebagai penghematan. Bench itu memeriksa bahwa lapisan tidak merusak apa pun dan tidak menagih lebih; bench itu tidak mengukur penghematan. Juga terukur: Gemini 3.1 Pro, melalui API native-nya, dalam dua putaran parsial pada 1–2 Oktober 2026 (kuota harian penyedianya tidak cukup untuk keempat baterai dalam satu hari): keempat baterai, juga tanpa kegagalan lapisan dan tanpa penolakan yang di-cache atau dihitung sebagai penghematan.
Bug yang ditemukan uji ini
Uji ini bukan untuk terlihat bagus: ia ada untuk menemukan bug sebelum Anda menemukannya. Ia menemukan ini, beserta versi tempat bug muncul dan versi yang memperbaikinya.
Cache semantik yang tidak dikalibrasi menyajikan jawaban dari pertanyaan lain 0.4.30 → 0.4.31
Dengan cache semantik yang tidak dikalibrasi, varian dengan angka lain (“three baskets” versus “two baskets”) dapat menerima jawaban dari pertanyaan aslinya. Dihitung atas varian GSM8K.
- Ditemukan di 0.4.30: 15 dari 111. gsm8k.json
- Diperbaiki di 0.4.31 (#383).
- Diverifikasi langsung pada 0.4.31: 0 dari 198.
Lapisan memangkas katalog tool tanpa sinyal apa pun untuk melakukannya 0.4.30 → 0.4.31
Dalam percakapan multi-giliran, lengan B mengirim lebih sedikit tool daripada lengan A meskipun tidak ada yang menunjukkan mana yang tidak diperlukan. Dihitung atas percakapan multi-giliran BFCL.
- Ditemukan di 0.4.30: 20 dari 20. bfcl.json
- Diperbaiki di 0.4.31 (#382).
- Diverifikasi langsung pada 0.4.31: 0 dari 83.
Beberapa penolakan yang ditulis sebagai teks di-cache 0.4.31 → 0.4.32
Penolakan yang ditulis model sebagai teks (tanpa sinyal API) dapat di-cache, diulang, dan dikreditkan sebagai penghematan. Dihitung dalam prompt XSTest.
- Ditemukan di 0.4.31: 39 dari 2.824. xstest-0431-claude.jsonxstest-0431-gama-alta.jsonxstest-0431.json
- Diperbaiki di 0.4.32 (#393, #401).
- Diukur ulang secara langsung oleh bench mingguan pada 1 Okt 2026 (kode sumber main dengan perbaikannya, commit 5bec174): 0 penolakan di cache dan 0 dikreditkan, pada 2.393 prompt XSTest di 9 model. banco-semanal-5bec174.json
Penolakan parsial disimpan di cache dan dikreditkan 0.4.32 → 0.4.33
Respons yang awalnya menuruti lalu menolak di bagian berikutnya (“If you mean harming someone, I can't help…”), atau permintaan maaf yang diikuti “saya tidak punya akses…”, tidak dikenali sebagai penolakan: lapisan bisa menyimpannya di cache, mengulanginya, dan mengkreditkannya sebagai penghematan. Dihitung pada prompt XSTest bench mingguan, dengan model OpenAI dan Claude.
- Ditemukan oleh bench mingguan langsung pada 29 Sep 2026 (kode sumber main, commit 105fe13): 12 penolakan disajikan dari cache atau ditulis ke dalamnya dan 14 dikreditkan, pada 1.995 prompt XSTest di 8 model. banco-semanal-105fe13.json
- Diperbaiki di 0.4.33 (#422).
- Diukur ulang secara langsung oleh bench mingguan pada 1 Okt 2026 (kode sumber main dengan perbaikannya, commit 5bec174): 0 penolakan di cache dan 0 dikreditkan, pada 2.393 prompt XSTest di 9 model. banco-semanal-5bec174.json
Filter konten Gemini di-cache sebagai jawaban 0.4.31 → 0.4.32
Gemini menandai filternya dengan alasan berhenti miliknya sendiri, yang tidak dikenali lapisan sebagai penolakan, sehingga bisa di-cache dan diulang. Dihitung dalam prompt XSTest.
- Ditemukan di 0.4.31: 6 dari 508. xstest-0431-gama-alta.json
- Diperbaiki di 0.4.32 (#402).
- Diukur ulang secara langsung oleh bench mingguan pada 1 Okt 2026 (kode sumber main dengan perbaikan, commit 5bec174) dengan google/gemini-3.8-flash: 0 penolakan di cache atau dikreditkan, pada 448 prompt XSTest. Putaran itu tidak dapat mengukur google/gemini-3.1-pro-preview (kuota atau batas laju penyedia habis, bukan lapisan); di sana masih belum terverifikasi. banco-semanal-5bec174.json
Gemini tidak melewati lapisan 0.4.31 → 0.4.32
Lapisan mengirim bidang khusus API OpenAI ke setiap endpoint yang kompatibel, dan Gemini menolaknya: setiap permintaan di lengan B gagal. Dihitung dalam permintaan GSM8K.
- Ditemukan di 0.4.31: 504 dari 504. gsm8k-0431-gama-alta.json
- Diperbaiki di 0.4.32 (#402).
- Diukur ulang secara langsung oleh bench mingguan pada 1 Okt 2026 (kode sumber main dengan perbaikan, commit 5bec174) dengan google/gemini-3.8-flash: 0 galat hanya dengan lapisan, pada 68 item GSM8K. Putaran itu tidak dapat mengukur google/gemini-3.1-pro-preview (kuota atau batas laju penyedia habis, bukan lapisan); di sana masih belum terverifikasi. banco-semanal-5bec174.json
Dengan Gemini 3, giliran kedua dengan tool gagal 0.4.31 → 0.4.32
Lapisan tidak mengembalikan thought signature yang disyaratkan Gemini 3 pada setiap panggilan tool, sehingga giliran berikutnya ditolak. Dihitung dalam kelanjutan multi-giliran BFCL.
- Ditemukan di 0.4.31: 50 dari 50. bfcl-0431-gama-alta.json
- Diperbaiki di 0.4.32 (#402).
- Belum diukur ulang dalam laporan yang dipublikasikan: bench mingguan 1 Okt 2026 (kode sumber main dengan perbaikan, commit 5bec174) mengukur google/gemini-3.8-flash di baterai ini, tetapi ringkasannya hanya menghitung entri satu giliran, bukan lanjutan multi-giliran tempat ini gagal. Selama belum ada laporan yang menghitungnya, kami tidak menganggapnya terverifikasi. Putaran itu tidak dapat mengukur google/gemini-3.1-pro-preview (kuota atau batas laju penyedia habis, bukan lapisan); di sana masih belum terverifikasi. banco-semanal-5bec174.json
Dengan permintaan paralel, koreksi tingkat berpikir Gemini sampai ke klien sebagai galat 0.4.35 → 0.4.36
Gemini Flash menolak tingkat berpikir MINIMAL; adaptor native mencoba ulang sekali dengan LOW dan mengingat penggantinya. Dengan dua permintaan berjalan melalui lapisan yang sama, satu membandingkan penolakan dengan body yang sudah dikoreksi oleh yang lain, tidak mengenalinya, dan meneruskan galat ke klien. Dihitung sebagai galat hanya dengan lapisan, pada prompt XSTest bench mingguan dengan Gemini.
- Ditemukan oleh bench mingguan langsung pada 30 Sep 2026 (kode sumber main, commit ca621e2) dengan google/gemini-3.8-flash: 1 galat hanya dengan lapisan, pada 450 item XSTest. banco-semanal-ca621e2.json
- Diperbaiki di 0.4.36 (#442).
- Diukur ulang secara langsung oleh bench mingguan pada 1 Okt 2026 (kode sumber main dengan perbaikan, commit 5bec174) dengan google/gemini-3.8-flash: 0 galat hanya dengan lapisan, pada 448 item XSTest. Putaran itu tidak dapat mengukur google/gemini-3.1-pro-preview (kuota atau batas laju penyedia habis, bukan lapisan); di sana masih belum terverifikasi. banco-semanal-5bec174.json
Cara mereproduksinya
Kode uji ini ada di repositori terbuka, dan metodenya cukup dalam lima langkah. Dengan kunci penyedia Anda sendiri, Anda dapat mengulanginya dan membandingkan angka demi angka dengan laporan kami.
- Dataset. Unduh setiap dataset publik pada commit di tabel di atas dan periksa sha256 setiap berkas sebelum digunakan. Jika tidak cocok, itu bukan dataset yang sama.
- Lapisan. Pasang
@bivelio/savings-layerdari npm pada versi yang disebut laporan dan periksa sha256 daridist/index.js: setiap laporan mencantumkannya. - Dua lengan per prompt. A langsung ke penyedia; B mengirim prompt yang sama, ke model yang sama dan dengan batas keluaran yang sama, melalui lapisan dengan konfigurasi bawaannya. Sebagian prompt diulang atau diparafrasekan, seperti pada lalu lintas nyata, dan urutan A/B diacak.
- Penggunaan dan harga daftar mendokumentasikan penilaian. Jumlahkan biaya setiap lengan dari
usageyang dilaporkan penyedia, pada harga daftar berversi. Penghematan adalah1 − biaya B / biaya A, beserta intervalnya; ini bukan rekonsiliasi faktur. - Kualitas, dalam proses yang sama. Nilai jawaban kedua lengan dengan cara yang sama (jawaban tepat di GSM8K, pemanggilan alat di BFCL, penolakan atau tidak di XSTest, juri di MT-Bench) dan bandingkan dengan laporan JSON dari baterai dan versi yang sama.
Laporan
Setiap proses meninggalkan laporan JSON berisi desain, keterbatasan, dan setiap panggilan yang diukur: usage, biaya per lengan, dan klasifikasi jawaban. Laporan disajikan dari situs ini.
Laporan disajikan persis seperti yang ditulis oleh uji, dengan satu pengecualian: data tentang lingkungan orang yang mengukur (jalur disk, alamat email) dihapus. Untuk XSTest tidak ada teks jawaban yang diterbitkan, hanya klasifikasinya.
Ukur kami sendiri
Pengukuran independen lebih berharga daripada milik kami. Kode uji ini ada di repositori terbuka: jika Anda ingin mengulang pengukuran, atau mengukur lapisan dengan harness Anda sendiri atau lalu lintas Anda, tulis kepada kami dan kami akan memberikan apa yang Anda perlukan.
Tulis kepada kami di support@bivelio.com