Uji A/B kami, secara terbuka. Ukur kami.

Apa yang diukur, dan bagaimana

• Dua lengan, permintaan yang sama. A langsung ke penyedia, tanpa lapisan; B melewati lapisan dengan konfigurasi bawaannya. Prompt yang sama, sampling yang sama, batas output yang sama.
• Penyedia yang menghitung biaya. Setiap lengan dihargai berdasarkan usage yang dikembalikan API pada setiap panggilan, pada harga daftar. Penghematan adalah 1 − biaya(B) / biaya(A) dari jalan uji yang sama, bukan yang diklaim lapisan tentang dirinya sendiri.
• Interval 95%. Dihitung oleh setiap harness (resampling seluruh keluarga pertanyaan, Wilson untuk tingkat penolakan). Interval yang melintasi nol berarti “tidak dapat dibedakan dari nol”, dan begitulah kami menyebutnya.
• Paket yang Anda instal. Lengan B menjalankan sumber dari tag 0.4.31; dist/index.js-nya identik byte demi byte dengan tarball npm-nya (sha256 b52f99cacf9804ecd3153e56f26ec3adcdc2510d52a8446a369ecf914e0b5731).
• Tanpa jalan pintas. Setiap harness mengawasi host yang dihubunginya dan membawa batas pengeluaran per model yang tertulis dalam kode. Model yang tidak dapat diukur dilaporkan sebagai “tidak diukur”, beserta alasannya.

Empat baterai, dataset publik, dipatok

Penghematan terukur per model

GSM8K, dengan aliran permintaan di mana 30% adalah pengulangan eksak dan 20% adalah parafrasa. Ini baterai dengan trafik berulang: penghematan Anda bergantung pada seberapa banyak trafik Anda berulang. Tanpa pengulangan, lihat “Apa yang tidak menghemat”.

Dari mana penghematan berasal, posisi demi posisi: “dari cache eksak” adalah yang dibayar A untuk permintaan yang dilayani lapisan tanpa memanggil penyedia; “dalam panggilan” adalah selisih pada permintaan yang memang sampai ke penyedia, sebagian besar dari cache prefiks penyedia (ditambah sedikit variasi output). Keduanya berjumlah total penghematan.

Akurasi diukur pada pertanyaan dengan jawaban yang dipublikasikan; varian dengan angka yang diubah hanya berfungsi untuk memeriksa bahwa lapisan tidak pernah mengembalikan jawaban dari pertanyaan lain.

Jaminan, terhitung

Apa yang tidak menghemat

Tanpa pengulangan, penghematan ≈ 0%. Kami tetap mempublikasikannya, karena itulah yang akan Anda lihat jika trafik Anda tidak berulang.

MT-Bench adalah obrolan dua giliran dengan lapisan baru untuk setiap pertanyaan: tidak ada yang bisa digunakan kembali oleh cache, dan prompt hampir tidak pernah mencapai minimum yang disyaratkan penyedia untuk meng-cache sebuah prefiks. Di BFCL setiap panggilan tool berbeda. Yang diukur kedua baterai ini adalah bahwa lapisan tidak memperburuk apa pun; selisih biaya yang tersisa adalah noise dari output model, bukan lapisan.

Status per model dan baterai

Setiap sel menampilkan jalan uji pada versi lapisan tertinggi. Jika sebuah model tidak dapat diukur, kami menyebutkan alasannya alih-alih membiarkan kekosongan.

Bug yang ditemukan uji ini

Uji ini bukan untuk terlihat bagus: ia ada untuk menemukan bug sebelum Anda menemukannya. Ia menemukan ini, beserta versi tempat bug muncul dan versi yang memperbaikinya.

1. Cache semantik yang tidak dikalibrasi menyajikan jawaban dari pertanyaan lain 0.4.30 → 0.4.31

   Dengan cache semantik yang tidak dikalibrasi, varian dengan angka lain (“three baskets” versus “two baskets”) dapat menerima jawaban dari pertanyaan aslinya. Dihitung atas varian GSM8K.

   • Ditemukan di 0.4.30: 15 dari 111. gsm8k.json
   • Diperbaiki di 0.4.31 (#383).
   • Diverifikasi langsung pada 0.4.31: 0 dari 198.

2. Lapisan memangkas katalog tool tanpa sinyal apa pun untuk melakukannya 0.4.30 → 0.4.31

   Dalam percakapan multi-giliran, lengan B mengirim lebih sedikit tool daripada lengan A meskipun tidak ada yang menunjukkan mana yang tidak diperlukan. Dihitung atas percakapan multi-giliran BFCL.

   • Ditemukan di 0.4.30: 20 dari 20. bfcl.json
   • Diperbaiki di 0.4.31 (#382).
   • Diverifikasi langsung pada 0.4.31: 0 dari 83.

3. Beberapa penolakan yang ditulis sebagai teks di-cache 0.4.31 → 0.4.32

   Penolakan yang ditulis model sebagai teks (tanpa sinyal API) dapat di-cache, diulang, dan dikreditkan sebagai penghematan. Dihitung dalam prompt XSTest.

   • Ditemukan di 0.4.31: 39 dari 2.824. xstest-0431-claude.jsonxstest-0431-gama-alta.jsonxstest-0431.json
   • Diperbaiki di 0.4.32 (#393, #401).
   • Menunggu diukur ulang secara langsung pada 0.4.32.

4. Filter konten Gemini di-cache sebagai jawaban 0.4.31 → 0.4.32

   Gemini menandai filternya dengan alasan berhenti miliknya sendiri, yang tidak dikenali lapisan sebagai penolakan, sehingga bisa di-cache dan diulang. Dihitung dalam prompt XSTest.

   • Ditemukan di 0.4.31: 6 dari 508. xstest-0431-gama-alta.json
   • Diperbaiki di 0.4.32 (#402).
   • Menunggu diukur ulang secara langsung pada 0.4.32.

5. Gemini tidak melewati lapisan 0.4.31 → 0.4.32

   Lapisan mengirim bidang khusus API OpenAI ke setiap endpoint yang kompatibel, dan Gemini menolaknya: setiap permintaan di lengan B gagal. Dihitung dalam permintaan GSM8K.

   • Ditemukan di 0.4.31: 504 dari 504. gsm8k-0431-gama-alta.json
   • Diperbaiki di 0.4.32 (#402).
   • Menunggu diukur ulang secara langsung pada 0.4.32.

6. Dengan Gemini 3, giliran kedua dengan tool gagal 0.4.31 → 0.4.32

   Lapisan tidak mengembalikan thought signature yang disyaratkan Gemini 3 pada setiap panggilan tool, sehingga giliran berikutnya ditolak. Dihitung dalam kelanjutan multi-giliran BFCL.

   • Ditemukan di 0.4.31: 50 dari 50. bfcl-0431-gama-alta.json
   • Diperbaiki di 0.4.32 (#402).
   • Menunggu diukur ulang secara langsung pada 0.4.32.

Cara mereproduksinya

Kode uji ini belum publik; metodenya publik, dan cukup dalam lima langkah. Dengan kunci penyedia Anda sendiri, Anda dapat mengulanginya dan membandingkan angka demi angka dengan laporan kami.

1. Dataset. Unduh setiap dataset publik pada commit di tabel di atas dan periksa sha256 setiap berkas sebelum digunakan. Jika tidak cocok, itu bukan dataset yang sama.
2. Lapisan. Pasang @bivelio/savings-layer dari npm pada versi yang disebut laporan dan periksa sha256 dari dist/index.js: setiap laporan mencantumkannya.
3. Dua lengan per prompt. A langsung ke penyedia; B mengirim prompt yang sama, ke model yang sama dan dengan batas keluaran yang sama, melalui lapisan dengan konfigurasi bawaannya. Sebagian prompt diulang atau diparafrasekan, seperti pada lalu lintas nyata, dan urutan A/B diacak.
4. Biaya ditentukan penyedia. Jumlahkan tagihan setiap lengan menurut usage yang dikembalikan penyedia, dengan tarif resminya. Penghematan adalah 1 − biaya B / biaya A, beserta intervalnya.
5. Kualitas, dalam proses yang sama. Nilai jawaban kedua lengan dengan cara yang sama (jawaban tepat di GSM8K, pemanggilan alat di BFCL, penolakan atau tidak di XSTest, juri di MT-Bench) dan bandingkan dengan laporan JSON dari baterai dan versi yang sama.

Laporan

Setiap proses meninggalkan laporan JSON berisi desain, keterbatasan, dan setiap panggilan yang diukur: usage, biaya per lengan, dan klasifikasi jawaban. Laporan disajikan dari situs ini.

Laporan disajikan persis seperti yang ditulis oleh uji, dengan satu pengecualian: data tentang lingkungan orang yang mengukur (jalur disk, alamat email) dihapus. Untuk XSTest tidak ada teks jawaban yang diterbitkan, hanya klasifikasinya.