Savings Layer, BiVelio platformunun bir parçası
Herkese açık test · yeniden üretilebilir

A/B testimiz, açıkta. Bizi ölçün.

Her koşuyu yayınlıyoruz: herkese açık veri kümeleri üzerinde dört batarya, 10 model ve her iki kol da sağlayıcının kendi kullanım sayacıyla ölçülüyor. Her sayı kendi n değerini, aralığını ve tarihini taşır. Tasarruf sağlamayan da burada.

batarya
4
denenen model
10
ölçümü olan model
10
canlı rapor
15
son koşu
1 Eki 2026

Bu sayfa nasıl okunur

SDK ile A/B
Aynı istek üzerinde iki kol; sağlayıcının bildirdiği kullanımla değerlenir. Testin bataryaları böyle ölçülür.
Gateway tekrarı
Kısmen yeniden oluşturulmuş bir temel çizgiyle karşı olgusal yeniden oynatma. Canlı bir A/B, faturalanmış tasarruf ya da fatura mutabakatı değildir.
  1. Aynı istek
  2. A kolu: katman olmadan, doğrudan sağlayıcıya
  3. B kolu: varsayılan yapılandırmasıyla katman üzerinden
  4. Sağlayıcının kullanım sayacı iki kolu da ölçer

Uyumlu olmak ölçülmüş olmak demek değildir: bir model burada yalnızca yayımlanmış bir çalıştırması varsa sayılır; ölçülemeyenler nedeniyle birlikte belirtilir.

Okuma filtresi

12 bölümden 12 tanesi gösteriliyor.

Ön baskıv2.3-r1

Verifiable Measurement of Cost Savings in Large Language Model Applications Open-Core Edition

Yayın öncesi harici bir incelemenin ardından gözden geçirilmiş sürüm: yöntem, tahmin edici, belirsizlik ve her rakamın sınırları.

  • 15 sayfa
  • CC BY 4.0
  • DOI10.5281/zenodo.24278852
BV-SALA Savings Layer · Joan-Marc FisaTüm sürümler (yeni sekmede açılır)

Ne ölçülüyor ve nasıl

  • İki kol, aynı istek. A, katman olmadan doğrudan sağlayıcıya gider; B, varsayılan yapılandırmasıyla katmandan geçer. Aynı prompt, aynı örnekleme, aynı çıktı sınırı.
  • Sağlayıcının bildirdiği kullanım ve sürümlenmiş liste fiyatları. Her kol, API'nin döndürdüğü usage ve tarihli bir liste fiyatı kataloğuyla değerlenir. Tasarruf, aynı koşunun 1 − maliyet(B) / maliyet(A) değeridir. Tutarlar kanıtlarına göre measured, reference-valued veya estimated olarak etiketlenir; bu bir fatura mutabakatı değildir.
  • %95 aralıkları. Bunları her test düzeneği hesaplar (bütün soru ailelerinin yeniden örneklenmesi, ret oranları için Wilson). Sıfırı kesen bir aralık “sıfırdan ayırt edilemez” demektir ve bunu böyle söylüyoruz.
  • Kurduğunuz paket. Aşağıdaki tablolardaki A/B koşuları 0.4.31 ile yapıldı: B kolu o etiketin kaynak kodunu çalıştırır ve dist/index.js dosyası npm tarball'ındakiyle bayt bayt aynıdır (sha256 b52f99cacf9804ecd3153e56f26ec3adcdc2510d52a8446a369ecf914e0b5731). Haftalık canlı test ise başka bir şey: her koşuda main'in o günkü kaynak kodunu, yayımlanmadan önce ölçer.
  • Kestirme yok. Her test düzeneği konuştuğu sunucuları izler ve kod içinde yazılı, model başına bir harcama sınırı taşır. Ölçülemeyen bir model, nedeniyle birlikte “ölçülmedi” olarak raporlanır.

15 sayfalık araştırma makalesini (v2.3-r1) okuyun (PDF): yöntem, kanıt türleri ve her rakamın sınırları; yayın öncesi harici bir incelemenin ardından gözden geçirildi.

Dört batarya, herkese açık veri kümeleri, sabitlenmiş

BataryaNeyi kontrol ediyorVeri kümesiSabitlenmiş dosyalarLisans
GSM8KTekrarlar ve başka sözcüklerle ifade edilmiş halleriyle matematik problemleri: önbelleğin ne kadar tasarruf sağladığı ve doğruluğun düşüp düşmediği.openai/grade-school-mathcommit 3101c7d5072418e28b9008a6636bde82a006892cgsm8k-test
sha256 3730d312f6e3440559ace48831e51066acaca737f6eabec99bccb9e4b3c39d14
gsm8k-train
sha256 17f347dc51477c50d4efb83959dbb7c56297aba886e5544ee2aaed3024813465
MIT
BFCLAraç çağrıları: katman bunlardan hiçbirini değiştirmemeli ve kataloğun tamamı ulaşmalıdır.ShishirPatil/gorillacommit f7cf7359b7ac615a0b294831c5ba2bc95ee4a000commit ile sabitlenmişApache-2.0
XSTestReddler: katman, modelin ne zaman reddettiğini değiştirmemeli, önbellekten bir ret sunmamalıdır.paul-rottger/exaggerated-safetycommit d7bb5bd738c1fcbc36edd83d5e7d1b71a3e2d84dxstest_prompts.csv
sha256 11783fb294ed017473ee53c207d71f2161c7672c8d0b037501e78387f801cb5a
CC-BY-4.0
MT-BenchTekrarsız iki turlu sohbet: katman maliyeti, gecikmeyi veya kaliteyi kötüleştirmemelidir.lm-sys/FastChatcommit 587d5cfa1609a43d192cedb8441cac3c17db105dquestion.jsonl
sha256 119565adbab82227089cefdb44c8d7e2cf04dc0a0ec233634c82e7d4e2a944f7
gpt-4.jsonl
sha256 f957a5bc977badb66885ec970e6cd08527845780313f0995764260e5777b9b3f
judge_prompts.jsonl
sha256 fd283293406d024f44c174b094ef48031d0687a4682fd3a56b29b138f80281b6
Apache-2.0

Jargonsuz çevirisi

Test adil bir deneydir: aynı görev iki kez — Savings olmadan ve Savings ile — ve ikisini de sağlayıcının aynı sayacı ölçer.

İsteklerin %30 kadarının birebir tekrarlandığı bir akışta fatura %31,5 düştü — %95 güvenle %25,7 ile %36,7 arasında. Ne kadar tasarruf edeceğiniz, trafiğinizin ne kadar tekrarlandığına bağlıdır.

Bir yüzde; aralığı, modeli ve trafiği olmadan hiçbir şey ifade etmez: üçünü de yayımlıyoruz.

Haftalık canlı test

SDK ile A/B

Her hafta ve elle her başlattığımızda, bir koşu tüm bataryaları tüm modellerden geçirir: A kolu doğrudan sağlayıcıya gider, B kolu o anki main kaynak kodundan derlenen katmandan geçer. Bu yayımlanmış bir sürüm değildir: yayımlanmak üzere olan şeydir. Herhangi bir kural bozulursa koşu başarısız olur ve ölçülemeyen bir hücre nedenini söyler.

1 Eki 2026 koşusu · 5bec174 commit'indeki main kaynak kodu (paket sürümü 0.4.35) · $50,00 tavanın $21,96 kadarı harcandı · 40 hücreden 36 tanesi ölçüldü. banco-semanal-5bec174.json

Karar: gerileme yok.

BataryaModelDurumnHarcama / tavanKatman hatalarıNe sayarB − ARapor ile liste fiyatı maliyeti
GSM8Kopenai/gpt-4o-miniölçüldü200$0,12 / $0,750başka bir sorunun yanıtı: 0doğruluk -1,7 pp [-4,8, +1,1]%0,00
GSM8Kopenai/gpt-5.4-miniölçüldü106$0,42 / $0,750başka bir sorunun yanıtı: 0doğruluk +1,0 pp [0,0, +3,3]%0,00
GSM8Kopenai/gpt-5.5ölçüldü24$0,86 / $1,250başka bir sorunun yanıtı: 0doğruluk 0,0 pp [0,0, 0,0]%0,00
GSM8Kopenai/gpt-5.6-solölçüldü34$0,31 / $1,250başka bir sorunun yanıtı: 0doğruluk 0,0 pp [0,0, 0,0]%0,00
GSM8Kanthropic/claude-haiku-4-5ölçüldü70$0,42 / $0,750başka bir sorunun yanıtı: 0doğruluk -1,6 pp [-4,3, 0,0]%0,00
GSM8Kanthropic/claude-sonnet-5ölçüldü52$0,48 / $1,100başka bir sorunun yanıtı: 0doğruluk 0,0 pp [0,0, 0,0]%0,00
GSM8Kanthropic/claude-sonnet-5-5ölçüldü56$0,47 / $1,100başka bir sorunun yanıtı: 0doğruluk 0,0 pp [0,0, 0,0]%0,00
GSM8Kanthropic/claude-opus-5-5ölçüldü30$0,55 / $1,250başka bir sorunun yanıtı: 0doğruluk 0,0 pp [0,0, 0,0]%0,00
GSM8Kgoogle/gemini-3.8-flashölçüldü68$0,40 / $0,750başka bir sorunun yanıtı: 0doğruluk 0,0 pp [0,0, 0,0]%0,00
GSM8Kgoogle/gemini-3.1-pro-previewölçülemez: sağlayıcının kotası veya hız sınırı doldu, katman değil—
BFCLopenai/gpt-4o-miniölçüldü100$0,03 / $0,750değişen araç çağrıları: 0doğruluk +2,0 pp [0,0, +5,0]%0,00
BFCLopenai/gpt-5.4-miniölçüldü100$0,15 / $0,750değişen araç çağrıları: 0doğruluk -1,0 pp [-5,0, +2,0]%0,00
BFCLopenai/gpt-5.5ölçüldü32$0,28 / $1,250değişen araç çağrıları: 0doğruluk +6,3 pp [0,0, +15,6]%0,00
BFCLopenai/gpt-5.6-solölçüldü32$0,18 / $1,250değişen araç çağrıları: 0doğruluk 0,0 pp [0,0, 0,0]%0,00
BFCLanthropic/claude-haiku-4-5ölçüldü100$0,59 / $0,750değişen araç çağrıları: 0doğruluk 0,0 pp [0,0, 0,0]%0,00
BFCLanthropic/claude-sonnet-5ölçüldü48$0,72 / $1,100değişen araç çağrıları: 0doğruluk 0,0 pp [-6,3, +6,3]%0,00
BFCLanthropic/claude-sonnet-5-5ölçüldü48$0,64 / $1,100değişen araç çağrıları: 0doğruluk 0,0 pp [0,0, 0,0]%0,00
BFCLanthropic/claude-opus-5-5ölçüldü32$0,47 / $1,250değişen araç çağrıları: 0doğruluk 0,0 pp [0,0, 0,0]%0,00
BFCLgoogle/gemini-3.8-flashölçüldü100$0,45 / $0,750değişen araç çağrıları: 0doğruluk +1,0 pp [0,0, +3,0]%0,00
BFCLgoogle/gemini-3.1-pro-previewölçülemez: sağlayıcının kotası veya hız sınırı doldu, katman değil—
XSTestopenai/gpt-4o-miniölçüldü450$0,06 / $0,750önbelleğe alınan retler: 0 · kredilendirilen: 0güvenli 0,0 pp (p = 1,00)güvensiz 0,0 pp (p = 1,00)%0,00
XSTestopenai/gpt-5.4-miniölçüldü (harcama tavanında durdu)412$0,75 / $0,750önbelleğe alınan retler: 0 · kredilendirilen: 0güvenli +0,9 pp (p = 0,77)güvensiz 0,0 pp (p = 1,00)%0,00
XSTestopenai/gpt-5.5ölçüldü99$1,01 / $1,250önbelleğe alınan retler: 0 · kredilendirilen: 0güvenli 0,0 pp (p = 1,00)güvensiz 0,0 pp (p = 1,00)%0,00
XSTestopenai/gpt-5.6-solölçüldü99$0,62 / $1,250önbelleğe alınan retler: 0 · kredilendirilen: 0güvenli 0,0 pp (p = 1,00)güvensiz 0,0 pp (p = 1,00)%0,00
XSTestanthropic/claude-haiku-4-5ölçüldü450$0,63 / $0,750önbelleğe alınan retler: 0 · kredilendirilen: 0güvenli 0,0 pp (p = 1,00)güvensiz +0,5 pp (p = 1,00)%0,00
XSTestanthropic/claude-sonnet-5ölçüldü200$0,87 / $1,100önbelleğe alınan retler: 0 · kredilendirilen: 0güvenli 0,0 pp (p = 1,00)güvensiz +2,2 pp (p = 0,50)%0,00
XSTestanthropic/claude-sonnet-5-5ölçüldü153$0,81 / $1,100önbelleğe alınan retler: 0 · kredilendirilen: 0güvenli +1,1 pp (p = 1,00)güvensiz +3,0 pp (p = 0,50)%0,00
XSTestanthropic/claude-opus-5-5ölçüldü (harcama tavanında durdu)82$0,82 / $1,250önbelleğe alınan retler: 0 · kredilendirilen: 0güvensiz -3,7 pp (p = 0,45)%0,00
XSTestgoogle/gemini-3.8-flashölçüldü448$0,52 / $0,750önbelleğe alınan retler: 0 · kredilendirilen: 0güvenli +0,4 pp (p = 1,00)güvensiz +1,0 pp (p = 0,75)%0,00
XSTestgoogle/gemini-3.1-pro-previewölçülemez: sağlayıcının kotası veya hız sınırı doldu, katman değil—
MT-Benchopenai/gpt-4o-miniölçüldü40$0,41 / $1,150—B tercih edildi %48,1 [%38,5 – %57,7]%0,00
MT-Benchopenai/gpt-5.4-miniölçüldü40$0,68 / $1,150—B tercih edildi %51,7 [%40,0 – %65,0]%0,00
MT-Benchopenai/gpt-5.5ölçüldü (harcama tavanında durdu)7$0,65 / $1,650—B tercih edildi %46,4 [%28,6 – %64,3]%0,00
MT-Benchopenai/gpt-5.6-solölçüldü (harcama tavanında durdu)11$0,97 / $1,650—B tercih edildi %52,3 [%45,5 – %59,1]%0,00
MT-Benchanthropic/claude-haiku-4-5ölçüldü40$0,79 / $1,150—B tercih edildi %52,6 [%44,7 – %60,5]%0,00
MT-Benchanthropic/claude-sonnet-5ölçüldü (harcama tavanında durdu)19$1,18 / $1,500—B tercih edildi %50,0 [%38,5 – %59,6]%0,00
MT-Benchanthropic/claude-sonnet-5-5ölçüldü24$1,14 / $1,500—B tercih edildi %50,0 [%42,6 – %58,8]%0,00
MT-Benchanthropic/claude-opus-5-5ölçüldü16$1,41 / $1,650—B tercih edildi %35,9 [%26,6 – %43,8]%0,00
MT-Benchgoogle/gemini-3.8-flashölçüldü (harcama tavanında durdu)32$1,06 / $1,150—B tercih edildi %39,6 [%27,1 – %50,0]%0,00
MT-Benchgoogle/gemini-3.1-pro-previewölçülemez: sağlayıcının kotası veya hız sınırı doldu, katman değil—

“Katman hataları”, A kolunda olmayıp B kolunda çıkan hatalardır. “B − A”, GSM8K ve BFCL'de doğruluk farkı, XSTest'te ret oranı farkı (McNemar p değeri, eşleştirilmiş promptlar), MT-Bench'te ise hakemin B'yi ne sıklıkla tercih ettiğidir (yarısı beraberlik demektir). “Rapor ile liste fiyatı maliyeti”, katmanın B için bildirdiği maliyeti, sağlayıcının bildirdiği kullanımdan aynı sürümlenmiş liste fiyatlarıyla bağımsız hesaplanan maliyetle karşılaştırır; fatura mutabakatı değildir.

Önceki haftalık koşular

Kısmi koşular

Kısmi koşu yalnızca bazı modeller veya bataryalarla elle başlatılır; örneğin sağlayıcının günlük kotası dört bataryasına bir günde yetmeyen bir modelin diğer günü. Söylediğini ölçer, ama haftalık koşu değildir: yayımlamak için sayılmaz.

Model başına ölçülen tasarruf

SDK ile A/B

GSM8K, isteklerin %30 kadarının tam tekrar, %20 kadarının başka sözcüklerle ifade edilmiş olduğu bir istek akışında. Bu, tekrarlayan trafiğe sahip batarya: sizin tasarrufunuz kendi trafiğinizin ne kadar tekrarlandığına bağlıdır. Tekrar yoksa “Tasarruf sağlamayan” bölümüne bakın.

İki kol, model model

GSM8K, tasarrufu ölçmek için hazırlanmış batarya. Ölçülmüş bir model seçin: A doğrudan sağlayıcıya gider, B katmandan geçer.

Modele göre ölçülen tasarruf, aralığıyla birlikte

SDK ile A/B

Nokta tahmindir; çubuk güven aralığı; çizgi sıfırdır. Hepsi aynı ölçekte.

openai/gpt-4o-minitasarruf0.4.31 · 28 Eyl 2026B−31,5%
A referanstır; B katmandan geçer.
%31,5 [%25,7 – %36,7] SDK ile A/B
200 istek · 100 benzersiz
%95,0 → %96,1
0.4.31 · 28 Eyl 2026

Yalnızca ölçülmüş bir çalıştırması olan modeller görünür. Metodolojiyi gör

ModelnÖlçülen tasarruf [GA] SDK ile A/BTam önbellektenÇağrılarda (önek)Doğruluk A → BSürüm · tarih
openai/gpt-4o-mini200 istek · 100 benzersiz%31,5 [%25,7 – %36,7]$0,0124$0,0006%95,0 → %96,1Δ +1,1 pp [0,0, +2,8]0.4.31 · 28 Eyl 2026
openai/gpt-5.4-mini176 istek · 88 benzersiz%31,7 [%25,6 – %37,6]$0,0734$0,0003%95,6 → %93,7Δ -1,9 pp [-5,0, 0,0]0.4.31 · 28 Eyl 2026
openai/gpt-5.522 istek · 11 benzersiz%33,4 [%6,8 – %53,8]$0,0790-$0,0023%100,0 → %100,0Δ 0,0 pp [0,0, 0,0]0.4.31 · 28 Eyl 2026
openai/gpt-5.6-sol32 istek · 16 benzersiz%29,2 [%9,5 – %46,8]$0,0252-$0,0003%100,0 → %100,0Δ 0,0 pp [0,0, 0,0]0.4.31 · 28 Eyl 2026
anthropic/claude-haiku-4-5116 istek · 58 benzersiz%32,2 [%23,6 – %40,2]$0,0773$0,0002%99,0 → %99,0Δ 0,0 pp [0,0, 0,0]0.4.31 · 28 Eyl 2026
anthropic/claude-opus-5-532 istek · 16 benzersiz%77,2 [%67,1 – %83,9]$0,0974$0,1391%100,0 → %100,0Δ 0,0 pp [0,0, 0,0]0.4.31 · 28 Eyl 2026
anthropic/claude-sonnet-562 istek · 31 benzersiz%75,1 [%69,3 – %79,6]$0,1054$0,1313%100,0 → %100,0Δ 0,0 pp [0,0, 0,0]0.4.31 · 28 Eyl 2026
anthropic/claude-sonnet-5-562 istek · 31 benzersiz%77,5 [%72,0 – %81,7]$0,0924$0,1289%100,0 → %100,0Δ 0,0 pp [0,0, 0,0]0.4.31 · 28 Eyl 2026
google/gemini-3.1-pro-previewkatman başarısız oldu: istekler katmandan geçmedi0.4.31 · 28 Eyl 2026
google/gemini-3.8-flashkatman başarısız oldu: istekler katmandan geçmedi0.4.31 · 28 Eyl 2026

Tasarrufun nereden geldiği, pozisyon pozisyon: “tam önbellekten” olan, katmanın sağlayıcıyı çağırmadan sunduğu isteklerde A'nın ödediği tutardır; “çağrılarda” olan ise, sağlayıcıya gerçekten ulaşanlardaki farktır, çoğunlukla sağlayıcının önek önbelleğinden (artı bir miktar çıktı değişkenliği). İkisi toplamda toplam tasarrufu oluşturur.

Doğruluk, yayınlanmış bir cevabı olan sorular üzerinden ölçülür; sayısı değiştirilmiş varyantlar yalnızca katmanın başka bir sorunun cevabını asla geri vermediğini doğrulamaya yarar.

Gateway'in önbellek indirimi: bir simülasyon, A/B değil

Gateway tekrarı

Bu, taban çizgisi kısmen yeniden oluşturulmuş bir karşı-olgusal yeniden oynatmadır; sayfadaki canlı A/B bataryalarından biri değildir. Tek bir kuruluşun, yani bizim gerçek Claude Code oturumlarında tek sağlayıcının (Anthropic) bildirdiği kullanımı aldık ve PRO'nun önbellek TTL değişikliğiyle ve onsuz maliyetleri sürümlenmiş liste fiyatlarıyla tahmin ettik. Canlı çift çalıştırma veya fatura mutabakatı değildir.

3 Eki 2026 tarihli raporun hükmü: indirim, kendi yol açtığı önbellek ıskaları düşüldükten sonra faturanın net +%2,49 kadarını bırakıyor ($4.563,61 üzerinden $113,45).

Oturum
51
İstek
19.779
Gün
13
%95 aralığıNet, faturaya oranla Gateway tekrarı
Oturuma göre yeniden örnekleme (küme: 51)+%1,50 – +%3,57
Güne göre yeniden örnekleme (küme: 13)+%1,73 – +%4,82

10.000 yeniden örneklemeli bootstrap. İki aralık da sıfırı dışarıda bırakıyor: bu trafikte indirim para kazandırıyor. Ana sayfadaki kart, oturuma göre aralığı veriyor.

Sonuç ve ondan düşülenler

İndirimler2.583
Tasarruf edilen prim, brüt+%3,10
Yol açılan önbellek ıskaları124
Bu ıskaların maliyeti-%0,62
Net+%2,49 · $113,45
Tavan: bir saatlik primin tamamı%7,2

Yüzdeler, simüle edilen isteklerin liste fiyatlı faturasına ($4.563,61) göredir. Tavan, hiç ıskalamasa bile herhangi bir TTL politikasının geri kazanabileceği en fazla tutardır. Her yüzde ayrı ayrı yuvarlanır.

Modele göre

ModelİstekİndirimlerYol açılan önbellek ıskalarıNet, modelin faturasına oranla
claude-fable-51.921231+%4,64
claude-fable-5-12.236250+%1,65
claude-opus-58.344702+%1,61
claude-opus-4-81.193340+%6,49
claude-sonnet-56.0802.427121+%1,34
claude-haiku-4-5540yüzde yok (istek: 5)

claude-sonnet-5 çirkin örnektir: indirimlerin %94 kadarı ve ıskaların %98 kadarı ondadır, neti ise neredeyse sıfırdır. Kaydın ilk döneminde üstelik zarar etti: faturasının %9,4 kadarı. Trafiği, sık sık yeniden kurulan ve beş dakika geçtikten sonra geri dönen kısa konulardan oluşur. Kural, oturum başlangıçlarının pahalı ve seyrek olduğu yerde gerçekten kazandırır.

Nasıl yapıldı: önbellek modeli, açıkça beyan edilmiş hâliyle

  • Kural, gateway'in çalıştırdığı kuralın kendisidir, bir kopyası değil: yeni kısım istek gövdesinin en az %30 kadarı olduğunda önbellek yazmalarını bir saatlik TTL'den beş dakikalık TTL'ye geçirir.
  • Temel çizgi, indirimin henüz etkin olmadığı yerde sağlayıcının gerçek kullanımla saydığı şeydir; zaten etkin olduğu yerde ise indirim geri alınarak yeniden oluşturulur (sınırlara bakın). İndirimle, indirilen tur bir saatlik yazma primi yerine beş dakikalık yazma primini öder.
  • Yol açılan bir ıska: aynı konunun sonraki turu beş dakikadan sonra ve bir saat dolmadan gelirse, indirilen turun yazdığı şey artık önbellekten okunmaz, yeniden yazılır ve bu maliyet düşülür.
  • Bir de temkinli varyant var; farklı konuların paylaştığı ön eki de kaybedilmiş sayar. Rakamı neredeyse hiç oynatmaz: +%2,48, birkaç ıska fazlasıyla (3).
  • Yalnızca toplu rakamlar: kayıttan hiçbir prompt, yanıt, başlık veya oturum kimliği çıkmaz.

Sınırlar

  • Tek kuruluş, tek istemci, tek sağlayıcı. Anthropic'e karşı Claude Code, kendi trafiğimizle. Başka bir kod ajanı ve başka bir sağlayıcı yok.
  • Liste fiyatı, simüle edilmiş. Bu bir fatura değildir: fiyat kataloğuyla fiyatlandırılmış gerçek kullanımdır. İndirimler, hesap kademeleri veya bir abonelik parayı değiştirir.
  • Önbellek modeli bir modeldir. Sağlayıcının önbellek girdilerini nasıl dizinlediğini varsayar; bunu gözlemlemez. Temkinli varyant bu riski sınırlar.
  • Temel çizginin büyük kısmı yeniden oluşturulmuştur. İsteklerin %79 kadarı indirim zaten etkinken kaydedildi; orada temel çizgi, gerçek indirim geri alınarak yeniden oluşturulur ve ilk dönemdekinden daha az sağlamdır. O ilk dönem tek başına çok daha geniş bir aralık verir: +%0,29 ile +%9,12 arası.
  • Tavan, istemciye göre değişir. Kod ajanının kaç tane bir saatlik yazma gönderdiğine bağlıdır ve Claude Code'un yeni sürümleri daha az gönderir: 19.779 isteğin 7.327 tanesinde indirilecek hiçbir yazma yoktu.
  • Turlar arasındaki boşluk, her isteğin gelişinden itibaren ölçülür, yanıtın bitişinden değil: birkaç ıskayı fazladan sayar, asla eksik saymaz.
  • Ekibiniz için bir tahmin değildir. Tek bir trafikten gelen küçük bir tasarruftur ve başka bir trafik başka bir rakam verebilir, daha kötüsünü de: çirkin örneğe bakın.

Üretimde: 0.5.1 sürümünden (3 Eki 2026) itibaren gateway, gözlemlediği ıskaları onlara maruz kalan turda düşer; böylece panelinizde gördüğünüz bu indirimin tasarrufu nettir. Daha önce kaydedilenler yeniden hesaplanmaz ve panel, daha eski bir gateway çalıştıran makineleri “brüt” olarak işaretler.

Garantiler, sayılmış

SDK ile A/B

Katman hiçbir zaman bir araç çağrısını değiştirmedi

1.325 BFCL karşılaştırmasında, 6 modelde, 0.4.31 tarihinden bu yana 0 değiştirilmiş çağrı. Katman başarısız olursa (B'de A'da olmayan bir hata varsa), bu burada sayılmaz: “Testin bulduğu hatalar” altındadır.

Nasıl sayılır: o sürümden beri her canlı koşudaki her karşılaştırma; yani iki kez ölçülen bir model (bir pilot ve tam koşu) iki kez sayılır. Bu yüzden sayı, model başına tek koşu gösteren tablolardaki n'yi aşabilir.

0.4.31 tarihinden bu yana başka bir sorudan cevap yok

198 varyanttan 0 tanesi (aynı soru, başka bir sayıyla, dolayısıyla başka bir cevapla) başka bir sorunun cevabıyla sunuldu; 8 canlı model ve ölçülen tüm önbellek yapılandırmaları genelinde.

GSM8K test bölünmesinin tamamının çevrimdışı tekrarı: 5 önbellek yapılandırmasının her birinde, 5.813 istekte 0.

Katmanla ve katmansız aynı ret oranı

XSTest, 10 model ölçüldü: p = 0,05 altında A/B farkı yok (McNemar, eşleştirilmiş promptlar). Katman, 4.668 yanıtın metnini değiştirmeden teslim etti (0 değiştirilmiş).

Nasıl sayılır: promptlar değil, yanıtlar. B kolunun her yanıtı, aynı promptun tekrarları dahil, sağlayıcının metniyle karşılaştırılır; bu yüzden tabloda promptlardan daha fazla yanıt vardır.

Aynı promptlar üzerinde, katman olmadan (A) ve katmanla (B), model başına ret oranı.
ModelPromptlarReddler, güvenli promptlar (A → B)Reddler, güvensiz promptlar (A → B)Sürüm · tarih
openai/gpt-4o-mini450%5,2 → %5,2 (n = 250, p = 1,00)%81,5 → %81,5 (n = 200, p = 1,00)0.4.31 · 28 Eyl 2026
openai/gpt-5.4-mini441%11,0 → %9,8 (n = 245, p = 0,63)%87,2 → %86,7 (n = 196, p = 1,00)0.4.31 · 28 Eyl 2026
openai/gpt-5.5120%6,3 → %4,7 (n = 64, p = 1,00)%80,0 → %80,0 (n = 55, p = 1,00)0.4.31 · 29 Eyl 2026
openai/gpt-5.6-sol199%2,7 → %2,7 (n = 111, p = 1,00)%75,6 → %76,7 (n = 86, p = 1,00)0.4.31 · 29 Eyl 2026
anthropic/claude-haiku-4-5450%1,6 → %2,0 (n = 250, p = 1,00)%42,5 → %42,5 (n = 200, p = 1,00)0.4.31 · 29 Eyl 2026
anthropic/claude-opus-5-581—%67,1 → %67,1 (n = 79, p = 1,00)0.4.31 · 29 Eyl 2026
anthropic/claude-sonnet-5264%2,7 → %2,0 (n = 147, p = 1,00)%68,4 → %71,8 (n = 117, p = 0,34)0.4.31 · 29 Eyl 2026
anthropic/claude-sonnet-5-5311%1,5 → %0,0 (n = 135, p = 0,50)%64,3 → %65,3 (n = 98, p = 1,00)0.4.31 · 29 Eyl 2026
google/gemini-3.1-pro-preview58%0,0 → %0,0 (n = 32, p = 1,00)%80,8 → %84,6 (n = 26, p = 1,00)0.4.31 · 29 Eyl 2026
google/gemini-3.8-flash450%0,4 → %0,4 (n = 249, p = 1,00)%67,8 → %66,8 (n = 199, p = 0,73)0.4.31 · 29 Eyl 2026

Tasarruf sağlamayan

SDK ile A/B

Tekrar olmadan tasarruf ≈ %0 olur. Yine de yayınlıyoruz, çünkü trafiğiniz tekrarlanmıyorsa göreceğiniz şey budur.

MT-Bench, her soru için yepyeni bir katmanla iki turlu bir sohbettir: önbelleğin yeniden kullanabileceği hiçbir şey yoktur ve prompt neredeyse hiçbir zaman sağlayıcının bir öneki önbelleğe almak için gerektirdiği minimuma ulaşmaz. BFCL'de her araç çağrısı farklıdır. Bu iki bataryanın ölçtüğü şey, katmanın hiçbir şeyi kötüleştirmediğidir; geriye kalan maliyet farkı modelin çıktısındaki gürültüdür, katman değil.

BataryaModelnÖlçülen tasarruf [GA] SDK ile A/BYorumSürüm · tarih
BFCLopenai/gpt-4o-mini400 öğe%0,1 [%0,0 – %0,3]sıfırdan ayırt edilemez0.4.31 · 28 Eyl 2026
BFCLopenai/gpt-5.4-mini400 öğe-%0,2 [-%1,0 – %0,5]sıfırdan ayırt edilemez0.4.31 · 28 Eyl 2026
BFCLanthropic/claude-haiku-4-548 öğe%0,1 [%0,0 – %0,2]sıfırdan ayırt edilemez0.4.31 · 29 Eyl 2026
BFCLanthropic/claude-sonnet-548 öğe%1,5 [-%1,6 – %5,8]sıfırdan ayırt edilemez0.4.31 · 29 Eyl 2026
BFCLgoogle/gemini-3.1-pro-preview97 öğe%4,8 [-%6,6 – %15,6]sıfırdan ayırt edilemez0.4.31 · 29 Eyl 2026
BFCLgoogle/gemini-3.8-flash324 öğe-%10,7 [-%27,8 – %3,2]sıfırdan ayırt edilemez0.4.31 · 29 Eyl 2026
MT-Benchopenai/gpt-4o-mini80 soru%3,3 [%0,8 – %6,0]tasarruf · katmana atfedilemez0.4.31 · 28 Eyl 2026
MT-Benchopenai/gpt-5.4-mini80 soru-%3,5 [-%8,6 – %1,6]sıfırdan ayırt edilemez · katmana atfedilemez0.4.31 · 28 Eyl 2026
MT-Benchopenai/gpt-5.58 soru%2,1 [-%4,4 – %9,7]sıfırdan ayırt edilemez0.4.31 · 29 Eyl 2026
MT-Benchopenai/gpt-5.6-sol13 soru-%0,4 [-%21,2 – %13,5]sıfırdan ayırt edilemez · katmana atfedilemez0.4.31 · 29 Eyl 2026
MT-Benchanthropic/claude-haiku-4-580 soru-%2,6 [-%4,6 – -%0,9]ek maliyet · katmana atfedilemez0.4.31 · 28 Eyl 2026
MT-Benchanthropic/claude-opus-5-518 soru%1,1 [-%2,0 – %4,9]sıfırdan ayırt edilemez0.4.31 · 29 Eyl 2026
MT-Benchanthropic/claude-sonnet-523 soru%1,7 [-%8,9 – %12,7]sıfırdan ayırt edilemez0.4.31 · 28 Eyl 2026
MT-Benchanthropic/claude-sonnet-5-537 soru-%0,8 [-%2,5 – %0,9]sıfırdan ayırt edilemez0.4.31 · 29 Eyl 2026

Model ve bataryaya göre durum

Her hücre, katmanın en yüksek sürümündeki koşuyu gösterir. Bir model ölçülemediyse, boşluk bırakmak yerine nedenini söylüyoruz.

ModelGSM8KBFCLXSTestMT-Bench
openai/gpt-4o-miniölçüldü · n = 200
0.4.31 · 28 Eyl 2026
ölçüldü · n = 400
0.4.31 · 28 Eyl 2026
ölçüldü · n = 450
0.4.31 · 28 Eyl 2026
ölçüldü · n = 80
0.4.31 · 28 Eyl 2026
openai/gpt-5.4-miniölçüldü · n = 176
0.4.31 · 28 Eyl 2026
ölçüldü · n = 400
0.4.31 · 28 Eyl 2026
ölçüldü · n = 441
0.4.31 · 28 Eyl 2026
ölçüldü · n = 80
0.4.31 · 28 Eyl 2026
openai/gpt-5.5ölçüldü · n = 22
0.4.31 · 28 Eyl 2026
ölçülmedi: harcama sınırı tükendi
0.4.31 · 29 Eyl 2026
ölçüldü · n = 120
0.4.31 · 29 Eyl 2026
ölçüldü · n = 8
0.4.31 · 29 Eyl 2026
openai/gpt-5.6-solölçüldü · n = 32
0.4.31 · 28 Eyl 2026
ölçülmedi: sağlayıcı her iki kolda da isteği reddetti
0.4.31 · 29 Eyl 2026
ölçüldü · n = 199
0.4.31 · 29 Eyl 2026
ölçüldü · n = 13
0.4.31 · 29 Eyl 2026
anthropic/claude-haiku-4-5ölçüldü · n = 116
0.4.31 · 28 Eyl 2026
ölçüldü · n = 48
0.4.31 · 29 Eyl 2026
ölçüldü · n = 450
0.4.31 · 29 Eyl 2026
ölçüldü · n = 80
0.4.31 · 28 Eyl 2026
anthropic/claude-opus-5-5ölçüldü · n = 32
0.4.31 · 28 Eyl 2026
ölçülmedi: harcama sınırı tükendi
0.4.31 · 29 Eyl 2026
ölçüldü · n = 81
0.4.31 · 29 Eyl 2026
ölçüldü · n = 18
0.4.31 · 29 Eyl 2026
anthropic/claude-sonnet-5ölçüldü · n = 62
0.4.31 · 28 Eyl 2026
ölçüldü · n = 48
0.4.31 · 29 Eyl 2026
ölçüldü · n = 264
0.4.31 · 29 Eyl 2026
ölçüldü · n = 23
0.4.31 · 28 Eyl 2026
anthropic/claude-sonnet-5-5ölçüldü · n = 62
0.4.31 · 28 Eyl 2026
ölçülmedi: harcama sınırı tükendi
0.4.31 · 29 Eyl 2026
ölçüldü · n = 311
0.4.31 · 29 Eyl 2026
ölçüldü · n = 37
0.4.31 · 29 Eyl 2026
google/gemini-3.1-pro-previewkatman başarısız oldu: istekler katmandan geçmedi
0.4.31 · 28 Eyl 2026
ölçüldü · n = 97
0.4.31 · 29 Eyl 2026
ölçüldü · n = 58
0.4.31 · 29 Eyl 2026
ölçülmedi: sağlayıcı kotası tükendi
0.4.31 · 29 Eyl 2026
google/gemini-3.8-flashkatman başarısız oldu: istekler katmandan geçmedi
0.4.31 · 28 Eyl 2026
ölçüldü · n = 324
0.4.31 · 29 Eyl 2026
ölçüldü · n = 450
0.4.31 · 29 Eyl 2026
katman başarısız oldu: istekler katmandan geçmedi
0.4.31 · 29 Eyl 2026

Uyumluluk

Uyumlu
OpenAIAnthropicGeminiMistralLlamaDeepSeekPerplexityHugging FaceNVIDIA NIMAzure OpenAIBedrockOllamavLLM

Uyumlu, ölçülmüş demek değildir. SDK, OpenAI API'siyle uyumlu her uç noktayla, ayrıca yerel Anthropic bağdaştırıcısı ve yerel Gemini bağdaştırıcısıyla (0.4.33 sürümünde yeni) çalışır. Herkese açık test tezgâhında tasarruf rakamı olanlar bugün yalnızca OpenAI ve Anthropic modelleridir; Gemini'nin tasarruf rakamı yok. Gemini için ölçülen: Gemini 3.8 Flash, yerel API'si üzerinden, 1 Ekim 2026 tarihli haftalık canlı testte — dört bataryanın tümü, hiçbir katman hatası olmadan ve önbelleğe alınan ya da tasarruf olarak kredilendirilen hiçbir ret olmadan. Bu test, katmanın hiçbir şeyi bozmadığını ve fazla ücret almadığını kontrol eder; bir tasarrufu ölçmez. Ayrıca ölçüldü: Gemini 3.1 Pro, yerel API'si üzerinden, 1–2 Ekim 2026 tarihli iki kısmi koşuda (sağlayıcının günlük kotası dört bataryaya bir günde yetmiyor): dört bataryanın tamamı, yine katmandan kaynaklı hiçbir hata olmadan ve önbelleğe alınmış ya da tasarruf sayılmış hiçbir ret olmadan.

Testin bulduğu hatalar

Test iyi görünmek için değil, hataları siz bulmadan önce bulmak için var. Ortaya çıktıkları sürümle ve onları düzelten sürümle birlikte şunları buldu.

  1. Kalibre edilmemiş anlamsal önbellek, başka bir sorunun cevabını sundu 0.4.30 → 0.4.31

    Anlamsal önbellek kalibre edilmediğinde, başka bir sayıya sahip bir varyant (“three baskets”e karşı “two baskets”) orijinal sorunun cevabını alabiliyordu. GSM8K varyantları üzerinden sayıldı.

    • 0.4.30 sürümünde bulundu: 111 üzerinden 15. gsm8k.json
    • 0.4.31 sürümünde düzeltildi (#383).
    • 0.4.31 sürümünde canlı olarak doğrulandı: 198 üzerinden 0.
  2. Katman, bunu yapması için hiçbir sinyal olmadan araç kataloğunu kısalttı 0.4.30 → 0.4.31

    Çok turlu konuşmalarda, hiçbir şey hangi araçların gereksiz olduğunu göstermese de B kolu A kolundan daha az araç gönderdi. BFCL çok turlu konuşmaları üzerinden sayıldı.

    • 0.4.30 sürümünde bulundu: 20 üzerinden 20. bfcl.json
    • 0.4.31 sürümünde düzeltildi (#382).
    • 0.4.31 sürümünde canlı olarak doğrulandı: 83 üzerinden 0.
  3. Metin olarak yazılan bazı reddler önbelleğe alındı 0.4.31 → 0.4.32

    Modelin metin olarak yazdığı bir ret (API sinyali olmadan) önbelleğe alınabilir, tekrarlanabilir ve tasarruf olarak hesaba geçirilebilirdi. XSTest promptlarında sayıldı.

  4. Kısmi retler önbelleğe alınıp kredilendiriliyordu 0.4.32 → 0.4.33

    İsteğe uyarak başlayıp ilerleyen kısımda reddeden bir yanıt (“If you mean harming someone, I can't help…”) ya da ardından “erişimim yok…” gelen bir özür, ret olarak tanınmıyordu: katman bunu önbelleğe alabiliyor, tekrarlayabiliyor ve tasarruf olarak kredilendirebiliyordu. Haftalık testin XSTest promptlarında, OpenAI ve Claude modelleriyle sayıldı.

    • Haftalık canlı test tarafından 29 Eyl 2026 tarihinde bulundu (main kaynak kodu, commit 105fe13): önbellekten sunulan veya önbelleğe yazılan 12 ret ve kredilendirilen 14 ret; 1.995 XSTest promptunda, 8 modelde. banco-semanal-105fe13.json
    • 0.4.33 sürümünde düzeltildi (#422).
    • Haftalık test tarafından 1 Eki 2026 tarihinde canlı olarak yeniden ölçüldü (düzeltmeyi içeren main kaynak kodu, commit 5bec174): önbelleğe alınan 0 ret ve kredilendirilen 0 ret; 2.393 XSTest promptunda, 9 modelde. banco-semanal-5bec174.json
  5. Bir Gemini içerik filtresi cevap olarak önbelleğe alındı 0.4.31 → 0.4.32

    Gemini, filtresini kendi durdurma nedeniyle işaretler; katman bunu bir ret olarak tanımadığından, önbelleğe alıp tekrarlayabiliyordu. XSTest promptlarında sayıldı.

    • 0.4.31 sürümünde bulundu: 508 üzerinden 6. xstest-0431-gama-alta.json
    • 0.4.32 sürümünde düzeltildi (#402).
    • 1 Eki 2026 tarihinde haftalık test tarafından canlı olarak yeniden ölçüldü (düzeltmeyi içeren main kaynak kodu, commit 5bec174), google/gemini-3.8-flash ile: önbelleğe alınan veya kredilendirilen 0 ret; 448 XSTest promptunda. O çalıştırma google/gemini-3.1-pro-preview modelini ölçemedi (sağlayıcının kotası veya hız sınırı doldu, katman değil); orada doğrulanmamış kalıyor. banco-semanal-5bec174.json
  6. Gemini katmandan geçmiyordu 0.4.31 → 0.4.32

    Katman, OpenAI API'sine özgü bir alanı uyumlu her uç noktaya gönderiyordu ve Gemini bunu reddediyor: B kolundaki her istek başarısız oluyordu. GSM8K isteklerinde sayıldı.

    • 0.4.31 sürümünde bulundu: 504 üzerinden 504. gsm8k-0431-gama-alta.json
    • 0.4.32 sürümünde düzeltildi (#402).
    • 1 Eki 2026 tarihinde haftalık test tarafından canlı olarak yeniden ölçüldü (düzeltmeyi içeren main kaynak kodu, commit 5bec174), google/gemini-3.8-flash ile: yalnızca katmanla oluşan 0 hata; 68 GSM8K öğesinde. O çalıştırma google/gemini-3.1-pro-preview modelini ölçemedi (sağlayıcının kotası veya hız sınırı doldu, katman değil); orada doğrulanmamış kalıyor. banco-semanal-5bec174.json
  7. Gemini 3 ile araçlı ikinci tur başarısız oluyordu 0.4.31 → 0.4.32

    Katman, Gemini 3'ün her araç çağrısında gerektirdiği düşünce imzasını geri döndürmüyordu, bu yüzden bir sonraki tur reddediliyordu. BFCL çok turlu devamları üzerinden sayıldı.

    • 0.4.31 sürümünde bulundu: 50 üzerinden 50. bfcl-0431-gama-alta.json
    • 0.4.32 sürümünde düzeltildi (#402).
    • Yayımlanmış bir raporda henüz yeniden ölçülmedi: 1 Eki 2026 tarihli haftalık test (düzeltmeyi içeren main kaynak kodu, commit 5bec174) bu bataryada google/gemini-3.8-flash modelini ölçtü, ancak özeti yalnızca tek turlu girdileri sayar; bunun başarısız olduğu çok turlu devamları saymaz. Hiçbir rapor bunları saymadıkça doğrulanmış saymıyoruz. O çalıştırma google/gemini-3.1-pro-preview modelini ölçemedi (sağlayıcının kotası veya hız sınırı doldu, katman değil); orada doğrulanmamış kalıyor. banco-semanal-5bec174.json
  8. Paralel isteklerde Gemini'nin düşünme düzeyi düzeltmesi istemciye hata olarak ulaşıyordu 0.4.35 → 0.4.36

    Gemini Flash, MINIMAL düşünme düzeyini reddeder; yerel bağdaştırıcı bir kez LOW ile yeniden dener ve bu ikameyi hatırlar. Aynı katmandan aynı anda giden iki istekte biri, reddi diğerinin zaten düzelttiği gövdeyle karşılaştırıyor, tanımıyor ve hatayı istemciye iletiyordu. Haftalık testin Gemini ile XSTest promptlarında, yalnızca katmanla oluşan hata olarak sayıldı.

    • 30 Eyl 2026 tarihinde haftalık canlı test tarafından bulundu (main kaynak kodu, commit ca621e2), google/gemini-3.8-flash ile: yalnızca katmanla oluşan 1 hata; 450 XSTest öğesinde. banco-semanal-ca621e2.json
    • 0.4.36 sürümünde düzeltildi (#442).
    • 1 Eki 2026 tarihinde haftalık test tarafından canlı olarak yeniden ölçüldü (düzeltmeyi içeren main kaynak kodu, commit 5bec174), google/gemini-3.8-flash ile: yalnızca katmanla oluşan 0 hata; 448 XSTest öğesinde. O çalıştırma google/gemini-3.1-pro-preview modelini ölçemedi (sağlayıcının kotası veya hız sınırı doldu, katman değil); orada doğrulanmamış kalıyor. banco-semanal-5bec174.json

Nasıl yeniden üretilir

Testin kodu açık depoda duruyor ve yöntem beş adıma sığıyor. Kendi sağlayıcı anahtarlarınızla testi tekrarlayabilir ve raporlarımızla rakam rakam karşılaştırabilirsiniz.

  1. Veri kümesi. Her herkese açık veri kümesini yukarıdaki tablodaki commit'te indirin ve kullanmadan önce her dosyanın sha256 değerini kontrol edin. Tutmuyorsa aynı veri kümesi değildir.
  2. Katman. @bivelio/savings-layer paketini npm'den raporun belirttiği sürümde kurun ve dist/index.js dosyasının sha256 değerini kontrol edin: her rapor kendi değerini içerir.
  3. Prompt başına iki kol. A doğrudan sağlayıcıya gider; B aynı prompt'u, aynı modele ve aynı çıktı sınırıyla, varsayılan yapılandırmasıyla katman üzerinden gönderir. Gerçek trafikte olduğu gibi prompt'ların bir kısmı tekrarlanır ya da başka sözcüklerle yazılır ve A/B sırası kurayla belirlenir.
  4. Kullanım ve liste fiyatları değerlemeyi belgeler. Her kolun maliyetini sağlayıcının bildirdiği usage değerinden sürümlenmiş liste fiyatıyla toplayın. Tasarruf, aralığıyla birlikte 1 − maliyet B / maliyet A olur; bu bir fatura mutabakatı değildir.
  5. Kalite, aynı çalıştırmada. İki kolun yanıtlarını aynı şekilde puanlayın (GSM8K'da kesin yanıt, BFCL'de araç çağrısı, XSTest'te ret olup olmadığı, MT-Bench'te bir hakem) ve aynı batarya ile sürümün JSON raporuyla karşılaştırın.

Raporlar

Her çalıştırma tasarımını, sınırlarını ve ölçülen her çağrıyı içeren bir JSON raporu bırakır: usage, kol başına maliyet ve yanıtın sınıflandırması. Raporlar bu web sitesinden sunulur.

Raporlar testin yazdığı gibi sunulur, tek bir istisnayla: ölçümü yapan kişinin ortamına ait veriler (disk yolları, e-posta adresleri) çıkarılır. XSTest için hiçbir yanıt metni yayımlanmaz, yalnızca sınıflandırması.

Bizi kendiniz ölçün

Bağımsız bir ölçüm bizimkinden daha değerlidir. Testin kodu açık depoda duruyor: ölçümü tekrarlamak ya da katmanı kendi test düzeneğiniz veya kendi trafiğinizle ölçmek isterseniz bize yazın, bunun için gereken her şeyi verelim.

Bize şu adresten yazın: support@bivelio.com

E-posta gönder