A/B testimiz, açıkta. Bizi ölçün.
Her koşuyu yayınlıyoruz: herkese açık veri kümeleri üzerinde dört batarya, 10 model ve her iki kol da sağlayıcının kendi kullanım sayacıyla ölçülüyor. Her sayı kendi n değerini, aralığını ve tarihini taşır. Tasarruf sağlamayan da burada.
- batarya
- 4
- denenen model
- 10
- ölçümü olan model
- 10
- canlı rapor
- 15
- son koşu
- 1 Eki 2026
Bu sayfa nasıl okunur
- SDK ile A/B
- Aynı istek üzerinde iki kol; sağlayıcının bildirdiği kullanımla değerlenir. Testin bataryaları böyle ölçülür.
- Gateway tekrarı
- Kısmen yeniden oluşturulmuş bir temel çizgiyle karşı olgusal yeniden oynatma. Canlı bir A/B, faturalanmış tasarruf ya da fatura mutabakatı değildir.
- Aynı istek
- A kolu: katman olmadan, doğrudan sağlayıcıya
- B kolu: varsayılan yapılandırmasıyla katman üzerinden
- Sağlayıcının kullanım sayacı iki kolu da ölçer
Uyumlu olmak ölçülmüş olmak demek değildir: bir model burada yalnızca yayımlanmış bir çalıştırması varsa sayılır; ölçülemeyenler nedeniyle birlikte belirtilir.
Okuma filtresi
12 bölümden 12 tanesi gösteriliyor.
Ön baskıv2.3-r1
Verifiable Measurement of Cost Savings in Large Language Model Applications Open-Core Edition
Yayın öncesi harici bir incelemenin ardından gözden geçirilmiş sürüm: yöntem, tahmin edici, belirsizlik ve her rakamın sınırları.
Ne ölçülüyor ve nasıl
- İki kol, aynı istek. A, katman olmadan doğrudan sağlayıcıya gider; B, varsayılan yapılandırmasıyla katmandan geçer. Aynı prompt, aynı örnekleme, aynı çıktı sınırı.
- Sağlayıcının bildirdiği kullanım ve sürümlenmiş liste fiyatları. Her kol, API'nin döndürdüğü
usageve tarihli bir liste fiyatı kataloğuyla değerlenir. Tasarruf, aynı koşunun 1 − maliyet(B) / maliyet(A) değeridir. Tutarlar kanıtlarına göre measured, reference-valued veya estimated olarak etiketlenir; bu bir fatura mutabakatı değildir. - %95 aralıkları. Bunları her test düzeneği hesaplar (bütün soru ailelerinin yeniden örneklenmesi, ret oranları için Wilson). Sıfırı kesen bir aralık “sıfırdan ayırt edilemez” demektir ve bunu böyle söylüyoruz.
- Kurduğunuz paket. Aşağıdaki tablolardaki A/B koşuları 0.4.31 ile yapıldı: B kolu o etiketin kaynak kodunu çalıştırır ve
dist/index.jsdosyası npm tarball'ındakiyle bayt bayt aynıdır (sha256b52f99cacf9804ecd3153e56f26ec3adcdc2510d52a8446a369ecf914e0b5731). Haftalık canlı test ise başka bir şey: her koşuda main'in o günkü kaynak kodunu, yayımlanmadan önce ölçer. - Kestirme yok. Her test düzeneği konuştuğu sunucuları izler ve kod içinde yazılı, model başına bir harcama sınırı taşır. Ölçülemeyen bir model, nedeniyle birlikte “ölçülmedi” olarak raporlanır.
15 sayfalık araştırma makalesini (v2.3-r1) okuyun (PDF): yöntem, kanıt türleri ve her rakamın sınırları; yayın öncesi harici bir incelemenin ardından gözden geçirildi.
Dört batarya, herkese açık veri kümeleri, sabitlenmiş
| Batarya | Neyi kontrol ediyor | Veri kümesi | Sabitlenmiş dosyalar | Lisans |
|---|---|---|---|---|
| GSM8K | Tekrarlar ve başka sözcüklerle ifade edilmiş halleriyle matematik problemleri: önbelleğin ne kadar tasarruf sağladığı ve doğruluğun düşüp düşmediği. | openai/grade-school-mathcommit 3101c7d5072418e28b9008a6636bde82a006892c | gsm8k-test sha256 3730d312f6e3440559ace48831e51066acaca737f6eabec99bccb9e4b3c39d14gsm8k-trainsha256 17f347dc51477c50d4efb83959dbb7c56297aba886e5544ee2aaed3024813465 | MIT |
| BFCL | Araç çağrıları: katman bunlardan hiçbirini değiştirmemeli ve kataloğun tamamı ulaşmalıdır. | ShishirPatil/gorillacommit f7cf7359b7ac615a0b294831c5ba2bc95ee4a000 | commit ile sabitlenmiş | Apache-2.0 |
| XSTest | Reddler: katman, modelin ne zaman reddettiğini değiştirmemeli, önbellekten bir ret sunmamalıdır. | paul-rottger/exaggerated-safetycommit d7bb5bd738c1fcbc36edd83d5e7d1b71a3e2d84d | xstest_prompts.csv sha256 11783fb294ed017473ee53c207d71f2161c7672c8d0b037501e78387f801cb5a | CC-BY-4.0 |
| MT-Bench | Tekrarsız iki turlu sohbet: katman maliyeti, gecikmeyi veya kaliteyi kötüleştirmemelidir. | lm-sys/FastChatcommit 587d5cfa1609a43d192cedb8441cac3c17db105d | question.jsonl sha256 119565adbab82227089cefdb44c8d7e2cf04dc0a0ec233634c82e7d4e2a944f7gpt-4.jsonlsha256 f957a5bc977badb66885ec970e6cd08527845780313f0995764260e5777b9b3fjudge_prompts.jsonlsha256 fd283293406d024f44c174b094ef48031d0687a4682fd3a56b29b138f80281b6 | Apache-2.0 |
Jargonsuz çevirisi
Test adil bir deneydir: aynı görev iki kez — Savings olmadan ve Savings ile — ve ikisini de sağlayıcının aynı sayacı ölçer.
İsteklerin %30 kadarının birebir tekrarlandığı bir akışta fatura %31,5 düştü — %95 güvenle %25,7 ile %36,7 arasında. Ne kadar tasarruf edeceğiniz, trafiğinizin ne kadar tekrarlandığına bağlıdır.
Bir yüzde; aralığı, modeli ve trafiği olmadan hiçbir şey ifade etmez: üçünü de yayımlıyoruz.
Haftalık canlı test
SDK ile A/B
Her hafta ve elle her başlattığımızda, bir koşu tüm bataryaları tüm modellerden geçirir: A kolu doğrudan sağlayıcıya gider, B kolu o anki main kaynak kodundan derlenen katmandan geçer. Bu yayımlanmış bir sürüm değildir: yayımlanmak üzere olan şeydir. Herhangi bir kural bozulursa koşu başarısız olur ve ölçülemeyen bir hücre nedenini söyler.
1 Eki 2026 koşusu · 5bec174 commit'indeki main kaynak kodu (paket sürümü 0.4.35) · $50,00 tavanın $21,96 kadarı harcandı · 40 hücreden 36 tanesi ölçüldü. banco-semanal-5bec174.json
Karar: gerileme yok.
| Batarya | Model | Durum | n | Harcama / tavan | Katman hataları | Ne sayar | B − A | Rapor ile liste fiyatı maliyeti |
|---|---|---|---|---|---|---|---|---|
| GSM8K | openai/gpt-4o-mini | ölçüldü | 200 | $0,12 / $0,75 | 0 | başka bir sorunun yanıtı: 0 | doğruluk -1,7 pp [-4,8, +1,1] | %0,00 |
| GSM8K | openai/gpt-5.4-mini | ölçüldü | 106 | $0,42 / $0,75 | 0 | başka bir sorunun yanıtı: 0 | doğruluk +1,0 pp [0,0, +3,3] | %0,00 |
| GSM8K | openai/gpt-5.5 | ölçüldü | 24 | $0,86 / $1,25 | 0 | başka bir sorunun yanıtı: 0 | doğruluk 0,0 pp [0,0, 0,0] | %0,00 |
| GSM8K | openai/gpt-5.6-sol | ölçüldü | 34 | $0,31 / $1,25 | 0 | başka bir sorunun yanıtı: 0 | doğruluk 0,0 pp [0,0, 0,0] | %0,00 |
| GSM8K | anthropic/claude-haiku-4-5 | ölçüldü | 70 | $0,42 / $0,75 | 0 | başka bir sorunun yanıtı: 0 | doğruluk -1,6 pp [-4,3, 0,0] | %0,00 |
| GSM8K | anthropic/claude-sonnet-5 | ölçüldü | 52 | $0,48 / $1,10 | 0 | başka bir sorunun yanıtı: 0 | doğruluk 0,0 pp [0,0, 0,0] | %0,00 |
| GSM8K | anthropic/claude-sonnet-5-5 | ölçüldü | 56 | $0,47 / $1,10 | 0 | başka bir sorunun yanıtı: 0 | doğruluk 0,0 pp [0,0, 0,0] | %0,00 |
| GSM8K | anthropic/claude-opus-5-5 | ölçüldü | 30 | $0,55 / $1,25 | 0 | başka bir sorunun yanıtı: 0 | doğruluk 0,0 pp [0,0, 0,0] | %0,00 |
| GSM8K | google/gemini-3.8-flash | ölçüldü | 68 | $0,40 / $0,75 | 0 | başka bir sorunun yanıtı: 0 | doğruluk 0,0 pp [0,0, 0,0] | %0,00 |
| GSM8K | google/gemini-3.1-pro-preview | ölçülemez: sağlayıcının kotası veya hız sınırı doldu, katman değil | — | |||||
| BFCL | openai/gpt-4o-mini | ölçüldü | 100 | $0,03 / $0,75 | 0 | değişen araç çağrıları: 0 | doğruluk +2,0 pp [0,0, +5,0] | %0,00 |
| BFCL | openai/gpt-5.4-mini | ölçüldü | 100 | $0,15 / $0,75 | 0 | değişen araç çağrıları: 0 | doğruluk -1,0 pp [-5,0, +2,0] | %0,00 |
| BFCL | openai/gpt-5.5 | ölçüldü | 32 | $0,28 / $1,25 | 0 | değişen araç çağrıları: 0 | doğruluk +6,3 pp [0,0, +15,6] | %0,00 |
| BFCL | openai/gpt-5.6-sol | ölçüldü | 32 | $0,18 / $1,25 | 0 | değişen araç çağrıları: 0 | doğruluk 0,0 pp [0,0, 0,0] | %0,00 |
| BFCL | anthropic/claude-haiku-4-5 | ölçüldü | 100 | $0,59 / $0,75 | 0 | değişen araç çağrıları: 0 | doğruluk 0,0 pp [0,0, 0,0] | %0,00 |
| BFCL | anthropic/claude-sonnet-5 | ölçüldü | 48 | $0,72 / $1,10 | 0 | değişen araç çağrıları: 0 | doğruluk 0,0 pp [-6,3, +6,3] | %0,00 |
| BFCL | anthropic/claude-sonnet-5-5 | ölçüldü | 48 | $0,64 / $1,10 | 0 | değişen araç çağrıları: 0 | doğruluk 0,0 pp [0,0, 0,0] | %0,00 |
| BFCL | anthropic/claude-opus-5-5 | ölçüldü | 32 | $0,47 / $1,25 | 0 | değişen araç çağrıları: 0 | doğruluk 0,0 pp [0,0, 0,0] | %0,00 |
| BFCL | google/gemini-3.8-flash | ölçüldü | 100 | $0,45 / $0,75 | 0 | değişen araç çağrıları: 0 | doğruluk +1,0 pp [0,0, +3,0] | %0,00 |
| BFCL | google/gemini-3.1-pro-preview | ölçülemez: sağlayıcının kotası veya hız sınırı doldu, katman değil | — | |||||
| XSTest | openai/gpt-4o-mini | ölçüldü | 450 | $0,06 / $0,75 | 0 | önbelleğe alınan retler: 0 · kredilendirilen: 0 | güvenli 0,0 pp (p = 1,00)güvensiz 0,0 pp (p = 1,00) | %0,00 |
| XSTest | openai/gpt-5.4-mini | ölçüldü (harcama tavanında durdu) | 412 | $0,75 / $0,75 | 0 | önbelleğe alınan retler: 0 · kredilendirilen: 0 | güvenli +0,9 pp (p = 0,77)güvensiz 0,0 pp (p = 1,00) | %0,00 |
| XSTest | openai/gpt-5.5 | ölçüldü | 99 | $1,01 / $1,25 | 0 | önbelleğe alınan retler: 0 · kredilendirilen: 0 | güvenli 0,0 pp (p = 1,00)güvensiz 0,0 pp (p = 1,00) | %0,00 |
| XSTest | openai/gpt-5.6-sol | ölçüldü | 99 | $0,62 / $1,25 | 0 | önbelleğe alınan retler: 0 · kredilendirilen: 0 | güvenli 0,0 pp (p = 1,00)güvensiz 0,0 pp (p = 1,00) | %0,00 |
| XSTest | anthropic/claude-haiku-4-5 | ölçüldü | 450 | $0,63 / $0,75 | 0 | önbelleğe alınan retler: 0 · kredilendirilen: 0 | güvenli 0,0 pp (p = 1,00)güvensiz +0,5 pp (p = 1,00) | %0,00 |
| XSTest | anthropic/claude-sonnet-5 | ölçüldü | 200 | $0,87 / $1,10 | 0 | önbelleğe alınan retler: 0 · kredilendirilen: 0 | güvenli 0,0 pp (p = 1,00)güvensiz +2,2 pp (p = 0,50) | %0,00 |
| XSTest | anthropic/claude-sonnet-5-5 | ölçüldü | 153 | $0,81 / $1,10 | 0 | önbelleğe alınan retler: 0 · kredilendirilen: 0 | güvenli +1,1 pp (p = 1,00)güvensiz +3,0 pp (p = 0,50) | %0,00 |
| XSTest | anthropic/claude-opus-5-5 | ölçüldü (harcama tavanında durdu) | 82 | $0,82 / $1,25 | 0 | önbelleğe alınan retler: 0 · kredilendirilen: 0 | güvensiz -3,7 pp (p = 0,45) | %0,00 |
| XSTest | google/gemini-3.8-flash | ölçüldü | 448 | $0,52 / $0,75 | 0 | önbelleğe alınan retler: 0 · kredilendirilen: 0 | güvenli +0,4 pp (p = 1,00)güvensiz +1,0 pp (p = 0,75) | %0,00 |
| XSTest | google/gemini-3.1-pro-preview | ölçülemez: sağlayıcının kotası veya hız sınırı doldu, katman değil | — | |||||
| MT-Bench | openai/gpt-4o-mini | ölçüldü | 40 | $0,41 / $1,15 | 0 | — | B tercih edildi %48,1 [%38,5 – %57,7] | %0,00 |
| MT-Bench | openai/gpt-5.4-mini | ölçüldü | 40 | $0,68 / $1,15 | 0 | — | B tercih edildi %51,7 [%40,0 – %65,0] | %0,00 |
| MT-Bench | openai/gpt-5.5 | ölçüldü (harcama tavanında durdu) | 7 | $0,65 / $1,65 | 0 | — | B tercih edildi %46,4 [%28,6 – %64,3] | %0,00 |
| MT-Bench | openai/gpt-5.6-sol | ölçüldü (harcama tavanında durdu) | 11 | $0,97 / $1,65 | 0 | — | B tercih edildi %52,3 [%45,5 – %59,1] | %0,00 |
| MT-Bench | anthropic/claude-haiku-4-5 | ölçüldü | 40 | $0,79 / $1,15 | 0 | — | B tercih edildi %52,6 [%44,7 – %60,5] | %0,00 |
| MT-Bench | anthropic/claude-sonnet-5 | ölçüldü (harcama tavanında durdu) | 19 | $1,18 / $1,50 | 0 | — | B tercih edildi %50,0 [%38,5 – %59,6] | %0,00 |
| MT-Bench | anthropic/claude-sonnet-5-5 | ölçüldü | 24 | $1,14 / $1,50 | 0 | — | B tercih edildi %50,0 [%42,6 – %58,8] | %0,00 |
| MT-Bench | anthropic/claude-opus-5-5 | ölçüldü | 16 | $1,41 / $1,65 | 0 | — | B tercih edildi %35,9 [%26,6 – %43,8] | %0,00 |
| MT-Bench | google/gemini-3.8-flash | ölçüldü (harcama tavanında durdu) | 32 | $1,06 / $1,15 | 0 | — | B tercih edildi %39,6 [%27,1 – %50,0] | %0,00 |
| MT-Bench | google/gemini-3.1-pro-preview | ölçülemez: sağlayıcının kotası veya hız sınırı doldu, katman değil | — | |||||
“Katman hataları”, A kolunda olmayıp B kolunda çıkan hatalardır. “B − A”, GSM8K ve BFCL'de doğruluk farkı, XSTest'te ret oranı farkı (McNemar p değeri, eşleştirilmiş promptlar), MT-Bench'te ise hakemin B'yi ne sıklıkla tercih ettiğidir (yarısı beraberlik demektir). “Rapor ile liste fiyatı maliyeti”, katmanın B için bildirdiği maliyeti, sağlayıcının bildirdiği kullanımdan aynı sürümlenmiş liste fiyatlarıyla bağımsız hesaplanan maliyetle karşılaştırır; fatura mutabakatı değildir.
Önceki haftalık koşular
- 30 Eyl 2026 · commit ca621e2 · başarısız (bozulan kurallar: 4). banco-semanal-ca621e2.json
- 29 Eyl 2026 · commit d650c59 · gerileme yok. banco-semanal-d650c59.json
- 29 Eyl 2026 · commit 1100960 · gerileme yok. banco-semanal.json
- 29 Eyl 2026 · commit 105fe13 · başarısız (bozulan kurallar: 7). banco-semanal-105fe13.json
Kısmi koşular
Kısmi koşu yalnızca bazı modeller veya bataryalarla elle başlatılır; örneğin sağlayıcının günlük kotası dört bataryasına bir günde yetmeyen bir modelin diğer günü. Söylediğini ölçer, ama haftalık koşu değildir: yayımlamak için sayılmaz.
- 2 Eki 2026 · commit b349d7a · google/gemini-3.1-pro-preview · GSM8K, XSTest · gerileme yok. banco-semanal-b349d7a-gemini-31-pro-jornada-2.json
- 1 Eki 2026 · commit b349d7a · google/gemini-3.1-pro-preview · BFCL, MT-Bench · gerileme yok. banco-semanal-b349d7a-gemini-31-pro-jornada-1.json
Model başına ölçülen tasarruf
SDK ile A/B
GSM8K, isteklerin %30 kadarının tam tekrar, %20 kadarının başka sözcüklerle ifade edilmiş olduğu bir istek akışında. Bu, tekrarlayan trafiğe sahip batarya: sizin tasarrufunuz kendi trafiğinizin ne kadar tekrarlandığına bağlıdır. Tekrar yoksa “Tasarruf sağlamayan” bölümüne bakın.
İki kol, model model
GSM8K, tasarrufu ölçmek için hazırlanmış batarya. Ölçülmüş bir model seçin: A doğrudan sağlayıcıya gider, B katmandan geçer.
Modele göre ölçülen tasarruf, aralığıyla birlikte
SDK ile A/BNokta tahmindir; çubuk güven aralığı; çizgi sıfırdır. Hepsi aynı ölçekte.
- %31,5 [%25,7 – %36,7] SDK ile A/B
- 200 istek · 100 benzersiz
- %95,0 → %96,1
- 0.4.31 · 28 Eyl 2026
Yalnızca ölçülmüş bir çalıştırması olan modeller görünür. Metodolojiyi gör
| Model | n | Ölçülen tasarruf [GA] SDK ile A/B | Tam önbellekten | Çağrılarda (önek) | Doğruluk A → B | Sürüm · tarih |
|---|---|---|---|---|---|---|
openai/gpt-4o-mini | 200 istek · 100 benzersiz | %31,5 [%25,7 – %36,7] | $0,0124 | $0,0006 | %95,0 → %96,1Δ +1,1 pp [0,0, +2,8] | 0.4.31 · 28 Eyl 2026 |
openai/gpt-5.4-mini | 176 istek · 88 benzersiz | %31,7 [%25,6 – %37,6] | $0,0734 | $0,0003 | %95,6 → %93,7Δ -1,9 pp [-5,0, 0,0] | 0.4.31 · 28 Eyl 2026 |
openai/gpt-5.5 | 22 istek · 11 benzersiz | %33,4 [%6,8 – %53,8] | $0,0790 | -$0,0023 | %100,0 → %100,0Δ 0,0 pp [0,0, 0,0] | 0.4.31 · 28 Eyl 2026 |
openai/gpt-5.6-sol | 32 istek · 16 benzersiz | %29,2 [%9,5 – %46,8] | $0,0252 | -$0,0003 | %100,0 → %100,0Δ 0,0 pp [0,0, 0,0] | 0.4.31 · 28 Eyl 2026 |
anthropic/claude-haiku-4-5 | 116 istek · 58 benzersiz | %32,2 [%23,6 – %40,2] | $0,0773 | $0,0002 | %99,0 → %99,0Δ 0,0 pp [0,0, 0,0] | 0.4.31 · 28 Eyl 2026 |
anthropic/claude-opus-5-5 | 32 istek · 16 benzersiz | %77,2 [%67,1 – %83,9] | $0,0974 | $0,1391 | %100,0 → %100,0Δ 0,0 pp [0,0, 0,0] | 0.4.31 · 28 Eyl 2026 |
anthropic/claude-sonnet-5 | 62 istek · 31 benzersiz | %75,1 [%69,3 – %79,6] | $0,1054 | $0,1313 | %100,0 → %100,0Δ 0,0 pp [0,0, 0,0] | 0.4.31 · 28 Eyl 2026 |
anthropic/claude-sonnet-5-5 | 62 istek · 31 benzersiz | %77,5 [%72,0 – %81,7] | $0,0924 | $0,1289 | %100,0 → %100,0Δ 0,0 pp [0,0, 0,0] | 0.4.31 · 28 Eyl 2026 |
google/gemini-3.1-pro-preview | katman başarısız oldu: istekler katmandan geçmedi | 0.4.31 · 28 Eyl 2026 | ||||
google/gemini-3.8-flash | katman başarısız oldu: istekler katmandan geçmedi | 0.4.31 · 28 Eyl 2026 | ||||
Tasarrufun nereden geldiği, pozisyon pozisyon: “tam önbellekten” olan, katmanın sağlayıcıyı çağırmadan sunduğu isteklerde A'nın ödediği tutardır; “çağrılarda” olan ise, sağlayıcıya gerçekten ulaşanlardaki farktır, çoğunlukla sağlayıcının önek önbelleğinden (artı bir miktar çıktı değişkenliği). İkisi toplamda toplam tasarrufu oluşturur.
Doğruluk, yayınlanmış bir cevabı olan sorular üzerinden ölçülür; sayısı değiştirilmiş varyantlar yalnızca katmanın başka bir sorunun cevabını asla geri vermediğini doğrulamaya yarar.
Gateway'in önbellek indirimi: bir simülasyon, A/B değil
Gateway tekrarı
Bu, taban çizgisi kısmen yeniden oluşturulmuş bir karşı-olgusal yeniden oynatmadır; sayfadaki canlı A/B bataryalarından biri değildir. Tek bir kuruluşun, yani bizim gerçek Claude Code oturumlarında tek sağlayıcının (Anthropic) bildirdiği kullanımı aldık ve PRO'nun önbellek TTL değişikliğiyle ve onsuz maliyetleri sürümlenmiş liste fiyatlarıyla tahmin ettik. Canlı çift çalıştırma veya fatura mutabakatı değildir.
3 Eki 2026 tarihli raporun hükmü: indirim, kendi yol açtığı önbellek ıskaları düşüldükten sonra faturanın net +%2,49 kadarını bırakıyor ($4.563,61 üzerinden $113,45).
- Oturum
- 51
- İstek
- 19.779
- Gün
- 13
| %95 aralığı | Net, faturaya oranla Gateway tekrarı |
|---|---|
| Oturuma göre yeniden örnekleme (küme: 51) | +%1,50 – +%3,57 |
| Güne göre yeniden örnekleme (küme: 13) | +%1,73 – +%4,82 |
10.000 yeniden örneklemeli bootstrap. İki aralık da sıfırı dışarıda bırakıyor: bu trafikte indirim para kazandırıyor. Ana sayfadaki kart, oturuma göre aralığı veriyor.
Sonuç ve ondan düşülenler
| İndirimler | 2.583 |
| Tasarruf edilen prim, brüt | +%3,10 |
| Yol açılan önbellek ıskaları | 124 |
| Bu ıskaların maliyeti | -%0,62 |
| Net | +%2,49 · $113,45 |
| Tavan: bir saatlik primin tamamı | %7,2 |
Yüzdeler, simüle edilen isteklerin liste fiyatlı faturasına ($4.563,61) göredir. Tavan, hiç ıskalamasa bile herhangi bir TTL politikasının geri kazanabileceği en fazla tutardır. Her yüzde ayrı ayrı yuvarlanır.
Modele göre
| Model | İstek | İndirimler | Yol açılan önbellek ıskaları | Net, modelin faturasına oranla |
|---|---|---|---|---|
claude-fable-5 | 1.921 | 23 | 1 | +%4,64 |
claude-fable-5-1 | 2.236 | 25 | 0 | +%1,65 |
claude-opus-5 | 8.344 | 70 | 2 | +%1,61 |
claude-opus-4-8 | 1.193 | 34 | 0 | +%6,49 |
claude-sonnet-5 | 6.080 | 2.427 | 121 | +%1,34 |
claude-haiku-4-5 | 5 | 4 | 0 | yüzde yok (istek: 5) |
claude-sonnet-5 çirkin örnektir: indirimlerin %94 kadarı ve ıskaların %98 kadarı ondadır, neti ise neredeyse sıfırdır. Kaydın ilk döneminde üstelik zarar etti: faturasının %9,4 kadarı. Trafiği, sık sık yeniden kurulan ve beş dakika geçtikten sonra geri dönen kısa konulardan oluşur. Kural, oturum başlangıçlarının pahalı ve seyrek olduğu yerde gerçekten kazandırır.
Nasıl yapıldı: önbellek modeli, açıkça beyan edilmiş hâliyle
- Kural, gateway'in çalıştırdığı kuralın kendisidir, bir kopyası değil: yeni kısım istek gövdesinin en az %30 kadarı olduğunda önbellek yazmalarını bir saatlik TTL'den beş dakikalık TTL'ye geçirir.
- Temel çizgi, indirimin henüz etkin olmadığı yerde sağlayıcının gerçek kullanımla saydığı şeydir; zaten etkin olduğu yerde ise indirim geri alınarak yeniden oluşturulur (sınırlara bakın). İndirimle, indirilen tur bir saatlik yazma primi yerine beş dakikalık yazma primini öder.
- Yol açılan bir ıska: aynı konunun sonraki turu beş dakikadan sonra ve bir saat dolmadan gelirse, indirilen turun yazdığı şey artık önbellekten okunmaz, yeniden yazılır ve bu maliyet düşülür.
- Bir de temkinli varyant var; farklı konuların paylaştığı ön eki de kaybedilmiş sayar. Rakamı neredeyse hiç oynatmaz: +%2,48, birkaç ıska fazlasıyla (3).
- Yalnızca toplu rakamlar: kayıttan hiçbir prompt, yanıt, başlık veya oturum kimliği çıkmaz.
Sınırlar
- Tek kuruluş, tek istemci, tek sağlayıcı. Anthropic'e karşı Claude Code, kendi trafiğimizle. Başka bir kod ajanı ve başka bir sağlayıcı yok.
- Liste fiyatı, simüle edilmiş. Bu bir fatura değildir: fiyat kataloğuyla fiyatlandırılmış gerçek kullanımdır. İndirimler, hesap kademeleri veya bir abonelik parayı değiştirir.
- Önbellek modeli bir modeldir. Sağlayıcının önbellek girdilerini nasıl dizinlediğini varsayar; bunu gözlemlemez. Temkinli varyant bu riski sınırlar.
- Temel çizginin büyük kısmı yeniden oluşturulmuştur. İsteklerin %79 kadarı indirim zaten etkinken kaydedildi; orada temel çizgi, gerçek indirim geri alınarak yeniden oluşturulur ve ilk dönemdekinden daha az sağlamdır. O ilk dönem tek başına çok daha geniş bir aralık verir: +%0,29 ile +%9,12 arası.
- Tavan, istemciye göre değişir. Kod ajanının kaç tane bir saatlik yazma gönderdiğine bağlıdır ve Claude Code'un yeni sürümleri daha az gönderir: 19.779 isteğin 7.327 tanesinde indirilecek hiçbir yazma yoktu.
- Turlar arasındaki boşluk, her isteğin gelişinden itibaren ölçülür, yanıtın bitişinden değil: birkaç ıskayı fazladan sayar, asla eksik saymaz.
- Ekibiniz için bir tahmin değildir. Tek bir trafikten gelen küçük bir tasarruftur ve başka bir trafik başka bir rakam verebilir, daha kötüsünü de: çirkin örneğe bakın.
Üretimde: 0.5.1 sürümünden (3 Eki 2026) itibaren gateway, gözlemlediği ıskaları onlara maruz kalan turda düşer; böylece panelinizde gördüğünüz bu indirimin tasarrufu nettir. Daha önce kaydedilenler yeniden hesaplanmaz ve panel, daha eski bir gateway çalıştıran makineleri “brüt” olarak işaretler.
Garantiler, sayılmış
SDK ile A/B
Katman hiçbir zaman bir araç çağrısını değiştirmedi
1.325 BFCL karşılaştırmasında, 6 modelde, 0.4.31 tarihinden bu yana 0 değiştirilmiş çağrı. Katman başarısız olursa (B'de A'da olmayan bir hata varsa), bu burada sayılmaz: “Testin bulduğu hatalar” altındadır.
Nasıl sayılır: o sürümden beri her canlı koşudaki her karşılaştırma; yani iki kez ölçülen bir model (bir pilot ve tam koşu) iki kez sayılır. Bu yüzden sayı, model başına tek koşu gösteren tablolardaki n'yi aşabilir.
0.4.31 tarihinden bu yana başka bir sorudan cevap yok
198 varyanttan 0 tanesi (aynı soru, başka bir sayıyla, dolayısıyla başka bir cevapla) başka bir sorunun cevabıyla sunuldu; 8 canlı model ve ölçülen tüm önbellek yapılandırmaları genelinde.
GSM8K test bölünmesinin tamamının çevrimdışı tekrarı: 5 önbellek yapılandırmasının her birinde, 5.813 istekte 0.
Katmanla ve katmansız aynı ret oranı
XSTest, 10 model ölçüldü: p = 0,05 altında A/B farkı yok (McNemar, eşleştirilmiş promptlar). Katman, 4.668 yanıtın metnini değiştirmeden teslim etti (0 değiştirilmiş).
Nasıl sayılır: promptlar değil, yanıtlar. B kolunun her yanıtı, aynı promptun tekrarları dahil, sağlayıcının metniyle karşılaştırılır; bu yüzden tabloda promptlardan daha fazla yanıt vardır.
| Model | Promptlar | Reddler, güvenli promptlar (A → B) | Reddler, güvensiz promptlar (A → B) | Sürüm · tarih |
|---|---|---|---|---|
openai/gpt-4o-mini | 450 | %5,2 → %5,2 (n = 250, p = 1,00) | %81,5 → %81,5 (n = 200, p = 1,00) | 0.4.31 · 28 Eyl 2026 |
openai/gpt-5.4-mini | 441 | %11,0 → %9,8 (n = 245, p = 0,63) | %87,2 → %86,7 (n = 196, p = 1,00) | 0.4.31 · 28 Eyl 2026 |
openai/gpt-5.5 | 120 | %6,3 → %4,7 (n = 64, p = 1,00) | %80,0 → %80,0 (n = 55, p = 1,00) | 0.4.31 · 29 Eyl 2026 |
openai/gpt-5.6-sol | 199 | %2,7 → %2,7 (n = 111, p = 1,00) | %75,6 → %76,7 (n = 86, p = 1,00) | 0.4.31 · 29 Eyl 2026 |
anthropic/claude-haiku-4-5 | 450 | %1,6 → %2,0 (n = 250, p = 1,00) | %42,5 → %42,5 (n = 200, p = 1,00) | 0.4.31 · 29 Eyl 2026 |
anthropic/claude-opus-5-5 | 81 | — | %67,1 → %67,1 (n = 79, p = 1,00) | 0.4.31 · 29 Eyl 2026 |
anthropic/claude-sonnet-5 | 264 | %2,7 → %2,0 (n = 147, p = 1,00) | %68,4 → %71,8 (n = 117, p = 0,34) | 0.4.31 · 29 Eyl 2026 |
anthropic/claude-sonnet-5-5 | 311 | %1,5 → %0,0 (n = 135, p = 0,50) | %64,3 → %65,3 (n = 98, p = 1,00) | 0.4.31 · 29 Eyl 2026 |
google/gemini-3.1-pro-preview | 58 | %0,0 → %0,0 (n = 32, p = 1,00) | %80,8 → %84,6 (n = 26, p = 1,00) | 0.4.31 · 29 Eyl 2026 |
google/gemini-3.8-flash | 450 | %0,4 → %0,4 (n = 249, p = 1,00) | %67,8 → %66,8 (n = 199, p = 0,73) | 0.4.31 · 29 Eyl 2026 |
Tasarruf sağlamayan
SDK ile A/B
Tekrar olmadan tasarruf ≈ %0 olur. Yine de yayınlıyoruz, çünkü trafiğiniz tekrarlanmıyorsa göreceğiniz şey budur.
MT-Bench, her soru için yepyeni bir katmanla iki turlu bir sohbettir: önbelleğin yeniden kullanabileceği hiçbir şey yoktur ve prompt neredeyse hiçbir zaman sağlayıcının bir öneki önbelleğe almak için gerektirdiği minimuma ulaşmaz. BFCL'de her araç çağrısı farklıdır. Bu iki bataryanın ölçtüğü şey, katmanın hiçbir şeyi kötüleştirmediğidir; geriye kalan maliyet farkı modelin çıktısındaki gürültüdür, katman değil.
| Batarya | Model | n | Ölçülen tasarruf [GA] SDK ile A/B | Yorum | Sürüm · tarih |
|---|---|---|---|---|---|
| BFCL | openai/gpt-4o-mini | 400 öğe | %0,1 [%0,0 – %0,3] | sıfırdan ayırt edilemez | 0.4.31 · 28 Eyl 2026 |
| BFCL | openai/gpt-5.4-mini | 400 öğe | -%0,2 [-%1,0 – %0,5] | sıfırdan ayırt edilemez | 0.4.31 · 28 Eyl 2026 |
| BFCL | anthropic/claude-haiku-4-5 | 48 öğe | %0,1 [%0,0 – %0,2] | sıfırdan ayırt edilemez | 0.4.31 · 29 Eyl 2026 |
| BFCL | anthropic/claude-sonnet-5 | 48 öğe | %1,5 [-%1,6 – %5,8] | sıfırdan ayırt edilemez | 0.4.31 · 29 Eyl 2026 |
| BFCL | google/gemini-3.1-pro-preview | 97 öğe | %4,8 [-%6,6 – %15,6] | sıfırdan ayırt edilemez | 0.4.31 · 29 Eyl 2026 |
| BFCL | google/gemini-3.8-flash | 324 öğe | -%10,7 [-%27,8 – %3,2] | sıfırdan ayırt edilemez | 0.4.31 · 29 Eyl 2026 |
| MT-Bench | openai/gpt-4o-mini | 80 soru | %3,3 [%0,8 – %6,0] | tasarruf · katmana atfedilemez | 0.4.31 · 28 Eyl 2026 |
| MT-Bench | openai/gpt-5.4-mini | 80 soru | -%3,5 [-%8,6 – %1,6] | sıfırdan ayırt edilemez · katmana atfedilemez | 0.4.31 · 28 Eyl 2026 |
| MT-Bench | openai/gpt-5.5 | 8 soru | %2,1 [-%4,4 – %9,7] | sıfırdan ayırt edilemez | 0.4.31 · 29 Eyl 2026 |
| MT-Bench | openai/gpt-5.6-sol | 13 soru | -%0,4 [-%21,2 – %13,5] | sıfırdan ayırt edilemez · katmana atfedilemez | 0.4.31 · 29 Eyl 2026 |
| MT-Bench | anthropic/claude-haiku-4-5 | 80 soru | -%2,6 [-%4,6 – -%0,9] | ek maliyet · katmana atfedilemez | 0.4.31 · 28 Eyl 2026 |
| MT-Bench | anthropic/claude-opus-5-5 | 18 soru | %1,1 [-%2,0 – %4,9] | sıfırdan ayırt edilemez | 0.4.31 · 29 Eyl 2026 |
| MT-Bench | anthropic/claude-sonnet-5 | 23 soru | %1,7 [-%8,9 – %12,7] | sıfırdan ayırt edilemez | 0.4.31 · 28 Eyl 2026 |
| MT-Bench | anthropic/claude-sonnet-5-5 | 37 soru | -%0,8 [-%2,5 – %0,9] | sıfırdan ayırt edilemez | 0.4.31 · 29 Eyl 2026 |
Model ve bataryaya göre durum
Her hücre, katmanın en yüksek sürümündeki koşuyu gösterir. Bir model ölçülemediyse, boşluk bırakmak yerine nedenini söylüyoruz.
| Model | GSM8K | BFCL | XSTest | MT-Bench |
|---|---|---|---|---|
openai/gpt-4o-mini | ölçüldü · n = 200 0.4.31 · 28 Eyl 2026 | ölçüldü · n = 400 0.4.31 · 28 Eyl 2026 | ölçüldü · n = 450 0.4.31 · 28 Eyl 2026 | ölçüldü · n = 80 0.4.31 · 28 Eyl 2026 |
openai/gpt-5.4-mini | ölçüldü · n = 176 0.4.31 · 28 Eyl 2026 | ölçüldü · n = 400 0.4.31 · 28 Eyl 2026 | ölçüldü · n = 441 0.4.31 · 28 Eyl 2026 | ölçüldü · n = 80 0.4.31 · 28 Eyl 2026 |
openai/gpt-5.5 | ölçüldü · n = 22 0.4.31 · 28 Eyl 2026 | ölçülmedi: harcama sınırı tükendi 0.4.31 · 29 Eyl 2026 | ölçüldü · n = 120 0.4.31 · 29 Eyl 2026 | ölçüldü · n = 8 0.4.31 · 29 Eyl 2026 |
openai/gpt-5.6-sol | ölçüldü · n = 32 0.4.31 · 28 Eyl 2026 | ölçülmedi: sağlayıcı her iki kolda da isteği reddetti 0.4.31 · 29 Eyl 2026 | ölçüldü · n = 199 0.4.31 · 29 Eyl 2026 | ölçüldü · n = 13 0.4.31 · 29 Eyl 2026 |
anthropic/claude-haiku-4-5 | ölçüldü · n = 116 0.4.31 · 28 Eyl 2026 | ölçüldü · n = 48 0.4.31 · 29 Eyl 2026 | ölçüldü · n = 450 0.4.31 · 29 Eyl 2026 | ölçüldü · n = 80 0.4.31 · 28 Eyl 2026 |
anthropic/claude-opus-5-5 | ölçüldü · n = 32 0.4.31 · 28 Eyl 2026 | ölçülmedi: harcama sınırı tükendi 0.4.31 · 29 Eyl 2026 | ölçüldü · n = 81 0.4.31 · 29 Eyl 2026 | ölçüldü · n = 18 0.4.31 · 29 Eyl 2026 |
anthropic/claude-sonnet-5 | ölçüldü · n = 62 0.4.31 · 28 Eyl 2026 | ölçüldü · n = 48 0.4.31 · 29 Eyl 2026 | ölçüldü · n = 264 0.4.31 · 29 Eyl 2026 | ölçüldü · n = 23 0.4.31 · 28 Eyl 2026 |
anthropic/claude-sonnet-5-5 | ölçüldü · n = 62 0.4.31 · 28 Eyl 2026 | ölçülmedi: harcama sınırı tükendi 0.4.31 · 29 Eyl 2026 | ölçüldü · n = 311 0.4.31 · 29 Eyl 2026 | ölçüldü · n = 37 0.4.31 · 29 Eyl 2026 |
google/gemini-3.1-pro-preview | katman başarısız oldu: istekler katmandan geçmedi 0.4.31 · 28 Eyl 2026 | ölçüldü · n = 97 0.4.31 · 29 Eyl 2026 | ölçüldü · n = 58 0.4.31 · 29 Eyl 2026 | ölçülmedi: sağlayıcı kotası tükendi 0.4.31 · 29 Eyl 2026 |
google/gemini-3.8-flash | katman başarısız oldu: istekler katmandan geçmedi 0.4.31 · 28 Eyl 2026 | ölçüldü · n = 324 0.4.31 · 29 Eyl 2026 | ölçüldü · n = 450 0.4.31 · 29 Eyl 2026 | katman başarısız oldu: istekler katmandan geçmedi 0.4.31 · 29 Eyl 2026 |
Uyumluluk
Uyumlu, ölçülmüş demek değildir. SDK, OpenAI API'siyle uyumlu her uç noktayla, ayrıca yerel Anthropic bağdaştırıcısı ve yerel Gemini bağdaştırıcısıyla (0.4.33 sürümünde yeni) çalışır. Herkese açık test tezgâhında tasarruf rakamı olanlar bugün yalnızca OpenAI ve Anthropic modelleridir; Gemini'nin tasarruf rakamı yok. Gemini için ölçülen: Gemini 3.8 Flash, yerel API'si üzerinden, 1 Ekim 2026 tarihli haftalık canlı testte — dört bataryanın tümü, hiçbir katman hatası olmadan ve önbelleğe alınan ya da tasarruf olarak kredilendirilen hiçbir ret olmadan. Bu test, katmanın hiçbir şeyi bozmadığını ve fazla ücret almadığını kontrol eder; bir tasarrufu ölçmez. Ayrıca ölçüldü: Gemini 3.1 Pro, yerel API'si üzerinden, 1–2 Ekim 2026 tarihli iki kısmi koşuda (sağlayıcının günlük kotası dört bataryaya bir günde yetmiyor): dört bataryanın tamamı, yine katmandan kaynaklı hiçbir hata olmadan ve önbelleğe alınmış ya da tasarruf sayılmış hiçbir ret olmadan.
Testin bulduğu hatalar
Test iyi görünmek için değil, hataları siz bulmadan önce bulmak için var. Ortaya çıktıkları sürümle ve onları düzelten sürümle birlikte şunları buldu.
Kalibre edilmemiş anlamsal önbellek, başka bir sorunun cevabını sundu 0.4.30 → 0.4.31
Anlamsal önbellek kalibre edilmediğinde, başka bir sayıya sahip bir varyant (“three baskets”e karşı “two baskets”) orijinal sorunun cevabını alabiliyordu. GSM8K varyantları üzerinden sayıldı.
- 0.4.30 sürümünde bulundu: 111 üzerinden 15. gsm8k.json
- 0.4.31 sürümünde düzeltildi (#383).
- 0.4.31 sürümünde canlı olarak doğrulandı: 198 üzerinden 0.
Katman, bunu yapması için hiçbir sinyal olmadan araç kataloğunu kısalttı 0.4.30 → 0.4.31
Çok turlu konuşmalarda, hiçbir şey hangi araçların gereksiz olduğunu göstermese de B kolu A kolundan daha az araç gönderdi. BFCL çok turlu konuşmaları üzerinden sayıldı.
- 0.4.30 sürümünde bulundu: 20 üzerinden 20. bfcl.json
- 0.4.31 sürümünde düzeltildi (#382).
- 0.4.31 sürümünde canlı olarak doğrulandı: 83 üzerinden 0.
Metin olarak yazılan bazı reddler önbelleğe alındı 0.4.31 → 0.4.32
Modelin metin olarak yazdığı bir ret (API sinyali olmadan) önbelleğe alınabilir, tekrarlanabilir ve tasarruf olarak hesaba geçirilebilirdi. XSTest promptlarında sayıldı.
- 0.4.31 sürümünde bulundu: 2.824 üzerinden 39. xstest-0431-claude.jsonxstest-0431-gama-alta.jsonxstest-0431.json
- 0.4.32 sürümünde düzeltildi (#393, #401).
- Haftalık test tarafından 1 Eki 2026 tarihinde canlı olarak yeniden ölçüldü (düzeltmeyi içeren main kaynak kodu, commit 5bec174): önbelleğe alınan 0 ret ve kredilendirilen 0 ret; 2.393 XSTest promptunda, 9 modelde. banco-semanal-5bec174.json
Kısmi retler önbelleğe alınıp kredilendiriliyordu 0.4.32 → 0.4.33
İsteğe uyarak başlayıp ilerleyen kısımda reddeden bir yanıt (“If you mean harming someone, I can't help…”) ya da ardından “erişimim yok…” gelen bir özür, ret olarak tanınmıyordu: katman bunu önbelleğe alabiliyor, tekrarlayabiliyor ve tasarruf olarak kredilendirebiliyordu. Haftalık testin XSTest promptlarında, OpenAI ve Claude modelleriyle sayıldı.
- Haftalık canlı test tarafından 29 Eyl 2026 tarihinde bulundu (main kaynak kodu, commit 105fe13): önbellekten sunulan veya önbelleğe yazılan 12 ret ve kredilendirilen 14 ret; 1.995 XSTest promptunda, 8 modelde. banco-semanal-105fe13.json
- 0.4.33 sürümünde düzeltildi (#422).
- Haftalık test tarafından 1 Eki 2026 tarihinde canlı olarak yeniden ölçüldü (düzeltmeyi içeren main kaynak kodu, commit 5bec174): önbelleğe alınan 0 ret ve kredilendirilen 0 ret; 2.393 XSTest promptunda, 9 modelde. banco-semanal-5bec174.json
Bir Gemini içerik filtresi cevap olarak önbelleğe alındı 0.4.31 → 0.4.32
Gemini, filtresini kendi durdurma nedeniyle işaretler; katman bunu bir ret olarak tanımadığından, önbelleğe alıp tekrarlayabiliyordu. XSTest promptlarında sayıldı.
- 0.4.31 sürümünde bulundu: 508 üzerinden 6. xstest-0431-gama-alta.json
- 0.4.32 sürümünde düzeltildi (#402).
- 1 Eki 2026 tarihinde haftalık test tarafından canlı olarak yeniden ölçüldü (düzeltmeyi içeren main kaynak kodu, commit 5bec174), google/gemini-3.8-flash ile: önbelleğe alınan veya kredilendirilen 0 ret; 448 XSTest promptunda. O çalıştırma google/gemini-3.1-pro-preview modelini ölçemedi (sağlayıcının kotası veya hız sınırı doldu, katman değil); orada doğrulanmamış kalıyor. banco-semanal-5bec174.json
Gemini katmandan geçmiyordu 0.4.31 → 0.4.32
Katman, OpenAI API'sine özgü bir alanı uyumlu her uç noktaya gönderiyordu ve Gemini bunu reddediyor: B kolundaki her istek başarısız oluyordu. GSM8K isteklerinde sayıldı.
- 0.4.31 sürümünde bulundu: 504 üzerinden 504. gsm8k-0431-gama-alta.json
- 0.4.32 sürümünde düzeltildi (#402).
- 1 Eki 2026 tarihinde haftalık test tarafından canlı olarak yeniden ölçüldü (düzeltmeyi içeren main kaynak kodu, commit 5bec174), google/gemini-3.8-flash ile: yalnızca katmanla oluşan 0 hata; 68 GSM8K öğesinde. O çalıştırma google/gemini-3.1-pro-preview modelini ölçemedi (sağlayıcının kotası veya hız sınırı doldu, katman değil); orada doğrulanmamış kalıyor. banco-semanal-5bec174.json
Gemini 3 ile araçlı ikinci tur başarısız oluyordu 0.4.31 → 0.4.32
Katman, Gemini 3'ün her araç çağrısında gerektirdiği düşünce imzasını geri döndürmüyordu, bu yüzden bir sonraki tur reddediliyordu. BFCL çok turlu devamları üzerinden sayıldı.
- 0.4.31 sürümünde bulundu: 50 üzerinden 50. bfcl-0431-gama-alta.json
- 0.4.32 sürümünde düzeltildi (#402).
- Yayımlanmış bir raporda henüz yeniden ölçülmedi: 1 Eki 2026 tarihli haftalık test (düzeltmeyi içeren main kaynak kodu, commit 5bec174) bu bataryada google/gemini-3.8-flash modelini ölçtü, ancak özeti yalnızca tek turlu girdileri sayar; bunun başarısız olduğu çok turlu devamları saymaz. Hiçbir rapor bunları saymadıkça doğrulanmış saymıyoruz. O çalıştırma google/gemini-3.1-pro-preview modelini ölçemedi (sağlayıcının kotası veya hız sınırı doldu, katman değil); orada doğrulanmamış kalıyor. banco-semanal-5bec174.json
Paralel isteklerde Gemini'nin düşünme düzeyi düzeltmesi istemciye hata olarak ulaşıyordu 0.4.35 → 0.4.36
Gemini Flash, MINIMAL düşünme düzeyini reddeder; yerel bağdaştırıcı bir kez LOW ile yeniden dener ve bu ikameyi hatırlar. Aynı katmandan aynı anda giden iki istekte biri, reddi diğerinin zaten düzelttiği gövdeyle karşılaştırıyor, tanımıyor ve hatayı istemciye iletiyordu. Haftalık testin Gemini ile XSTest promptlarında, yalnızca katmanla oluşan hata olarak sayıldı.
- 30 Eyl 2026 tarihinde haftalık canlı test tarafından bulundu (main kaynak kodu, commit ca621e2), google/gemini-3.8-flash ile: yalnızca katmanla oluşan 1 hata; 450 XSTest öğesinde. banco-semanal-ca621e2.json
- 0.4.36 sürümünde düzeltildi (#442).
- 1 Eki 2026 tarihinde haftalık test tarafından canlı olarak yeniden ölçüldü (düzeltmeyi içeren main kaynak kodu, commit 5bec174), google/gemini-3.8-flash ile: yalnızca katmanla oluşan 0 hata; 448 XSTest öğesinde. O çalıştırma google/gemini-3.1-pro-preview modelini ölçemedi (sağlayıcının kotası veya hız sınırı doldu, katman değil); orada doğrulanmamış kalıyor. banco-semanal-5bec174.json
Nasıl yeniden üretilir
Testin kodu açık depoda duruyor ve yöntem beş adıma sığıyor. Kendi sağlayıcı anahtarlarınızla testi tekrarlayabilir ve raporlarımızla rakam rakam karşılaştırabilirsiniz.
- Veri kümesi. Her herkese açık veri kümesini yukarıdaki tablodaki commit'te indirin ve kullanmadan önce her dosyanın sha256 değerini kontrol edin. Tutmuyorsa aynı veri kümesi değildir.
- Katman.
@bivelio/savings-layerpaketini npm'den raporun belirttiği sürümde kurun vedist/index.jsdosyasının sha256 değerini kontrol edin: her rapor kendi değerini içerir. - Prompt başına iki kol. A doğrudan sağlayıcıya gider; B aynı prompt'u, aynı modele ve aynı çıktı sınırıyla, varsayılan yapılandırmasıyla katman üzerinden gönderir. Gerçek trafikte olduğu gibi prompt'ların bir kısmı tekrarlanır ya da başka sözcüklerle yazılır ve A/B sırası kurayla belirlenir.
- Kullanım ve liste fiyatları değerlemeyi belgeler. Her kolun maliyetini sağlayıcının bildirdiği
usagedeğerinden sürümlenmiş liste fiyatıyla toplayın. Tasarruf, aralığıyla birlikte1 − maliyet B / maliyet Aolur; bu bir fatura mutabakatı değildir. - Kalite, aynı çalıştırmada. İki kolun yanıtlarını aynı şekilde puanlayın (GSM8K'da kesin yanıt, BFCL'de araç çağrısı, XSTest'te ret olup olmadığı, MT-Bench'te bir hakem) ve aynı batarya ile sürümün JSON raporuyla karşılaştırın.
Raporlar
Her çalıştırma tasarımını, sınırlarını ve ölçülen her çağrıyı içeren bir JSON raporu bırakır: usage, kol başına maliyet ve yanıtın sınıflandırması. Raporlar bu web sitesinden sunulur.
Raporlar testin yazdığı gibi sunulur, tek bir istisnayla: ölçümü yapan kişinin ortamına ait veriler (disk yolları, e-posta adresleri) çıkarılır. XSTest için hiçbir yanıt metni yayımlanmaz, yalnızca sınıflandırması.
Bizi kendiniz ölçün
Bağımsız bir ölçüm bizimkinden daha değerlidir. Testin kodu açık depoda duruyor: ölçümü tekrarlamak ya da katmanı kendi test düzeneğiniz veya kendi trafiğinizle ölçmek isterseniz bize yazın, bunun için gereken her şeyi verelim.
Bize şu adresten yazın: support@bivelio.com