Onze A/B-benchmark, in het open. Meet ons.
We publiceren elke run: vier batterijen op openbare datasets, 10 modellen, en beide armen gemeten met de eigen gebruiksteller van de provider. Elk cijfer draagt zijn n, zijn interval en zijn datum. Wat niet bespaart staat hier ook.
- batterijen
- 4
- geteste modellen
- 10
- modellen met een meting
- 10
- live rapporten
- 15
- laatste run
- 1 okt 2026
Zo lees je deze pagina
- A/B met SDK
- Twee armen op hetzelfde verzoek, gewaardeerd met het gebruik dat de provider rapporteert. Zo worden de batterijen van de benchmark gemeten.
- Gateway-replay
- Contrafeitelijke replay met een gedeeltelijk gereconstrueerde baseline. Het is geen live A/B, geen gefactureerde besparing en geen factuurafstemming.
- Hetzelfde verzoek
- Arm A: rechtstreeks naar de provider, zonder de laag
- Arm B: via de laag, met de standaardconfiguratie
- De verbruiksmeter van de provider meet beide armen
Compatibel betekent niet gemeten: een model telt hier alleen mee als er een gepubliceerde run van is, en wat niet gemeten kon worden staat er met de reden bij.
Leesfilter
12 van 12 secties worden getoond.
Preprintv2.3-r1
Verifiable Measurement of Cost Savings in Large Language Model Applications Open-Core Edition
Herzien na een externe review vóór publicatie: de methode, de schatter, de onzekerheid en de grenzen van elk cijfer.
Wat wordt gemeten, en hoe
- Twee armen, hetzelfde verzoek. A gaat rechtstreeks naar de provider, zonder de laag; B loopt via de laag met de standaardconfiguratie. Dezelfde prompt, dezelfde sampling, dezelfde outputgrens.
- Door de provider gemeld gebruik en versiebeheerste catalogusprijzen. Elke arm wordt gewaardeerd op basis van de door de API teruggegeven
usageen een gedateerde catalogus met lijstprijzen. De besparing is 1 − kosten(B) / kosten(A) van dezelfde run. Bedragen krijgen afhankelijk van het bewijs het label measured, reference-valued of estimated; dit is geen factuurafstemming. - 95%-intervallen. Elke harness berekent ze (resampling van hele vraagfamilies, Wilson voor weigeringspercentages). Een interval dat nul kruist betekent “niet te onderscheiden van nul”, en dat zeggen we ook.
- Het pakket dat je installeert. De A/B-runs in de tabellen hieronder zijn gedaan met 0.4.31: arm B draait de broncode van die tag, en de
dist/index.jsdaarvan is byte voor byte gelijk aan die in de npm-tarball (sha256b52f99cacf9804ecd3153e56f26ec3adcdc2510d52a8446a369ecf914e0b5731). De wekelijkse live-bench is iets anders: bij elke run meet hij de broncode van main zoals die er die dag bij staat, nog vóór de publicatie. - Geen kortere wegen. Elke harness houdt de hosts in de gaten waarmee hij praat en heeft een in code vastgelegd uitgavenplafond per model. Een model dat niet gemeten kon worden, wordt gerapporteerd als “niet gemeten”, met de reden.
Lees het onderzoeksrapport v2.3-r1 van 15 pagina's (PDF): methode, bewijssoorten en de beperkingen van elk cijfer, herzien na een externe review vóór publicatie.
Vier batterijen, openbare datasets, vastgepind
| Batterij | Wat het controleert | Dataset | Vastgepinde bestanden | Licentie |
|---|---|---|---|---|
| GSM8K | Rekenvraagstukken met herhalingen en parafrases: hoeveel de cache bespaart en of de nauwkeurigheid daalt. | openai/grade-school-mathcommit 3101c7d5072418e28b9008a6636bde82a006892c | gsm8k-test sha256 3730d312f6e3440559ace48831e51066acaca737f6eabec99bccb9e4b3c39d14gsm8k-trainsha256 17f347dc51477c50d4efb83959dbb7c56297aba886e5544ee2aaed3024813465 | MIT |
| BFCL | Tool calls: de laag mag er geen enkele veranderen, en de volledige catalogus moet aankomen. | ShishirPatil/gorillacommit f7cf7359b7ac615a0b294831c5ba2bc95ee4a000 | vastgepind op commit | Apache-2.0 |
| XSTest | Weigeringen: de laag mag niet veranderen wanneer het model weigert, en mag geen weigering uit de cache serveren. | paul-rottger/exaggerated-safetycommit d7bb5bd738c1fcbc36edd83d5e7d1b71a3e2d84d | xstest_prompts.csv sha256 11783fb294ed017473ee53c207d71f2161c7672c8d0b037501e78387f801cb5a | CC-BY-4.0 |
| MT-Bench | Chat van twee beurten zonder herhalingen: de laag mag kosten, latentie noch kwaliteit verslechteren. | lm-sys/FastChatcommit 587d5cfa1609a43d192cedb8441cac3c17db105d | question.jsonl sha256 119565adbab82227089cefdb44c8d7e2cf04dc0a0ec233634c82e7d4e2a944f7gpt-4.jsonlsha256 f957a5bc977badb66885ec970e6cd08527845780313f0995764260e5777b9b3fjudge_prompts.jsonlsha256 fd283293406d024f44c174b094ef48031d0687a4682fd3a56b29b138f80281b6 | Apache-2.0 |
Vertaling, zonder jargon
De test is een eerlijk experiment: dezelfde taak twee keer — zonder Savings en met Savings — met dezelfde teller van de aanbieder die beide meet.
Bij een stroom waarin 30% van de verzoeken zich exact herhalen, daalde de rekening met 31,5% — tussen 25,7% en 36,7% met 95% betrouwbaarheid. Wat je bespaart hangt af van hoeveel je verkeer zich herhaalt.
Een percentage zegt niets zonder zijn interval, zijn model en zijn verkeer: we publiceren alle drie.
Wekelijkse live-bench
A/B met SDK
Elke week, en telkens als we hem met de hand starten, haalt één run alle batterijen door alle modellen: arm A gaat rechtstreeks naar de provider, arm B door de laag, gebouwd uit de broncode van main op dat moment. Het is geen gepubliceerde versie: het is wat op het punt staat gepubliceerd te worden. De run faalt als er een regel breekt, en een cel die niet gemeten kon worden zegt waarom.
Run van 1 okt 2026 · broncode van main op commit 5bec174 (pakketversie 0.4.35) · US$ 21,96 uitgegeven van een plafond van US$ 50,00 · 36 van 40 cellen gemeten. banco-semanal-5bec174.json
Oordeel: geen regressies.
| Batterij | Model | Status | n | Uitgave / plafond | Fouten van de laag | Wat hij telt | B − A | Rapport vs catalogusprijskosten |
|---|---|---|---|---|---|---|---|---|
| GSM8K | openai/gpt-4o-mini | gemeten | 200 | US$ 0,12 / US$ 0,75 | 0 | antwoord van een andere vraag: 0 | nauwkeurigheid -1,7 pp [-4,8, +1,1] | 0,00% |
| GSM8K | openai/gpt-5.4-mini | gemeten | 106 | US$ 0,42 / US$ 0,75 | 0 | antwoord van een andere vraag: 0 | nauwkeurigheid +1,0 pp [0,0, +3,3] | 0,00% |
| GSM8K | openai/gpt-5.5 | gemeten | 24 | US$ 0,86 / US$ 1,25 | 0 | antwoord van een andere vraag: 0 | nauwkeurigheid 0,0 pp [0,0, 0,0] | 0,00% |
| GSM8K | openai/gpt-5.6-sol | gemeten | 34 | US$ 0,31 / US$ 1,25 | 0 | antwoord van een andere vraag: 0 | nauwkeurigheid 0,0 pp [0,0, 0,0] | 0,00% |
| GSM8K | anthropic/claude-haiku-4-5 | gemeten | 70 | US$ 0,42 / US$ 0,75 | 0 | antwoord van een andere vraag: 0 | nauwkeurigheid -1,6 pp [-4,3, 0,0] | 0,00% |
| GSM8K | anthropic/claude-sonnet-5 | gemeten | 52 | US$ 0,48 / US$ 1,10 | 0 | antwoord van een andere vraag: 0 | nauwkeurigheid 0,0 pp [0,0, 0,0] | 0,00% |
| GSM8K | anthropic/claude-sonnet-5-5 | gemeten | 56 | US$ 0,47 / US$ 1,10 | 0 | antwoord van een andere vraag: 0 | nauwkeurigheid 0,0 pp [0,0, 0,0] | 0,00% |
| GSM8K | anthropic/claude-opus-5-5 | gemeten | 30 | US$ 0,55 / US$ 1,25 | 0 | antwoord van een andere vraag: 0 | nauwkeurigheid 0,0 pp [0,0, 0,0] | 0,00% |
| GSM8K | google/gemini-3.8-flash | gemeten | 68 | US$ 0,40 / US$ 0,75 | 0 | antwoord van een andere vraag: 0 | nauwkeurigheid 0,0 pp [0,0, 0,0] | 0,00% |
| GSM8K | google/gemini-3.1-pro-preview | niet meetbaar: quotum of rate limit van de provider op, niet de laag | — | |||||
| BFCL | openai/gpt-4o-mini | gemeten | 100 | US$ 0,03 / US$ 0,75 | 0 | gewijzigde tool-aanroepen: 0 | nauwkeurigheid +2,0 pp [0,0, +5,0] | 0,00% |
| BFCL | openai/gpt-5.4-mini | gemeten | 100 | US$ 0,15 / US$ 0,75 | 0 | gewijzigde tool-aanroepen: 0 | nauwkeurigheid -1,0 pp [-5,0, +2,0] | 0,00% |
| BFCL | openai/gpt-5.5 | gemeten | 32 | US$ 0,28 / US$ 1,25 | 0 | gewijzigde tool-aanroepen: 0 | nauwkeurigheid +6,3 pp [0,0, +15,6] | 0,00% |
| BFCL | openai/gpt-5.6-sol | gemeten | 32 | US$ 0,18 / US$ 1,25 | 0 | gewijzigde tool-aanroepen: 0 | nauwkeurigheid 0,0 pp [0,0, 0,0] | 0,00% |
| BFCL | anthropic/claude-haiku-4-5 | gemeten | 100 | US$ 0,59 / US$ 0,75 | 0 | gewijzigde tool-aanroepen: 0 | nauwkeurigheid 0,0 pp [0,0, 0,0] | 0,00% |
| BFCL | anthropic/claude-sonnet-5 | gemeten | 48 | US$ 0,72 / US$ 1,10 | 0 | gewijzigde tool-aanroepen: 0 | nauwkeurigheid 0,0 pp [-6,3, +6,3] | 0,00% |
| BFCL | anthropic/claude-sonnet-5-5 | gemeten | 48 | US$ 0,64 / US$ 1,10 | 0 | gewijzigde tool-aanroepen: 0 | nauwkeurigheid 0,0 pp [0,0, 0,0] | 0,00% |
| BFCL | anthropic/claude-opus-5-5 | gemeten | 32 | US$ 0,47 / US$ 1,25 | 0 | gewijzigde tool-aanroepen: 0 | nauwkeurigheid 0,0 pp [0,0, 0,0] | 0,00% |
| BFCL | google/gemini-3.8-flash | gemeten | 100 | US$ 0,45 / US$ 0,75 | 0 | gewijzigde tool-aanroepen: 0 | nauwkeurigheid +1,0 pp [0,0, +3,0] | 0,00% |
| BFCL | google/gemini-3.1-pro-preview | niet meetbaar: quotum of rate limit van de provider op, niet de laag | — | |||||
| XSTest | openai/gpt-4o-mini | gemeten | 450 | US$ 0,06 / US$ 0,75 | 0 | weigeringen in de cache: 0 · gecrediteerd: 0 | veilig 0,0 pp (p = 1,00)onveilig 0,0 pp (p = 1,00) | 0,00% |
| XSTest | openai/gpt-5.4-mini | gemeten (gestopt op zijn uitgaveplafond) | 412 | US$ 0,75 / US$ 0,75 | 0 | weigeringen in de cache: 0 · gecrediteerd: 0 | veilig +0,9 pp (p = 0,77)onveilig 0,0 pp (p = 1,00) | 0,00% |
| XSTest | openai/gpt-5.5 | gemeten | 99 | US$ 1,01 / US$ 1,25 | 0 | weigeringen in de cache: 0 · gecrediteerd: 0 | veilig 0,0 pp (p = 1,00)onveilig 0,0 pp (p = 1,00) | 0,00% |
| XSTest | openai/gpt-5.6-sol | gemeten | 99 | US$ 0,62 / US$ 1,25 | 0 | weigeringen in de cache: 0 · gecrediteerd: 0 | veilig 0,0 pp (p = 1,00)onveilig 0,0 pp (p = 1,00) | 0,00% |
| XSTest | anthropic/claude-haiku-4-5 | gemeten | 450 | US$ 0,63 / US$ 0,75 | 0 | weigeringen in de cache: 0 · gecrediteerd: 0 | veilig 0,0 pp (p = 1,00)onveilig +0,5 pp (p = 1,00) | 0,00% |
| XSTest | anthropic/claude-sonnet-5 | gemeten | 200 | US$ 0,87 / US$ 1,10 | 0 | weigeringen in de cache: 0 · gecrediteerd: 0 | veilig 0,0 pp (p = 1,00)onveilig +2,2 pp (p = 0,50) | 0,00% |
| XSTest | anthropic/claude-sonnet-5-5 | gemeten | 153 | US$ 0,81 / US$ 1,10 | 0 | weigeringen in de cache: 0 · gecrediteerd: 0 | veilig +1,1 pp (p = 1,00)onveilig +3,0 pp (p = 0,50) | 0,00% |
| XSTest | anthropic/claude-opus-5-5 | gemeten (gestopt op zijn uitgaveplafond) | 82 | US$ 0,82 / US$ 1,25 | 0 | weigeringen in de cache: 0 · gecrediteerd: 0 | onveilig -3,7 pp (p = 0,45) | 0,00% |
| XSTest | google/gemini-3.8-flash | gemeten | 448 | US$ 0,52 / US$ 0,75 | 0 | weigeringen in de cache: 0 · gecrediteerd: 0 | veilig +0,4 pp (p = 1,00)onveilig +1,0 pp (p = 0,75) | 0,00% |
| XSTest | google/gemini-3.1-pro-preview | niet meetbaar: quotum of rate limit van de provider op, niet de laag | — | |||||
| MT-Bench | openai/gpt-4o-mini | gemeten | 40 | US$ 0,41 / US$ 1,15 | 0 | — | B verkozen 48,1% [38,5% – 57,7%] | 0,00% |
| MT-Bench | openai/gpt-5.4-mini | gemeten | 40 | US$ 0,68 / US$ 1,15 | 0 | — | B verkozen 51,7% [40,0% – 65,0%] | 0,00% |
| MT-Bench | openai/gpt-5.5 | gemeten (gestopt op zijn uitgaveplafond) | 7 | US$ 0,65 / US$ 1,65 | 0 | — | B verkozen 46,4% [28,6% – 64,3%] | 0,00% |
| MT-Bench | openai/gpt-5.6-sol | gemeten (gestopt op zijn uitgaveplafond) | 11 | US$ 0,97 / US$ 1,65 | 0 | — | B verkozen 52,3% [45,5% – 59,1%] | 0,00% |
| MT-Bench | anthropic/claude-haiku-4-5 | gemeten | 40 | US$ 0,79 / US$ 1,15 | 0 | — | B verkozen 52,6% [44,7% – 60,5%] | 0,00% |
| MT-Bench | anthropic/claude-sonnet-5 | gemeten (gestopt op zijn uitgaveplafond) | 19 | US$ 1,18 / US$ 1,50 | 0 | — | B verkozen 50,0% [38,5% – 59,6%] | 0,00% |
| MT-Bench | anthropic/claude-sonnet-5-5 | gemeten | 24 | US$ 1,14 / US$ 1,50 | 0 | — | B verkozen 50,0% [42,6% – 58,8%] | 0,00% |
| MT-Bench | anthropic/claude-opus-5-5 | gemeten | 16 | US$ 1,41 / US$ 1,65 | 0 | — | B verkozen 35,9% [26,6% – 43,8%] | 0,00% |
| MT-Bench | google/gemini-3.8-flash | gemeten (gestopt op zijn uitgaveplafond) | 32 | US$ 1,06 / US$ 1,15 | 0 | — | B verkozen 39,6% [27,1% – 50,0%] | 0,00% |
| MT-Bench | google/gemini-3.1-pro-preview | niet meetbaar: quotum of rate limit van de provider op, niet de laag | — | |||||
„Fouten van de laag” zijn fouten in arm B die arm A niet had. „B − A” is het verschil in nauwkeurigheid bij GSM8K en BFCL, het verschil in weigeringspercentage bij XSTest (p volgens McNemar, gepaarde prompts) en bij MT-Bench hoe vaak de jury B verkiest (de helft is gelijkspel). „Rapport vs catalogusprijskosten” vergelijkt de door de laag voor B gerapporteerde kosten met de kosten die onafhankelijk uit het door de provider gemelde gebruik tegen dezelfde versiebeheerste catalogusprijzen zijn berekend; dit is geen factuurafstemming.
Eerdere wekelijkse runs
- 30 sep 2026 · commit ca621e2 · gefaald (gebroken regels: 4). banco-semanal-ca621e2.json
- 29 sep 2026 · commit d650c59 · geen regressies. banco-semanal-d650c59.json
- 29 sep 2026 · commit 1100960 · geen regressies. banco-semanal.json
- 29 sep 2026 · commit 105fe13 · gefaald (gebroken regels: 7). banco-semanal-105fe13.json
Gedeeltelijke runs
Een gedeeltelijke run wordt met de hand gestart met slechts enkele modellen of batterijen; bijvoorbeeld de andere dag van een model waarvan het dagelijkse providerquotum niet voor zijn vier batterijen op één dag volstaat. Hij meet wat hij zegt, maar is niet de wekelijkse run: hij telt niet mee voor publiceren.
- 2 okt 2026 · commit b349d7a · google/gemini-3.1-pro-preview · GSM8K, XSTest · geen regressies. banco-semanal-b349d7a-gemini-31-pro-jornada-2.json
- 1 okt 2026 · commit b349d7a · google/gemini-3.1-pro-preview · BFCL, MT-Bench · geen regressies. banco-semanal-b349d7a-gemini-31-pro-jornada-1.json
Gemeten besparing per model
A/B met SDK
GSM8K, met een stroom verzoeken waarin 30% exacte herhalingen zijn en 20% parafrases. Dit is de batterij met herhaald verkeer: jouw besparing hangt af van hoeveel het jouwe herhaalt. Zonder herhalingen, zie “Wat niet bespaart”.
Beide armen, model voor model
GSM8K, de batterij die gemaakt is om besparing te meten. Kies een gemeten model: A gaat rechtstreeks naar de provider en B loopt door de laag.
Gemeten besparing per model, met interval
A/B met SDKDe stip is de schatting, de balk het betrouwbaarheidsinterval, de lijn de nul. Alles op dezelfde schaal.
- 31,5% [25,7% – 36,7%] A/B met SDK
- 200 verzoeken · 100 uniek
- 95,0% → 96,1%
- 0.4.31 · 28 sep 2026
Alleen modellen met een gemeten run verschijnen hier. Methodologie bekijken
| Model | n | Gemeten besparing [BI] A/B met SDK | Uit de exacte cache | In de aanroepen (prefix) | Nauwkeurigheid A → B | Versie · datum |
|---|---|---|---|---|---|---|
openai/gpt-4o-mini | 200 verzoeken · 100 uniek | 31,5% [25,7% – 36,7%] | US$ 0,0124 | US$ 0,0006 | 95,0% → 96,1%Δ +1,1 pp [0,0, +2,8] | 0.4.31 · 28 sep 2026 |
openai/gpt-5.4-mini | 176 verzoeken · 88 uniek | 31,7% [25,6% – 37,6%] | US$ 0,0734 | US$ 0,0003 | 95,6% → 93,7%Δ -1,9 pp [-5,0, 0,0] | 0.4.31 · 28 sep 2026 |
openai/gpt-5.5 | 22 verzoeken · 11 uniek | 33,4% [6,8% – 53,8%] | US$ 0,0790 | US$ -0,0023 | 100,0% → 100,0%Δ 0,0 pp [0,0, 0,0] | 0.4.31 · 28 sep 2026 |
openai/gpt-5.6-sol | 32 verzoeken · 16 uniek | 29,2% [9,5% – 46,8%] | US$ 0,0252 | US$ -0,0003 | 100,0% → 100,0%Δ 0,0 pp [0,0, 0,0] | 0.4.31 · 28 sep 2026 |
anthropic/claude-haiku-4-5 | 116 verzoeken · 58 uniek | 32,2% [23,6% – 40,2%] | US$ 0,0773 | US$ 0,0002 | 99,0% → 99,0%Δ 0,0 pp [0,0, 0,0] | 0.4.31 · 28 sep 2026 |
anthropic/claude-opus-5-5 | 32 verzoeken · 16 uniek | 77,2% [67,1% – 83,9%] | US$ 0,0974 | US$ 0,1391 | 100,0% → 100,0%Δ 0,0 pp [0,0, 0,0] | 0.4.31 · 28 sep 2026 |
anthropic/claude-sonnet-5 | 62 verzoeken · 31 uniek | 75,1% [69,3% – 79,6%] | US$ 0,1054 | US$ 0,1313 | 100,0% → 100,0%Δ 0,0 pp [0,0, 0,0] | 0.4.31 · 28 sep 2026 |
anthropic/claude-sonnet-5-5 | 62 verzoeken · 31 uniek | 77,5% [72,0% – 81,7%] | US$ 0,0924 | US$ 0,1289 | 100,0% → 100,0%Δ 0,0 pp [0,0, 0,0] | 0.4.31 · 28 sep 2026 |
google/gemini-3.1-pro-preview | de laag faalde: verzoeken liepen niet via de laag | 0.4.31 · 28 sep 2026 | ||||
google/gemini-3.8-flash | de laag faalde: verzoeken liepen niet via de laag | 0.4.31 · 28 sep 2026 | ||||
Waar de besparing vandaan komt, positie voor positie: “uit de exacte cache” is wat A betaalde voor de verzoeken die de laag serveerde zonder de provider aan te roepen; “in de aanroepen” is het verschil bij de verzoeken die de provider wel bereikten, vooral de prefixcache van de provider (plus wat variatie in de output). Samen vormen ze de totale besparing.
Nauwkeurigheid wordt gemeten op de vragen met een gepubliceerd antwoord; de varianten met een gewijzigd getal dienen alleen om te controleren dat de laag nooit het antwoord van een andere vraag teruggeeft.
De cacheverlaging van de gateway: een simulatie, geen A/B
Gateway-replay
Dit is een contrafeitelijke replay met een deels gereconstrueerde basislijn, geen van de live A/B-batterijen op deze pagina. We gebruikten het door de provider gemelde gebruik van echte Claude Code-sessies bij één enkele organisatie, de onze, met één provider (Anthropic), en schatten de kosten tegen versiebeheerste catalogusprijzen met en zonder de cache-TTL-wijziging van PRO. Het is geen live dubbele run of factuurafstemming.
Het oordeel van het rapport van 3 okt 2026: de verlaging levert netto +2,49% van de factuur op (US$ 113,45 op US$ 4.563,61), na aftrek van de cachemissers die ze zelf veroorzaakt.
- Sessies
- 51
- Verzoeken
- 19.779
- Dagen
- 13
| 95%-interval | Netto, als deel van de factuur Gateway-replay |
|---|---|
| Herbemonstering per sessie (clusters: 51) | +1,50% – +3,57% |
| Herbemonstering per dag (clusters: 13) | +1,73% – +4,82% |
Bootstrap met 10.000 herbemonsteringen. Beide intervallen sluiten nul uit: op dit verkeer verdient de verlaging geld. De kaart op de startpagina noemt het interval per sessie.
Het resultaat, met wat ervan afgaat
| Verlagingen | 2.583 |
| Bespaarde toeslag, bruto | +3,10% |
| Veroorzaakte cachemissers | 124 |
| Wat die missers kosten | -0,62% |
| Netto | +2,49% · US$ 113,45 |
| Plafond: de volledige toeslag van het uur | 7,2% |
De percentages zijn berekend over de factuur tegen lijstprijzen van de gesimuleerde verzoeken (US$ 4.563,61). Het plafond is het maximum dat welk TTL-beleid dan ook zou kunnen terugwinnen, zelfs als het nooit zou missen. Elk percentage is afzonderlijk afgerond.
Per model
| Model | Verzoeken | Verlagingen | Veroorzaakte cachemissers | Netto, als deel van de factuur van het model |
|---|---|---|---|---|
claude-fable-5 | 1.921 | 23 | 1 | +4,64% |
claude-fable-5-1 | 2.236 | 25 | 0 | +1,65% |
claude-opus-5 | 8.344 | 70 | 2 | +1,61% |
claude-opus-4-8 | 1.193 | 34 | 0 | +6,49% |
claude-sonnet-5 | 6.080 | 2.427 | 121 | +1,34% |
claude-haiku-4-5 | 5 | 4 | 0 | geen percentage (verzoeken: 5) |
claude-sonnet-5 is het lelijke geval: het is goed voor 94% van de verlagingen en 98% van de missers, en het netto is bijna nul. In de eerste periode van de opname verloor het zelfs: 9,4% van zijn factuur. Zijn verkeer bestaat uit korte threads die vaak opnieuw worden opgebouwd en terugkomen nadat de vijf minuten voorbij zijn. De regel loont echt waar sessiestarts duur en zeldzaam zijn.
Hoe het is gedaan: het cachemodel, uitgeschreven
- De regel is dezelfde die de gateway uitvoert, geen kopie: ze verplaatst cacheschrijfacties van de TTL van één uur naar die van vijf minuten wanneer het nieuwe deel minstens 30% van de body van het verzoek is.
- De basislijn is wat de aanbieder heeft geteld, met het echte gebruik, waar de verlaging nog niet actief was; waar die dat al wel was, wordt ze gereconstrueerd door de verlaging ongedaan te maken (zie de beperkingen). Met de verlaging betaalt de verlaagde beurt de schrijftoeslag van vijf minuten in plaats van die van één uur.
- Een veroorzaakte misser: als de volgende beurt van dezelfde thread na de vijf minuten en vóór het uur binnenkomt, wordt wat de verlaagde beurt schreef niet meer uit de cache gelezen maar opnieuw geschreven, en die kosten worden afgetrokken.
- Er is een conservatieve variant, die bovendien de prefix die verschillende threads delen als verloren beschouwt. Die verschuift het cijfer nauwelijks: +2,48%, met enkele missers meer (3).
- Alleen geaggregeerde cijfers: geen prompt, antwoord, header of sessie-id verlaat de opname.
Grenzen
- Eén organisatie, één client, één provider. Claude Code tegenover Anthropic, met ons eigen verkeer. Geen andere codeeragent en geen andere provider.
- Lijstprijs, gesimuleerd. Het is geen factuur: het is het werkelijke gebruik, geprijsd met de prijscatalogus. Kortingen, accountniveaus of een abonnement zouden het geld veranderen.
- Het cachemodel is een model. Het neemt aan hoe de provider zijn cache-items indexeert; het neemt dat niet waar. De conservatieve variant begrenst dat risico.
- Het grootste deel van de basislijn is gereconstrueerd. 79% van de verzoeken is opgenomen terwijl de verlaging al actief was; daar wordt de basislijn gereconstrueerd door de echte verlaging ongedaan te maken, en die is minder stevig dan die van het eerste deel. Dat eerste deel alleen geeft een veel breder interval: +0,29% tot +9,12%.
- Het plafond verandert met de client. Het hangt af van hoeveel schrijfacties van één uur de coding-agent stuurt, en recente versies van Claude Code sturen er minder: van de 19.779 verzoeken bevatten er 7.327 geen enkele om te verlagen.
- Het gat tussen beurten wordt gemeten vanaf de aankomst van elk verzoek, niet vanaf het einde van het antwoord: het telt een paar missers te veel, nooit te weinig.
- Het is geen voorspelling voor jouw team. Het is een kleine besparing, uit één soort verkeer, en ander verkeer kan een ander cijfer geven, ook een slechter: kijk naar het lelijke geval.
In productie: sinds versie 0.5.1 (3 okt 2026) trekt de gateway de missers die hij waarneemt af in de beurt die ze ondergaat, zodat de besparing van deze verlaging in je dashboard netto is. Wat eerder is vastgelegd wordt niet herberekend, en het dashboard markeert machines met een oudere gateway als “bruto”.
Garanties, geteld
A/B met SDK
De laag heeft nooit een tool call veranderd
0 gewijzigde calls in 1.325 BFCL-vergelijkingen, 6 modellen, sinds 0.4.31. Als de laag faalt (een fout in B die A niet had), telt dat hier niet mee: dat staat onder “Bugs die de benchmark vond”.
Zo wordt geteld: elke vergelijking uit elke live-run sinds die versie, dus een model dat twee keer is gemeten (een pilot en de volledige run) telt beide keren. Daarom kan het getal hoger zijn dan de n in de tabellen, die één run per model tonen.
Geen antwoord van een andere vraag sinds 0.4.31
0 van 198 varianten (dezelfde vraag met een ander getal, en dus een ander antwoord) geserveerd met het antwoord van een andere vraag, over 8 live modellen en elke gemeten cacheconfiguratie.
Offline replay van de volledige GSM8K-testsplit: 0 in 5.813 verzoeken, in elk van de 5 cacheconfiguraties.
Hetzelfde weigeringspercentage, met en zonder de laag
XSTest, 10 modellen gemeten: geen A/B-verschil onder p = 0,05 (McNemar, gepaarde prompts). De laag leverde de tekst van 4.668 antwoorden ongewijzigd (0 gewijzigd).
Zo wordt geteld: antwoorden, geen prompts. Elk antwoord uit arm B wordt vergeleken met de tekst van de provider, herhalingen van dezelfde prompt inbegrepen, dus er zijn meer antwoorden dan prompts in de tabel.
| Model | Prompts | Weigeringen, veilige prompts (A → B) | Weigeringen, onveilige prompts (A → B) | Versie · datum |
|---|---|---|---|---|
openai/gpt-4o-mini | 450 | 5,2% → 5,2% (n = 250, p = 1,00) | 81,5% → 81,5% (n = 200, p = 1,00) | 0.4.31 · 28 sep 2026 |
openai/gpt-5.4-mini | 441 | 11,0% → 9,8% (n = 245, p = 0,63) | 87,2% → 86,7% (n = 196, p = 1,00) | 0.4.31 · 28 sep 2026 |
openai/gpt-5.5 | 120 | 6,3% → 4,7% (n = 64, p = 1,00) | 80,0% → 80,0% (n = 55, p = 1,00) | 0.4.31 · 29 sep 2026 |
openai/gpt-5.6-sol | 199 | 2,7% → 2,7% (n = 111, p = 1,00) | 75,6% → 76,7% (n = 86, p = 1,00) | 0.4.31 · 29 sep 2026 |
anthropic/claude-haiku-4-5 | 450 | 1,6% → 2,0% (n = 250, p = 1,00) | 42,5% → 42,5% (n = 200, p = 1,00) | 0.4.31 · 29 sep 2026 |
anthropic/claude-opus-5-5 | 81 | — | 67,1% → 67,1% (n = 79, p = 1,00) | 0.4.31 · 29 sep 2026 |
anthropic/claude-sonnet-5 | 264 | 2,7% → 2,0% (n = 147, p = 1,00) | 68,4% → 71,8% (n = 117, p = 0,34) | 0.4.31 · 29 sep 2026 |
anthropic/claude-sonnet-5-5 | 311 | 1,5% → 0,0% (n = 135, p = 0,50) | 64,3% → 65,3% (n = 98, p = 1,00) | 0.4.31 · 29 sep 2026 |
google/gemini-3.1-pro-preview | 58 | 0,0% → 0,0% (n = 32, p = 1,00) | 80,8% → 84,6% (n = 26, p = 1,00) | 0.4.31 · 29 sep 2026 |
google/gemini-3.8-flash | 450 | 0,4% → 0,4% (n = 249, p = 1,00) | 67,8% → 66,8% (n = 199, p = 0,73) | 0.4.31 · 29 sep 2026 |
Wat niet bespaart
A/B met SDK
Zonder herhalingen is de besparing ≈ 0%. We publiceren het toch, omdat het is wat je zult zien als jouw verkeer zich niet herhaalt.
MT-Bench is chat van twee beurten met een verse laag per vraag: er is niets dat de cache kan hergebruiken, en de prompt bereikt bijna nooit het minimum dat de provider vereist om een prefix te cachen. Bij BFCL is elke tool call anders. Wat deze twee batterijen meten, is dat de laag niets erger maakt; het resterende kostenverschil is ruis in de output van het model, niet de laag.
| Batterij | Model | n | Gemeten besparing [BI] A/B met SDK | Interpretatie | Versie · datum |
|---|---|---|---|---|---|
| BFCL | openai/gpt-4o-mini | 400 items | 0,1% [0,0% – 0,3%] | niet te onderscheiden van nul | 0.4.31 · 28 sep 2026 |
| BFCL | openai/gpt-5.4-mini | 400 items | -0,2% [-1,0% – 0,5%] | niet te onderscheiden van nul | 0.4.31 · 28 sep 2026 |
| BFCL | anthropic/claude-haiku-4-5 | 48 items | 0,1% [0,0% – 0,2%] | niet te onderscheiden van nul | 0.4.31 · 29 sep 2026 |
| BFCL | anthropic/claude-sonnet-5 | 48 items | 1,5% [-1,6% – 5,8%] | niet te onderscheiden van nul | 0.4.31 · 29 sep 2026 |
| BFCL | google/gemini-3.1-pro-preview | 97 items | 4,8% [-6,6% – 15,6%] | niet te onderscheiden van nul | 0.4.31 · 29 sep 2026 |
| BFCL | google/gemini-3.8-flash | 324 items | -10,7% [-27,8% – 3,2%] | niet te onderscheiden van nul | 0.4.31 · 29 sep 2026 |
| MT-Bench | openai/gpt-4o-mini | 80 vragen | 3,3% [0,8% – 6,0%] | besparing · niet toe te schrijven aan de laag | 0.4.31 · 28 sep 2026 |
| MT-Bench | openai/gpt-5.4-mini | 80 vragen | -3,5% [-8,6% – 1,6%] | niet te onderscheiden van nul · niet toe te schrijven aan de laag | 0.4.31 · 28 sep 2026 |
| MT-Bench | openai/gpt-5.5 | 8 vragen | 2,1% [-4,4% – 9,7%] | niet te onderscheiden van nul | 0.4.31 · 29 sep 2026 |
| MT-Bench | openai/gpt-5.6-sol | 13 vragen | -0,4% [-21,2% – 13,5%] | niet te onderscheiden van nul · niet toe te schrijven aan de laag | 0.4.31 · 29 sep 2026 |
| MT-Bench | anthropic/claude-haiku-4-5 | 80 vragen | -2,6% [-4,6% – -0,9%] | meerkosten · niet toe te schrijven aan de laag | 0.4.31 · 28 sep 2026 |
| MT-Bench | anthropic/claude-opus-5-5 | 18 vragen | 1,1% [-2,0% – 4,9%] | niet te onderscheiden van nul | 0.4.31 · 29 sep 2026 |
| MT-Bench | anthropic/claude-sonnet-5 | 23 vragen | 1,7% [-8,9% – 12,7%] | niet te onderscheiden van nul | 0.4.31 · 28 sep 2026 |
| MT-Bench | anthropic/claude-sonnet-5-5 | 37 vragen | -0,8% [-2,5% – 0,9%] | niet te onderscheiden van nul | 0.4.31 · 29 sep 2026 |
Status per model en batterij
Elke cel toont de run op de hoogste versie van de laag. Als een model niet gemeten kon worden, zeggen we waarom in plaats van een leeg vakje achter te laten.
| Model | GSM8K | BFCL | XSTest | MT-Bench |
|---|---|---|---|---|
openai/gpt-4o-mini | gemeten · n = 200 0.4.31 · 28 sep 2026 | gemeten · n = 400 0.4.31 · 28 sep 2026 | gemeten · n = 450 0.4.31 · 28 sep 2026 | gemeten · n = 80 0.4.31 · 28 sep 2026 |
openai/gpt-5.4-mini | gemeten · n = 176 0.4.31 · 28 sep 2026 | gemeten · n = 400 0.4.31 · 28 sep 2026 | gemeten · n = 441 0.4.31 · 28 sep 2026 | gemeten · n = 80 0.4.31 · 28 sep 2026 |
openai/gpt-5.5 | gemeten · n = 22 0.4.31 · 28 sep 2026 | niet gemeten: uitgavenplafond bereikt 0.4.31 · 29 sep 2026 | gemeten · n = 120 0.4.31 · 29 sep 2026 | gemeten · n = 8 0.4.31 · 29 sep 2026 |
openai/gpt-5.6-sol | gemeten · n = 32 0.4.31 · 28 sep 2026 | niet gemeten: de provider weigerde het verzoek in beide armen 0.4.31 · 29 sep 2026 | gemeten · n = 199 0.4.31 · 29 sep 2026 | gemeten · n = 13 0.4.31 · 29 sep 2026 |
anthropic/claude-haiku-4-5 | gemeten · n = 116 0.4.31 · 28 sep 2026 | gemeten · n = 48 0.4.31 · 29 sep 2026 | gemeten · n = 450 0.4.31 · 29 sep 2026 | gemeten · n = 80 0.4.31 · 28 sep 2026 |
anthropic/claude-opus-5-5 | gemeten · n = 32 0.4.31 · 28 sep 2026 | niet gemeten: uitgavenplafond bereikt 0.4.31 · 29 sep 2026 | gemeten · n = 81 0.4.31 · 29 sep 2026 | gemeten · n = 18 0.4.31 · 29 sep 2026 |
anthropic/claude-sonnet-5 | gemeten · n = 62 0.4.31 · 28 sep 2026 | gemeten · n = 48 0.4.31 · 29 sep 2026 | gemeten · n = 264 0.4.31 · 29 sep 2026 | gemeten · n = 23 0.4.31 · 28 sep 2026 |
anthropic/claude-sonnet-5-5 | gemeten · n = 62 0.4.31 · 28 sep 2026 | niet gemeten: uitgavenplafond bereikt 0.4.31 · 29 sep 2026 | gemeten · n = 311 0.4.31 · 29 sep 2026 | gemeten · n = 37 0.4.31 · 29 sep 2026 |
google/gemini-3.1-pro-preview | de laag faalde: verzoeken liepen niet via de laag 0.4.31 · 28 sep 2026 | gemeten · n = 97 0.4.31 · 29 sep 2026 | gemeten · n = 58 0.4.31 · 29 sep 2026 | niet gemeten: quotum van de provider uitgeput 0.4.31 · 29 sep 2026 |
google/gemini-3.8-flash | de laag faalde: verzoeken liepen niet via de laag 0.4.31 · 28 sep 2026 | gemeten · n = 324 0.4.31 · 29 sep 2026 | gemeten · n = 450 0.4.31 · 29 sep 2026 | de laag faalde: verzoeken liepen niet via de laag 0.4.31 · 29 sep 2026 |
Compatibiliteit
Compatibel is niet gemeten. De SDK werkt met elk endpoint dat compatibel is met de OpenAI-API, plus de native Anthropic-adapter en de native Gemini-adapter (nieuw in 0.4.33). Met een besparingscijfer op de publieke benchmark zijn vandaag alleen modellen van OpenAI en Anthropic gemeten; Gemini heeft geen besparingscijfer. Wat voor Gemini gemeten is: Gemini 3.8 Flash, via zijn native API, in de wekelijkse live bench van 1 oktober 2026 — alle vier batterijen, zonder fouten van de laag en zonder weigering in de cache of als besparing gecrediteerd. Die bench controleert dat de laag niets breekt en niet te veel rekent; hij meet geen besparing. Ook gemeten: Gemini 3.1 Pro, via zijn native API, in twee gedeeltelijke runs op 1–2 oktober 2026 (zijn dagelijkse providerquotum volstaat niet voor alle vier batterijen op één dag): alle vier batterijen, eveneens zonder fouten van de laag en zonder gecachte of als besparing geboekte weigering.
Bugs die de benchmark vond
De benchmark is er niet om er goed uit te zien: hij is er om de bugs te vinden voordat jij ze vindt. Dit vond hij, met de versie waarin ze verschenen en de versie die ze oplost.
De ongekalibreerde semantische cache leverde het antwoord van een andere vraag 0.4.30 → 0.4.31
Met de ongekalibreerde semantische cache kon een variant met een ander getal (“three baskets” tegenover “two baskets”) het antwoord van de oorspronkelijke vraag krijgen. Geteld over de GSM8K-varianten.
- Gevonden in 0.4.30: 15 van 111. gsm8k.json
- Opgelost in 0.4.31 (#383).
- Live geverifieerd op 0.4.31: 0 van 198.
De laag beperkte de toolcatalogus zonder enig signaal om dat te doen 0.4.30 → 0.4.31
In gesprekken met meerdere beurten stuurde arm B minder tools dan arm A, terwijl niets aangaf welke overbodig waren. Geteld over de BFCL-gesprekken met meerdere beurten.
- Gevonden in 0.4.30: 20 van 20. bfcl.json
- Opgelost in 0.4.31 (#382).
- Live geverifieerd op 0.4.31: 0 van 83.
Sommige weigeringen die als tekst geschreven waren, werden gecachet 0.4.31 → 0.4.32
Een weigering die het model als tekst schrijft (zonder het signaal van de API) kon worden gecachet, herhaald en als besparing worden toegeschreven. Geteld in XSTest-prompts.
- Gevonden in 0.4.31: 39 van 2.824. xstest-0431-claude.jsonxstest-0431-gama-alta.jsonxstest-0431.json
- Opgelost in 0.4.32 (#393, #401).
- Live opnieuw gemeten door de wekelijkse bench op 1 okt 2026 (broncode van main met de fix, commit 5bec174): 0 weigeringen in de cache en 0 gecrediteerd, op 2.393 XSTest-prompts en 9 modellen. banco-semanal-5bec174.json
Gedeeltelijke weigeringen werden gecachet en gecrediteerd 0.4.32 → 0.4.33
Een antwoord dat eerst meewerkt en verderop weigert („If you mean harming someone, I can't help…”), of een excuus gevolgd door „ik heb geen toegang…”, werd niet als weigering herkend: de laag kon het cachen, herhalen en als besparing crediteren. Geteld in de XSTest-prompts van de wekelijkse bench, met modellen van OpenAI en Claude.
- Gevonden door de wekelijkse live-bench op 29 sep 2026 (broncode van main, commit 105fe13): 12 weigeringen uit de cache geserveerd of erin geschreven en 14 gecrediteerd, op 1.995 XSTest-prompts en 8 modellen. banco-semanal-105fe13.json
- Opgelost in 0.4.33 (#422).
- Live opnieuw gemeten door de wekelijkse bench op 1 okt 2026 (broncode van main met de fix, commit 5bec174): 0 weigeringen in de cache en 0 gecrediteerd, op 2.393 XSTest-prompts en 9 modellen. banco-semanal-5bec174.json
Een contentfilter van Gemini werd als antwoord gecachet 0.4.31 → 0.4.32
Gemini markeert zijn filter met een eigen stopreden, die de laag niet als weigering herkende, waardoor deze kon worden gecachet en herhaald. Geteld in XSTest-prompts.
- Gevonden in 0.4.31: 6 van 508. xstest-0431-gama-alta.json
- Opgelost in 0.4.32 (#402).
- Live opnieuw gemeten door de wekelijkse bench op 1 okt 2026 (broncode van main met de fix, commit 5bec174) met google/gemini-3.8-flash: 0 weigeringen in de cache of gecrediteerd, op 448 XSTest-prompts. Die run kon google/gemini-3.1-pro-preview niet meten (quotum of rate limit van de provider op, niet de laag); daar blijft het onbevestigd. banco-semanal-5bec174.json
Gemini liep niet via de laag 0.4.31 → 0.4.32
De laag stuurde een veld dat specifiek is voor de OpenAI-API naar elk compatibel endpoint, en Gemini weigert dat: elk verzoek in arm B mislukte. Geteld in GSM8K-verzoeken.
- Gevonden in 0.4.31: 504 van 504. gsm8k-0431-gama-alta.json
- Opgelost in 0.4.32 (#402).
- Live opnieuw gemeten door de wekelijkse bench op 1 okt 2026 (broncode van main met de fix, commit 5bec174) met google/gemini-3.8-flash: 0 fouten alleen met de laag, op 68 GSM8K-items. Die run kon google/gemini-3.1-pro-preview niet meten (quotum of rate limit van de provider op, niet de laag); daar blijft het onbevestigd. banco-semanal-5bec174.json
Bij Gemini 3 mislukte de tweede beurt met tools 0.4.31 → 0.4.32
De laag gaf de thought signature die Gemini 3 bij elke tool call vereist niet terug, waardoor de volgende beurt werd geweigerd. Geteld in BFCL-vervolgen met meerdere beurten.
- Gevonden in 0.4.31: 50 van 50. bfcl-0431-gama-alta.json
- Opgelost in 0.4.32 (#402).
- Nog niet opnieuw gemeten in een gepubliceerd rapport: de wekelijkse bench van 1 okt 2026 (broncode van main met de fix, commit 5bec174) mat google/gemini-3.8-flash in deze batterij, maar de samenvatting telt alleen items met één beurt, niet de vervolgbeurten waar dit misging. Zolang geen rapport ze telt, rekenen we het niet als geverifieerd. Die run kon google/gemini-3.1-pro-preview niet meten (quotum of rate limit van de provider op, niet de laag); daar blijft het onbevestigd. banco-semanal-5bec174.json
Bij parallelle verzoeken kwam de correctie van het denkniveau van Gemini als fout bij de client aan 0.4.35 → 0.4.36
Gemini Flash weigert het denkniveau MINIMAL; de native adapter probeert het één keer opnieuw met LOW en onthoudt de vervanger. Met twee verzoeken tegelijk via dezelfde laag vergeleek het ene de weigering met de body die het andere al had gecorrigeerd, herkende haar niet en gaf de fout door aan de client. Geteld als fouten alleen met de laag, in de XSTest-prompts van de wekelijkse bench met Gemini.
- Gevonden door de wekelijkse live bench op 30 sep 2026 (broncode van main, commit ca621e2) met google/gemini-3.8-flash: 1 fouten alleen met de laag, op 450 XSTest-items. banco-semanal-ca621e2.json
- Opgelost in 0.4.36 (#442).
- Live opnieuw gemeten door de wekelijkse bench op 1 okt 2026 (broncode van main met de fix, commit 5bec174) met google/gemini-3.8-flash: 0 fouten alleen met de laag, op 448 XSTest-items. Die run kon google/gemini-3.1-pro-preview niet meten (quotum of rate limit van de provider op, niet de laag); daar blijft het onbevestigd. banco-semanal-5bec174.json
Hoe je het reproduceert
De code van de benchmark staat in de open repository, en de methode past in vijf stappen. Met je eigen providersleutels kun je hem herhalen en cijfer voor cijfer vergelijken met onze rapporten.
- De dataset. Download elke openbare dataset op de commit uit de tabel hierboven en controleer de sha256 van elk bestand voordat je het gebruikt. Klopt die niet, dan is het niet dezelfde dataset.
- De laag. Installeer
@bivelio/savings-layervanaf npm in de versie die het rapport noemt en controleer de sha256 vandist/index.js: elk rapport vermeldt de zijne. - Twee armen per prompt. A gaat rechtstreeks naar de provider; B stuurt dezelfde prompt, naar hetzelfde model en met dezelfde uitvoerlimiet, via de laag met de standaardconfiguratie. Een deel van de prompts wordt herhaald of geparafraseerd, zoals in echt verkeer, en de volgorde A/B wordt geloot.
- Gebruik en catalogusprijzen documenteren de waardering. Tel de kosten van elke arm op uit het door de provider gemelde
usagetegen de versiebeheerste catalogusprijs. De besparing is1 − kosten B / kosten A, met haar interval; dit is geen factuurafstemming. - De kwaliteit, in dezelfde run. Beoordeel de antwoorden van beide armen op dezelfde manier (exact antwoord bij GSM8K, toolaanroep bij BFCL, weigering of niet bij XSTest, een beoordelaar bij MT-Bench) en vergelijk ze met het JSON-rapport van dezelfde batterij en versie.
De rapporten
Elke run laat een JSON-rapport achter met het ontwerp, de beperkingen en elke gemeten aanroep: usage, kosten per arm en classificatie van het antwoord. Ze worden vanaf deze website geserveerd.
De rapporten worden geserveerd zoals de benchmark ze schreef, met één uitzondering: gegevens over de omgeving van wie mat (schijfpaden, e-mailadressen) worden verwijderd. Van XSTest wordt geen enkele antwoordtekst gepubliceerd, alleen de classificatie.
Meet ons zelf
Een onafhankelijke meting is meer waard dan de onze. De code van de benchmark staat in de open repository: wil je de meting herhalen, of de laag meten met je eigen harnas of je eigen verkeer, schrijf ons en we geven je wat je daarvoor nodig hebt.
Schrijf ons op support@bivelio.com