Onze A/B-benchmark, in het open. Meet ons.

Wat wordt gemeten, en hoe

• Twee armen, hetzelfde verzoek. A gaat rechtstreeks naar de provider, zonder de laag; B loopt via de laag met de standaardconfiguratie. Dezelfde prompt, dezelfde sampling, dezelfde outputgrens.
• De provider telt de kosten. Elke arm wordt geprijsd op basis van de usage die de API bij elke aanroep teruggeeft, tegen de lijstprijs. De besparing is 1 − kosten(B) / kosten(A) van dezelfde run, niet wat de laag zelf beweert.
• 95%-intervallen. Elke harness berekent ze (resampling van hele vraagfamilies, Wilson voor weigeringspercentages). Een interval dat nul kruist betekent “niet te onderscheiden van nul”, en dat zeggen we ook.
• Het pakket dat je installeert. Arm B draait de broncode van tag 0.4.31; de dist/index.js is byte-voor-byte identiek aan die van de npm-tarball (sha256 b52f99cacf9804ecd3153e56f26ec3adcdc2510d52a8446a369ecf914e0b5731).
• Geen kortere wegen. Elke harness houdt de hosts in de gaten waarmee hij praat en heeft een in code vastgelegd uitgavenplafond per model. Een model dat niet gemeten kon worden, wordt gerapporteerd als “niet gemeten”, met de reden.

Vier batterijen, openbare datasets, vastgepind

Gemeten besparing per model

GSM8K, met een stroom verzoeken waarin 30% exacte herhalingen zijn en 20% parafrases. Dit is de batterij met herhaald verkeer: jouw besparing hangt af van hoeveel het jouwe herhaalt. Zonder herhalingen, zie “Wat niet bespaart”.

Waar de besparing vandaan komt, positie voor positie: “uit de exacte cache” is wat A betaalde voor de verzoeken die de laag serveerde zonder de provider aan te roepen; “in de aanroepen” is het verschil bij de verzoeken die de provider wel bereikten, vooral de prefixcache van de provider (plus wat variatie in de output). Samen vormen ze de totale besparing.

Nauwkeurigheid wordt gemeten op de vragen met een gepubliceerd antwoord; de varianten met een gewijzigd getal dienen alleen om te controleren dat de laag nooit het antwoord van een andere vraag teruggeeft.

Garanties, geteld

Wat niet bespaart

Zonder herhalingen is de besparing ≈ 0%. We publiceren het toch, omdat het is wat je zult zien als jouw verkeer zich niet herhaalt.

MT-Bench is chat van twee beurten met een verse laag per vraag: er is niets dat de cache kan hergebruiken, en de prompt bereikt bijna nooit het minimum dat de provider vereist om een prefix te cachen. Bij BFCL is elke tool call anders. Wat deze twee batterijen meten, is dat de laag niets erger maakt; het resterende kostenverschil is ruis in de output van het model, niet de laag.

Status per model en batterij

Elke cel toont de run op de hoogste versie van de laag. Als een model niet gemeten kon worden, zeggen we waarom in plaats van een leeg vakje achter te laten.

Bugs die de benchmark vond

De benchmark is er niet om er goed uit te zien: hij is er om de bugs te vinden voordat jij ze vindt. Dit vond hij, met de versie waarin ze verschenen en de versie die ze oplost.

1. De ongekalibreerde semantische cache leverde het antwoord van een andere vraag 0.4.30 → 0.4.31

   Met de ongekalibreerde semantische cache kon een variant met een ander getal (“three baskets” tegenover “two baskets”) het antwoord van de oorspronkelijke vraag krijgen. Geteld over de GSM8K-varianten.

   • Gevonden in 0.4.30: 15 van 111. gsm8k.json
   • Opgelost in 0.4.31 (#383).
   • Live geverifieerd op 0.4.31: 0 van 198.

2. De laag beperkte de toolcatalogus zonder enig signaal om dat te doen 0.4.30 → 0.4.31

   In gesprekken met meerdere beurten stuurde arm B minder tools dan arm A, terwijl niets aangaf welke overbodig waren. Geteld over de BFCL-gesprekken met meerdere beurten.

   • Gevonden in 0.4.30: 20 van 20. bfcl.json
   • Opgelost in 0.4.31 (#382).
   • Live geverifieerd op 0.4.31: 0 van 83.

3. Sommige weigeringen die als tekst geschreven waren, werden gecachet 0.4.31 → 0.4.32

   Een weigering die het model als tekst schrijft (zonder het signaal van de API) kon worden gecachet, herhaald en als besparing worden toegeschreven. Geteld in XSTest-prompts.

   • Gevonden in 0.4.31: 39 van 2.824. xstest-0431-claude.jsonxstest-0431-gama-alta.jsonxstest-0431.json
   • Opgelost in 0.4.32 (#393, #401).
   • Wacht op een nieuwe live meting op 0.4.32.

4. Een contentfilter van Gemini werd als antwoord gecachet 0.4.31 → 0.4.32

   Gemini markeert zijn filter met een eigen stopreden, die de laag niet als weigering herkende, waardoor deze kon worden gecachet en herhaald. Geteld in XSTest-prompts.

   • Gevonden in 0.4.31: 6 van 508. xstest-0431-gama-alta.json
   • Opgelost in 0.4.32 (#402).
   • Wacht op een nieuwe live meting op 0.4.32.

5. Gemini liep niet via de laag 0.4.31 → 0.4.32

   De laag stuurde een veld dat specifiek is voor de OpenAI-API naar elk compatibel endpoint, en Gemini weigert dat: elk verzoek in arm B mislukte. Geteld in GSM8K-verzoeken.

   • Gevonden in 0.4.31: 504 van 504. gsm8k-0431-gama-alta.json
   • Opgelost in 0.4.32 (#402).
   • Wacht op een nieuwe live meting op 0.4.32.

6. Bij Gemini 3 mislukte de tweede beurt met tools 0.4.31 → 0.4.32

   De laag gaf de thought signature die Gemini 3 bij elke tool call vereist niet terug, waardoor de volgende beurt werd geweigerd. Geteld in BFCL-vervolgen met meerdere beurten.

   • Gevonden in 0.4.31: 50 van 50. bfcl-0431-gama-alta.json
   • Opgelost in 0.4.32 (#402).
   • Wacht op een nieuwe live meting op 0.4.32.

Hoe je het reproduceert

De code van de benchmark is nog niet openbaar; de methode wel, en die past in vijf stappen. Met je eigen providersleutels kun je hem herhalen en cijfer voor cijfer vergelijken met onze rapporten.

1. De dataset. Download elke openbare dataset op de commit uit de tabel hierboven en controleer de sha256 van elk bestand voordat je het gebruikt. Klopt die niet, dan is het niet dezelfde dataset.
2. De laag. Installeer @bivelio/savings-layer vanaf npm in de versie die het rapport noemt en controleer de sha256 van dist/index.js: elk rapport vermeldt de zijne.
3. Twee armen per prompt. A gaat rechtstreeks naar de provider; B stuurt dezelfde prompt, naar hetzelfde model en met dezelfde uitvoerlimiet, via de laag met de standaardconfiguratie. Een deel van de prompts wordt herhaald of geparafraseerd, zoals in echt verkeer, en de volgorde A/B wordt geloot.
4. De kosten zegt de provider. Tel op wat elke arm gefactureerd krijgt volgens het usage dat de provider teruggeeft, tegen het gepubliceerde tarief. De besparing is 1 − kosten B / kosten A, met haar interval.
5. De kwaliteit, in dezelfde run. Beoordeel de antwoorden van beide armen op dezelfde manier (exact antwoord bij GSM8K, toolaanroep bij BFCL, weigering of niet bij XSTest, een beoordelaar bij MT-Bench) en vergelijk ze met het JSON-rapport van dezelfde batterij en versie.

De rapporten

Elke run laat een JSON-rapport achter met het ontwerp, de beperkingen en elke gemeten aanroep: usage, kosten per arm en classificatie van het antwoord. Ze worden vanaf deze website geserveerd.

De rapporten worden geserveerd zoals de benchmark ze schreef, met één uitzondering: gegevens over de omgeving van wie mat (schijfpaden, e-mailadressen) worden verwijderd. Van XSTest wordt geen enkele antwoordtekst gepubliceerd, alleen de classificatie.