El nostre banc A/B, obert. Mesura'ns.
Publiquem cada execució: quatre bateries amb conjunts de dades públics, 10 models, i els dos braços mesurats amb el comptador d'ús del mateix proveïdor. Cada xifra porta la seva n, el seu interval i la seva data. El que no estalvia també hi és.
- bateries
- 4
- models provats
- 10
- models amb alguna mesura
- 10
- informes en directe
- 15
- última execució
- 1 d’oct. 2026
Com llegir aquesta pàgina
- A/B amb SDK
- Dos braços sobre la mateixa petició, valorats amb l'ús que reporta el proveïdor. Així es mesuren les bateries del banc.
- Replay al gateway
- Reproducció contrafactual amb una línia base parcialment reconstruïda. No és un A/B en viu, ni estalvi facturat, ni una conciliació de factures.
- La mateixa petició
- Braç A: directa al proveïdor, sense la capa
- Braç B: a través de la capa, amb la configuració per defecte
- El comptador d'ús del proveïdor mesura tots dos braços
Compatible no vol dir mesurat: un model només compta aquí si té una tirada publicada, i el que no s'ha pogut mesurar es diu amb el seu motiu.
Filtre de lectura
Es mostren 12 de 12 seccions.
Preprintv2.3-r1
Verifiable Measurement of Cost Savings in Large Language Model Applications Open-Core Edition
Edició corregida després d'una revisió externa prèvia a la publicació: el mètode, l'estimador, la incertesa i els límits de cada xifra.
Què es mesura i com
- Dos braços, la mateixa petició. A va directament al proveïdor, sense la capa; B passa per la capa amb la seva configuració per defecte. Mateix prompt, mateix mostreig i mateix límit de sortida.
- Ús reportat pel proveïdor i preus de llista versionats. Cada braç es valora amb l<code>usage</code> que retorna lAPI i un catàleg de preus de llista datat. L'estalvi és 1 − cost(B) / cost(A) de la mateixa execució. Els imports s'etiqueten measured, reference-valued o estimated segons l'evidència; això no és una conciliació de factures.
- Intervals al 95 %. Els calcula cada arnès (remostreig per famílies de preguntes, Wilson en les taxes de negativa). Un interval que travessa el zero és un «indistingible de zero», i així ho diem.
- El paquet que instal·les. Les tirades A/B de les taules de sota es van fer amb la 0.4.31: el braç B executa el codi font d'aquesta etiqueta, i el seu
dist/index.jsés idèntic byte a byte al del tarball de npm (sha256b52f99cacf9804ecd3153e56f26ec3adcdc2510d52a8446a369ecf914e0b5731). El banc setmanal en viu és una altra cosa: a cada tirada mesura el codi font de main tal com és aquell dia, abans de publicar-se. - Sense dreceres. Cada arnès vigila els hosts amb què parla i porta un límit de despesa per model escrit al codi. Un model que no s'ha pogut mesurar surt com a «no mesurat», amb el motiu.
Llegeix l'article de recerca v2.3-r1, de 15 pàgines (PDF): mètode, tipus d'evidència i limitacions de cada xifra, corregit després d'una revisió externa prèvia a la publicació.
Quatre bateries, conjunts de dades públics, fixats
| Bateria | Què comprova | Conjunt de dades | Fitxers fixats | Llicència |
|---|---|---|---|---|
| GSM8K | Problemes matemàtics amb repeticions i paràfrasis: quant estalvia la memòria cau i si es perd exactitud. | openai/grade-school-mathcommit 3101c7d5072418e28b9008a6636bde82a006892c | gsm8k-test sha256 3730d312f6e3440559ace48831e51066acaca737f6eabec99bccb9e4b3c39d14gsm8k-trainsha256 17f347dc51477c50d4efb83959dbb7c56297aba886e5544ee2aaed3024813465 | MIT |
| BFCL | Crides a eines: la capa no ha de canviar-ne cap, i el catàleg sencer ha d'arribar. | ShishirPatil/gorillacommit f7cf7359b7ac615a0b294831c5ba2bc95ee4a000 | fixat per commit | Apache-2.0 |
| XSTest | Negatives: la capa no ha de canviar quan el model es nega, ni servir una negativa de la memòria cau. | paul-rottger/exaggerated-safetycommit d7bb5bd738c1fcbc36edd83d5e7d1b71a3e2d84d | xstest_prompts.csv sha256 11783fb294ed017473ee53c207d71f2161c7672c8d0b037501e78387f801cb5a | CC-BY-4.0 |
| MT-Bench | Xat de dos torns sense repeticions: la capa no ha d'empitjorar el cost, la latència ni la qualitat. | lm-sys/FastChatcommit 587d5cfa1609a43d192cedb8441cac3c17db105d | question.jsonl sha256 119565adbab82227089cefdb44c8d7e2cf04dc0a0ec233634c82e7d4e2a944f7gpt-4.jsonlsha256 f957a5bc977badb66885ec970e6cd08527845780313f0995764260e5777b9b3fjudge_prompts.jsonlsha256 fd283293406d024f44c174b094ef48031d0687a4682fd3a56b29b138f80281b6 | Apache-2.0 |
Traducció, sense argot
La prova és un experiment just: la mateixa tasca dues vegades — sense Savings i amb Savings — amb el mateix comptador del proveïdor mesurant totes dues.
En un flux on el 30 % de les peticions es repeteixen exactes, la factura va baixar un 31,5 %: entre 25,7 % i 36,7 % amb un 95 % de confiança. El que estalviïs depèn de quant es repeteixi el teu trànsit.
Un percentatge no vol dir res sense el seu interval, el seu model i el seu trànsit: publiquem tots tres.
Banc setmanal en viu
A/B amb SDK
Cada setmana, i cada vegada que el llancem a mà, una tirada passa totes les bateries per tots els models: el braç A va directe al proveïdor i el B passa per la capa construïda des del codi font de main en aquell moment. No és una versió publicada: és el que està a punt de publicar-se. La tirada falla si es trenca qualsevol regla, i una cel·la que no s'ha pogut mesurar diu per què.
Tirada del 1 d’oct. 2026 · codi font de main al commit 5bec174 (versió del paquet 0.4.35) · despesa 21,96 USD d'un límit de 50,00 USD · 36 de 40 cel·les mesurades. banco-semanal-5bec174.json
Veredicte: sense regressions.
| Bateria | Model | Estat | n | Despesa / límit | Errors de la capa | Què compta | B − A | Informe davant cost de llista |
|---|---|---|---|---|---|---|---|---|
| GSM8K | openai/gpt-4o-mini | mesurada | 200 | 0,12 USD / 0,75 USD | 0 | resposta d'una altra pregunta: 0 | exactitud -1,7 pp [-4,8, +1,1] | 0,00 % |
| GSM8K | openai/gpt-5.4-mini | mesurada | 106 | 0,42 USD / 0,75 USD | 0 | resposta d'una altra pregunta: 0 | exactitud +1,0 pp [0,0, +3,3] | 0,00 % |
| GSM8K | openai/gpt-5.5 | mesurada | 24 | 0,86 USD / 1,25 USD | 0 | resposta d'una altra pregunta: 0 | exactitud 0,0 pp [0,0, 0,0] | 0,00 % |
| GSM8K | openai/gpt-5.6-sol | mesurada | 34 | 0,31 USD / 1,25 USD | 0 | resposta d'una altra pregunta: 0 | exactitud 0,0 pp [0,0, 0,0] | 0,00 % |
| GSM8K | anthropic/claude-haiku-4-5 | mesurada | 70 | 0,42 USD / 0,75 USD | 0 | resposta d'una altra pregunta: 0 | exactitud -1,6 pp [-4,3, 0,0] | 0,00 % |
| GSM8K | anthropic/claude-sonnet-5 | mesurada | 52 | 0,48 USD / 1,10 USD | 0 | resposta d'una altra pregunta: 0 | exactitud 0,0 pp [0,0, 0,0] | 0,00 % |
| GSM8K | anthropic/claude-sonnet-5-5 | mesurada | 56 | 0,47 USD / 1,10 USD | 0 | resposta d'una altra pregunta: 0 | exactitud 0,0 pp [0,0, 0,0] | 0,00 % |
| GSM8K | anthropic/claude-opus-5-5 | mesurada | 30 | 0,55 USD / 1,25 USD | 0 | resposta d'una altra pregunta: 0 | exactitud 0,0 pp [0,0, 0,0] | 0,00 % |
| GSM8K | google/gemini-3.8-flash | mesurada | 68 | 0,40 USD / 0,75 USD | 0 | resposta d'una altra pregunta: 0 | exactitud 0,0 pp [0,0, 0,0] | 0,00 % |
| GSM8K | google/gemini-3.1-pro-preview | no mesurable: es va esgotar la quota o el límit de taxa del proveïdor, no la capa | — | |||||
| BFCL | openai/gpt-4o-mini | mesurada | 100 | 0,03 USD / 0,75 USD | 0 | crides a eines canviades: 0 | exactitud +2,0 pp [0,0, +5,0] | 0,00 % |
| BFCL | openai/gpt-5.4-mini | mesurada | 100 | 0,15 USD / 0,75 USD | 0 | crides a eines canviades: 0 | exactitud -1,0 pp [-5,0, +2,0] | 0,00 % |
| BFCL | openai/gpt-5.5 | mesurada | 32 | 0,28 USD / 1,25 USD | 0 | crides a eines canviades: 0 | exactitud +6,3 pp [0,0, +15,6] | 0,00 % |
| BFCL | openai/gpt-5.6-sol | mesurada | 32 | 0,18 USD / 1,25 USD | 0 | crides a eines canviades: 0 | exactitud 0,0 pp [0,0, 0,0] | 0,00 % |
| BFCL | anthropic/claude-haiku-4-5 | mesurada | 100 | 0,59 USD / 0,75 USD | 0 | crides a eines canviades: 0 | exactitud 0,0 pp [0,0, 0,0] | 0,00 % |
| BFCL | anthropic/claude-sonnet-5 | mesurada | 48 | 0,72 USD / 1,10 USD | 0 | crides a eines canviades: 0 | exactitud 0,0 pp [-6,3, +6,3] | 0,00 % |
| BFCL | anthropic/claude-sonnet-5-5 | mesurada | 48 | 0,64 USD / 1,10 USD | 0 | crides a eines canviades: 0 | exactitud 0,0 pp [0,0, 0,0] | 0,00 % |
| BFCL | anthropic/claude-opus-5-5 | mesurada | 32 | 0,47 USD / 1,25 USD | 0 | crides a eines canviades: 0 | exactitud 0,0 pp [0,0, 0,0] | 0,00 % |
| BFCL | google/gemini-3.8-flash | mesurada | 100 | 0,45 USD / 0,75 USD | 0 | crides a eines canviades: 0 | exactitud +1,0 pp [0,0, +3,0] | 0,00 % |
| BFCL | google/gemini-3.1-pro-preview | no mesurable: es va esgotar la quota o el límit de taxa del proveïdor, no la capa | — | |||||
| XSTest | openai/gpt-4o-mini | mesurada | 450 | 0,06 USD / 0,75 USD | 0 | negatives en memòria cau: 0 · acreditades: 0 | segurs 0,0 pp (p = 1,00)insegurs 0,0 pp (p = 1,00) | 0,00 % |
| XSTest | openai/gpt-5.4-mini | mesurada (aturada al seu límit de despesa) | 412 | 0,75 USD / 0,75 USD | 0 | negatives en memòria cau: 0 · acreditades: 0 | segurs +0,9 pp (p = 0,77)insegurs 0,0 pp (p = 1,00) | 0,00 % |
| XSTest | openai/gpt-5.5 | mesurada | 99 | 1,01 USD / 1,25 USD | 0 | negatives en memòria cau: 0 · acreditades: 0 | segurs 0,0 pp (p = 1,00)insegurs 0,0 pp (p = 1,00) | 0,00 % |
| XSTest | openai/gpt-5.6-sol | mesurada | 99 | 0,62 USD / 1,25 USD | 0 | negatives en memòria cau: 0 · acreditades: 0 | segurs 0,0 pp (p = 1,00)insegurs 0,0 pp (p = 1,00) | 0,00 % |
| XSTest | anthropic/claude-haiku-4-5 | mesurada | 450 | 0,63 USD / 0,75 USD | 0 | negatives en memòria cau: 0 · acreditades: 0 | segurs 0,0 pp (p = 1,00)insegurs +0,5 pp (p = 1,00) | 0,00 % |
| XSTest | anthropic/claude-sonnet-5 | mesurada | 200 | 0,87 USD / 1,10 USD | 0 | negatives en memòria cau: 0 · acreditades: 0 | segurs 0,0 pp (p = 1,00)insegurs +2,2 pp (p = 0,50) | 0,00 % |
| XSTest | anthropic/claude-sonnet-5-5 | mesurada | 153 | 0,81 USD / 1,10 USD | 0 | negatives en memòria cau: 0 · acreditades: 0 | segurs +1,1 pp (p = 1,00)insegurs +3,0 pp (p = 0,50) | 0,00 % |
| XSTest | anthropic/claude-opus-5-5 | mesurada (aturada al seu límit de despesa) | 82 | 0,82 USD / 1,25 USD | 0 | negatives en memòria cau: 0 · acreditades: 0 | insegurs -3,7 pp (p = 0,45) | 0,00 % |
| XSTest | google/gemini-3.8-flash | mesurada | 448 | 0,52 USD / 0,75 USD | 0 | negatives en memòria cau: 0 · acreditades: 0 | segurs +0,4 pp (p = 1,00)insegurs +1,0 pp (p = 0,75) | 0,00 % |
| XSTest | google/gemini-3.1-pro-preview | no mesurable: es va esgotar la quota o el límit de taxa del proveïdor, no la capa | — | |||||
| MT-Bench | openai/gpt-4o-mini | mesurada | 40 | 0,41 USD / 1,15 USD | 0 | — | B preferida 48,1 % [38,5 % – 57,7 %] | 0,00 % |
| MT-Bench | openai/gpt-5.4-mini | mesurada | 40 | 0,68 USD / 1,15 USD | 0 | — | B preferida 51,7 % [40,0 % – 65,0 %] | 0,00 % |
| MT-Bench | openai/gpt-5.5 | mesurada (aturada al seu límit de despesa) | 7 | 0,65 USD / 1,65 USD | 0 | — | B preferida 46,4 % [28,6 % – 64,3 %] | 0,00 % |
| MT-Bench | openai/gpt-5.6-sol | mesurada (aturada al seu límit de despesa) | 11 | 0,97 USD / 1,65 USD | 0 | — | B preferida 52,3 % [45,5 % – 59,1 %] | 0,00 % |
| MT-Bench | anthropic/claude-haiku-4-5 | mesurada | 40 | 0,79 USD / 1,15 USD | 0 | — | B preferida 52,6 % [44,7 % – 60,5 %] | 0,00 % |
| MT-Bench | anthropic/claude-sonnet-5 | mesurada (aturada al seu límit de despesa) | 19 | 1,18 USD / 1,50 USD | 0 | — | B preferida 50,0 % [38,5 % – 59,6 %] | 0,00 % |
| MT-Bench | anthropic/claude-sonnet-5-5 | mesurada | 24 | 1,14 USD / 1,50 USD | 0 | — | B preferida 50,0 % [42,6 % – 58,8 %] | 0,00 % |
| MT-Bench | anthropic/claude-opus-5-5 | mesurada | 16 | 1,41 USD / 1,65 USD | 0 | — | B preferida 35,9 % [26,6 % – 43,8 %] | 0,00 % |
| MT-Bench | google/gemini-3.8-flash | mesurada (aturada al seu límit de despesa) | 32 | 1,06 USD / 1,15 USD | 0 | — | B preferida 39,6 % [27,1 % – 50,0 %] | 0,00 % |
| MT-Bench | google/gemini-3.1-pro-preview | no mesurable: es va esgotar la quota o el límit de taxa del proveïdor, no la capa | — | |||||
«Errors de la capa» són errors al braç B que l'A no va tenir. «B − A» és la diferència d'exactitud a GSM8K i BFCL, la de la taxa de negatives a XSTest (p de McNemar, prompts aparellats) i, a MT-Bench, quantes vegades el jutge prefereix B (la meitat és empat). «Informe davant cost de llista» compara el cost que informa la capa per a B amb el calculat independentment a partir de l'ús reportat pel proveïdor als mateixos preus de llista versionats; no és una conciliació de factures.
Tirades setmanals anteriors
- 30 de set. 2026 · commit ca621e2 · ha fallat (regles trencades: 4). banco-semanal-ca621e2.json
- 29 de set. 2026 · commit d650c59 · sense regressions. banco-semanal-d650c59.json
- 29 de set. 2026 · commit 1100960 · sense regressions. banco-semanal.json
- 29 de set. 2026 · commit 105fe13 · ha fallat (regles trencades: 7). banco-semanal-105fe13.json
Bancs parcials
Un banc parcial es llança a mà amb només alguns models o bateries; per exemple, l'altra jornada d'un model la quota diària del proveïdor del qual no dona per a les seves quatre bateries en un dia. Mesura el que diu, però no és la tirada setmanal: no compta per publicar.
- 2 d’oct. 2026 · commit b349d7a · google/gemini-3.1-pro-preview · GSM8K, XSTest · sense regressions. banco-semanal-b349d7a-gemini-31-pro-jornada-2.json
- 1 d’oct. 2026 · commit b349d7a · google/gemini-3.1-pro-preview · BFCL, MT-Bench · sense regressions. banco-semanal-b349d7a-gemini-31-pro-jornada-1.json
Estalvi mesurat per model
A/B amb SDK
GSM8K, amb un flux de peticions en què un 30 % són repeticions exactes i un 20 % paràfrasis. És la bateria amb trànsit repetit: el teu estalvi depèn de quant es repeteixi el teu. Sense repeticions, mira «El que no estalvia».
Els dos braços, model a model
GSM8K, la bateria feta per mesurar l'estalvi. Tria un model mesurat: A va directe al proveïdor i B passa per la capa.
Estalvi mesurat per model, amb el seu interval
A/B amb SDKEl punt és l'estimació; la barra, l'interval de confiança; la ratlla, el zero. Tots a la mateixa escala.
- 31,5 % [25,7 % – 36,7 %] A/B amb SDK
- 200 peticions · 100 úniques
- 95,0 % → 96,1 %
- 0.4.31 · 28 de set. 2026
Només hi surten els models amb una tirada mesurada. Veure la metodologia
| Model | n | Estalvi mesurat [IC] A/B amb SDK | De la memòria cau exacta | A les crides (prefix) | Exactitud A → B | Versió · data |
|---|---|---|---|---|---|---|
openai/gpt-4o-mini | 200 peticions · 100 úniques | 31,5 % [25,7 % – 36,7 %] | 0,0124 USD | 0,0006 USD | 95,0 % → 96,1 %Δ +1,1 pp [0,0, +2,8] | 0.4.31 · 28 de set. 2026 |
openai/gpt-5.4-mini | 176 peticions · 88 úniques | 31,7 % [25,6 % – 37,6 %] | 0,0734 USD | 0,0003 USD | 95,6 % → 93,7 %Δ -1,9 pp [-5,0, 0,0] | 0.4.31 · 28 de set. 2026 |
openai/gpt-5.5 | 22 peticions · 11 úniques | 33,4 % [6,8 % – 53,8 %] | 0,0790 USD | -0,0023 USD | 100,0 % → 100,0 %Δ 0,0 pp [0,0, 0,0] | 0.4.31 · 28 de set. 2026 |
openai/gpt-5.6-sol | 32 peticions · 16 úniques | 29,2 % [9,5 % – 46,8 %] | 0,0252 USD | -0,0003 USD | 100,0 % → 100,0 %Δ 0,0 pp [0,0, 0,0] | 0.4.31 · 28 de set. 2026 |
anthropic/claude-haiku-4-5 | 116 peticions · 58 úniques | 32,2 % [23,6 % – 40,2 %] | 0,0773 USD | 0,0002 USD | 99,0 % → 99,0 %Δ 0,0 pp [0,0, 0,0] | 0.4.31 · 28 de set. 2026 |
anthropic/claude-opus-5-5 | 32 peticions · 16 úniques | 77,2 % [67,1 % – 83,9 %] | 0,0974 USD | 0,1391 USD | 100,0 % → 100,0 %Δ 0,0 pp [0,0, 0,0] | 0.4.31 · 28 de set. 2026 |
anthropic/claude-sonnet-5 | 62 peticions · 31 úniques | 75,1 % [69,3 % – 79,6 %] | 0,1054 USD | 0,1313 USD | 100,0 % → 100,0 %Δ 0,0 pp [0,0, 0,0] | 0.4.31 · 28 de set. 2026 |
anthropic/claude-sonnet-5-5 | 62 peticions · 31 úniques | 77,5 % [72,0 % – 81,7 %] | 0,0924 USD | 0,1289 USD | 100,0 % → 100,0 %Δ 0,0 pp [0,0, 0,0] | 0.4.31 · 28 de set. 2026 |
google/gemini-3.1-pro-preview | la capa ha fallat: les peticions no han passat per la capa | 0.4.31 · 28 de set. 2026 | ||||
google/gemini-3.8-flash | la capa ha fallat: les peticions no han passat per la capa | 0.4.31 · 28 de set. 2026 | ||||
Origen de l'estalvi, posició a posició: «de la memòria cau exacta» és el que A va pagar en les peticions que la capa va servir sense trucar al proveïdor; «a les crides» és la diferència en les que sí que hi van arribar, sobretot memòria cau de prefix del proveïdor (més una mica de variació de la sortida). Les dues sumen l'estalvi total.
L'exactitud es mesura sobre les preguntes amb resposta publicada; les variants amb una xifra canviada només serveixen per comprovar que la capa no lliura la resposta d'una altra pregunta.
La rebaixa de memòria cau del gateway: una simulació, no un A/B
Replay al gateway
Aquesta és una reproducció contrafactual amb una línia base parcialment reconstruïda, no una de les bateries A/B en viu d'aquesta pàgina. Vam prendre l'ús reportat pel proveïdor en sessions reals de Claude Code d'una sola organització, la nostra, amb un sol proveïdor (Anthropic), i vam estimar els costos a preus de llista versionats amb el canvi de TTL de memòria cau de PRO i sense. No és una doble execució en viu ni una conciliació de factures.
El veredicte de l'informe del 3 d’oct. 2026: la rebaixa deixa un net de +2,49 % de la factura (113,45 USD sobre 4.563,61 USD), després de restar els errors de memòria cau que ella mateixa provoca.
- Sessions
- 51
- Peticions
- 19.779
- Dies
- 13
| Interval del 95 % | Net, sobre la factura Replay al gateway |
|---|---|
| Remostrejant per sessió (grups: 51) | +1,50 % – +3,57 % |
| Remostrejant per dia (grups: 13) | +1,73 % – +4,82 % |
Bootstrap amb 10.000 remostrejos. Els dos intervals exclouen el zero: amb aquest trànsit, la rebaixa guanya diners. La targeta de la portada cita l'interval per sessió.
El resultat, amb el que resta
| Rebaixes | 2.583 |
| Prima estalviada, en brut | +3,10 % |
| Errors de memòria cau provocats | 124 |
| El que costen aquests errors | -0,62 % |
| Net | +2,49 % · 113,45 USD |
| Sostre: tota la prima de l'hora | 7,2 % |
Els percentatges són sobre la factura a preu de llista de les peticions simulades (4.563,61 USD). El sostre és el màxim que podria recuperar qualsevol política de TTL, encara que no fallés mai. Cada percentatge s'arrodoneix per separat.
Per model
| Model | Peticions | Rebaixes | Errors de memòria cau provocats | Net, sobre la factura del model |
|---|---|---|---|---|
claude-fable-5 | 1.921 | 23 | 1 | +4,64 % |
claude-fable-5-1 | 2.236 | 25 | 0 | +1,65 % |
claude-opus-5 | 8.344 | 70 | 2 | +1,61 % |
claude-opus-4-8 | 1.193 | 34 | 0 | +6,49 % |
claude-sonnet-5 | 6.080 | 2.427 | 121 | +1,34 % |
claude-haiku-4-5 | 5 | 4 | 0 | sense percentatge (peticions: 5) |
claude-sonnet-5 és el cas lleig: concentra el 94 % de les rebaixes i el 98 % dels errors, i el seu net és gairebé nul. En el primer període de la captura, de fet, va perdre: 9,4 % de la seva factura. El seu trànsit són fils curts que es refan sovint i tornen passats els cinc minuts. La regla guanya de debò on les arrencades són cares i rares.
Com es va fer: el model de memòria cau, declarat
- La regla és la mateixa que executa el gateway, no una còpia: passa les escriptures de memòria cau del TTL d'una hora al de cinc minuts quan el que és nou és almenys el 30 % del cos de la petició.
- La línia base és el que el proveïdor va comptar, amb el seu ús real, on la rebaixa encara no era activa; on ja ho era, es reconstrueix desfent-la (mira els límits). Amb la rebaixa, el torn rebaixat paga la prima d'escriptura de cinc minuts en lloc de la d'una hora.
- Un error provocat: si el torn següent del mateix fil arriba passats els cinc minuts i abans de l'hora, el que el torn rebaixat va escriure ja no es llegeix de la memòria cau, es torna a escriure, i aquest cost es resta.
- Hi ha una variant conservadora, que a més dona per perdut el prefix compartit entre fils diferents. Gairebé no mou la xifra: +2,48 %, amb alguns errors més (3).
- Només xifres agregades: de la captura no en surt cap prompt, resposta, capçalera ni identificador de sessió.
Límits
- Una organització, un client, un proveïdor. Claude Code contra Anthropic, amb el nostre propi trànsit. Cap altre agent de codi i cap altre proveïdor.
- Preu de llista, simulat. No és una factura: és l'ús real, tarifat amb el catàleg de preus. Descomptes, nivells de compte o una subscripció canviarien els diners.
- El model de memòria cau és un model. Suposa com indexa el proveïdor les seves entrades de memòria cau; no ho observa. La variant conservadora acota aquest risc.
- La major part de la línia base està reconstruïda. El 79 % de les peticions es va gravar amb la rebaixa ja activa; allà la línia base es reconstrueix desfent la rebaixa real, i és menys ferma que la del primer tram. Aquest primer tram, sol, dona un interval molt més ample: de +0,29 % a +9,12 %.
- El sostre canvia amb el client. Depèn de quantes escriptures d'una hora enviï l'agent de codi, i les versions recents de Claude Code n'envien menys: de les 19.779 peticions, 7.327 no en portaven cap per rebaixar.
- El buit entre torns es mesura des de l'arribada de cada petició, no des del final de la resposta: compta algun error de més, mai de menys.
- No és una previsió per al teu equip. És un estalvi petit, d'un sol trànsit, i un altre trànsit pot donar una altra xifra, també pitjor: mira el cas lleig.
En producció: des de la versió 0.5.1 (3 d’oct. 2026), el gateway resta els errors que observa, en el torn que els pateix, de manera que l'estalvi d'aquesta rebaixa que veus al teu tauler va en net. El que s'ha registrat abans no es recalcula, i el tauler assenyala com a «en brut» les màquines amb un gateway anterior.
Garanties, comptades
A/B amb SDK
La capa mai no ha canviat una crida a eines
0 crides alterades en 1.325 comparacions de BFCL, 6 models, des de 0.4.31. Si la capa falla (un error a B que A no tenia), no compta aquí: és a «Errors que el banc ha trobat».
Com es compta: cada comparació de cada tirada en viu des d'aquesta versió, així que un model mesurat dues vegades (un pilot i la tirada completa) suma les dues. Per això la xifra pot superar la n de les taules, que mostren una tirada per model.
Cap resposta d'una altra pregunta des de 0.4.31
0 de 198 variants (la mateixa pregunta amb un altre número, i per tant una altra resposta) servides amb la resposta d'una altra pregunta, en 8 models en directe i en totes les configuracions de memòria cau mesurades.
Rèplica fora de línia de tot el split de test de GSM8K: 0 en 5.813 peticions, en cadascuna de les 5 configuracions de memòria cau.
La mateixa taxa de negatives, amb i sense la capa
XSTest, 10 models mesurats: cap diferència A/B per sota de p = 0,05 (McNemar, prompts aparellats). La capa ha lliurat sense alterar el text de 4.668 respostes (0 alterades).
Com es compta: respostes, no prompts. Cada resposta del braç B es compara amb el text del proveïdor, repeticions del mateix prompt incloses, així que hi ha més respostes que prompts a la taula.
| Model | Prompts | Negatives, prompts segurs (A → B) | Negatives, prompts insegurs (A → B) | Versió · data |
|---|---|---|---|---|
openai/gpt-4o-mini | 450 | 5,2 % → 5,2 % (n = 250, p = 1,00) | 81,5 % → 81,5 % (n = 200, p = 1,00) | 0.4.31 · 28 de set. 2026 |
openai/gpt-5.4-mini | 441 | 11,0 % → 9,8 % (n = 245, p = 0,63) | 87,2 % → 86,7 % (n = 196, p = 1,00) | 0.4.31 · 28 de set. 2026 |
openai/gpt-5.5 | 120 | 6,3 % → 4,7 % (n = 64, p = 1,00) | 80,0 % → 80,0 % (n = 55, p = 1,00) | 0.4.31 · 29 de set. 2026 |
openai/gpt-5.6-sol | 199 | 2,7 % → 2,7 % (n = 111, p = 1,00) | 75,6 % → 76,7 % (n = 86, p = 1,00) | 0.4.31 · 29 de set. 2026 |
anthropic/claude-haiku-4-5 | 450 | 1,6 % → 2,0 % (n = 250, p = 1,00) | 42,5 % → 42,5 % (n = 200, p = 1,00) | 0.4.31 · 29 de set. 2026 |
anthropic/claude-opus-5-5 | 81 | — | 67,1 % → 67,1 % (n = 79, p = 1,00) | 0.4.31 · 29 de set. 2026 |
anthropic/claude-sonnet-5 | 264 | 2,7 % → 2,0 % (n = 147, p = 1,00) | 68,4 % → 71,8 % (n = 117, p = 0,34) | 0.4.31 · 29 de set. 2026 |
anthropic/claude-sonnet-5-5 | 311 | 1,5 % → 0,0 % (n = 135, p = 0,50) | 64,3 % → 65,3 % (n = 98, p = 1,00) | 0.4.31 · 29 de set. 2026 |
google/gemini-3.1-pro-preview | 58 | 0,0 % → 0,0 % (n = 32, p = 1,00) | 80,8 % → 84,6 % (n = 26, p = 1,00) | 0.4.31 · 29 de set. 2026 |
google/gemini-3.8-flash | 450 | 0,4 % → 0,4 % (n = 249, p = 1,00) | 67,8 % → 66,8 % (n = 199, p = 0,73) | 0.4.31 · 29 de set. 2026 |
El que no estalvia
A/B amb SDK
Sense repeticions, l'estalvi és ≈ 0 %. El publiquem igualment, perquè és el que veuràs si el teu trànsit no es repeteix.
MT-Bench és xat de dos torns amb una capa nova per pregunta: no hi ha res que la memòria cau pugui reutilitzar, i el prompt gairebé mai arriba al mínim que el proveïdor exigeix per fer memòria cau d'un prefix. A BFCL cada crida a eines és diferent. El que mesuren aquestes dues bateries és que la capa no empitjori res; la diferència de cost que queda és soroll de la sortida del model, no la capa.
| Bateria | Model | n | Estalvi mesurat [IC] A/B amb SDK | Lectura | Versió · data |
|---|---|---|---|---|---|
| BFCL | openai/gpt-4o-mini | 400 ítems | 0,1 % [0,0 % – 0,3 %] | indistingible de zero | 0.4.31 · 28 de set. 2026 |
| BFCL | openai/gpt-5.4-mini | 400 ítems | -0,2 % [-1,0 % – 0,5 %] | indistingible de zero | 0.4.31 · 28 de set. 2026 |
| BFCL | anthropic/claude-haiku-4-5 | 48 ítems | 0,1 % [0,0 % – 0,2 %] | indistingible de zero | 0.4.31 · 29 de set. 2026 |
| BFCL | anthropic/claude-sonnet-5 | 48 ítems | 1,5 % [-1,6 % – 5,8 %] | indistingible de zero | 0.4.31 · 29 de set. 2026 |
| BFCL | google/gemini-3.1-pro-preview | 97 ítems | 4,8 % [-6,6 % – 15,6 %] | indistingible de zero | 0.4.31 · 29 de set. 2026 |
| BFCL | google/gemini-3.8-flash | 324 ítems | -10,7 % [-27,8 % – 3,2 %] | indistingible de zero | 0.4.31 · 29 de set. 2026 |
| MT-Bench | openai/gpt-4o-mini | 80 preguntes | 3,3 % [0,8 % – 6,0 %] | estalvi · no atribuïble a la capa | 0.4.31 · 28 de set. 2026 |
| MT-Bench | openai/gpt-5.4-mini | 80 preguntes | -3,5 % [-8,6 % – 1,6 %] | indistingible de zero · no atribuïble a la capa | 0.4.31 · 28 de set. 2026 |
| MT-Bench | openai/gpt-5.5 | 8 preguntes | 2,1 % [-4,4 % – 9,7 %] | indistingible de zero | 0.4.31 · 29 de set. 2026 |
| MT-Bench | openai/gpt-5.6-sol | 13 preguntes | -0,4 % [-21,2 % – 13,5 %] | indistingible de zero · no atribuïble a la capa | 0.4.31 · 29 de set. 2026 |
| MT-Bench | anthropic/claude-haiku-4-5 | 80 preguntes | -2,6 % [-4,6 % – -0,9 %] | sobrecost · no atribuïble a la capa | 0.4.31 · 28 de set. 2026 |
| MT-Bench | anthropic/claude-opus-5-5 | 18 preguntes | 1,1 % [-2,0 % – 4,9 %] | indistingible de zero | 0.4.31 · 29 de set. 2026 |
| MT-Bench | anthropic/claude-sonnet-5 | 23 preguntes | 1,7 % [-8,9 % – 12,7 %] | indistingible de zero | 0.4.31 · 28 de set. 2026 |
| MT-Bench | anthropic/claude-sonnet-5-5 | 37 preguntes | -0,8 % [-2,5 % – 0,9 %] | indistingible de zero | 0.4.31 · 29 de set. 2026 |
Estat per model i bateria
Cada cel·la mostra l'execució de la versió més alta de la capa. Si un model no s'ha pogut mesurar, es diu per què, en lloc de deixar el buit.
| Model | GSM8K | BFCL | XSTest | MT-Bench |
|---|---|---|---|---|
openai/gpt-4o-mini | mesurat · n = 200 0.4.31 · 28 de set. 2026 | mesurat · n = 400 0.4.31 · 28 de set. 2026 | mesurat · n = 450 0.4.31 · 28 de set. 2026 | mesurat · n = 80 0.4.31 · 28 de set. 2026 |
openai/gpt-5.4-mini | mesurat · n = 176 0.4.31 · 28 de set. 2026 | mesurat · n = 400 0.4.31 · 28 de set. 2026 | mesurat · n = 441 0.4.31 · 28 de set. 2026 | mesurat · n = 80 0.4.31 · 28 de set. 2026 |
openai/gpt-5.5 | mesurat · n = 22 0.4.31 · 28 de set. 2026 | no mesurat: límit de despesa exhaurit 0.4.31 · 29 de set. 2026 | mesurat · n = 120 0.4.31 · 29 de set. 2026 | mesurat · n = 8 0.4.31 · 29 de set. 2026 |
openai/gpt-5.6-sol | mesurat · n = 32 0.4.31 · 28 de set. 2026 | no mesurat: el proveïdor ha rebutjat la petició en els dos braços 0.4.31 · 29 de set. 2026 | mesurat · n = 199 0.4.31 · 29 de set. 2026 | mesurat · n = 13 0.4.31 · 29 de set. 2026 |
anthropic/claude-haiku-4-5 | mesurat · n = 116 0.4.31 · 28 de set. 2026 | mesurat · n = 48 0.4.31 · 29 de set. 2026 | mesurat · n = 450 0.4.31 · 29 de set. 2026 | mesurat · n = 80 0.4.31 · 28 de set. 2026 |
anthropic/claude-opus-5-5 | mesurat · n = 32 0.4.31 · 28 de set. 2026 | no mesurat: límit de despesa exhaurit 0.4.31 · 29 de set. 2026 | mesurat · n = 81 0.4.31 · 29 de set. 2026 | mesurat · n = 18 0.4.31 · 29 de set. 2026 |
anthropic/claude-sonnet-5 | mesurat · n = 62 0.4.31 · 28 de set. 2026 | mesurat · n = 48 0.4.31 · 29 de set. 2026 | mesurat · n = 264 0.4.31 · 29 de set. 2026 | mesurat · n = 23 0.4.31 · 28 de set. 2026 |
anthropic/claude-sonnet-5-5 | mesurat · n = 62 0.4.31 · 28 de set. 2026 | no mesurat: límit de despesa exhaurit 0.4.31 · 29 de set. 2026 | mesurat · n = 311 0.4.31 · 29 de set. 2026 | mesurat · n = 37 0.4.31 · 29 de set. 2026 |
google/gemini-3.1-pro-preview | la capa ha fallat: les peticions no han passat per la capa 0.4.31 · 28 de set. 2026 | mesurat · n = 97 0.4.31 · 29 de set. 2026 | mesurat · n = 58 0.4.31 · 29 de set. 2026 | no mesurat: quota del proveïdor exhaurida 0.4.31 · 29 de set. 2026 |
google/gemini-3.8-flash | la capa ha fallat: les peticions no han passat per la capa 0.4.31 · 28 de set. 2026 | mesurat · n = 324 0.4.31 · 29 de set. 2026 | mesurat · n = 450 0.4.31 · 29 de set. 2026 | la capa ha fallat: les peticions no han passat per la capa 0.4.31 · 29 de set. 2026 |
Compatibilitat
Compatible no vol dir mesurat. L'SDK funciona amb qualsevol endpoint compatible amb l'API d'OpenAI, més l'adaptador natiu d'Anthropic i l'adaptador natiu de Gemini (nou a la 0.4.33). Amb xifra d'estalvi al banc públic, avui només models d'OpenAI i d'Anthropic; Gemini no té xifra d'estalvi. El que hi ha mesurat de Gemini: Gemini 3.8 Flash, per la seva API nativa, al banc setmanal en viu del 1 d’octubre del 2026 — les quatre bateries, sense cap error de la capa i sense cap negativa en memòria cau ni acreditada com a estalvi. Aquest banc comprova que la capa no trenca res ni cobra de més; no mesura un estalvi. També mesurat: Gemini 3.1 Pro, per la seva API nativa, en dos bancs parcials del 1–2 d’octubre del 2026 (la seva quota diària del proveïdor no dona per a les quatre bateries en un dia): les quatre bateries, també sense cap error de la capa i sense cap negativa a la memòria cau ni acreditada com a estalvi.
Errors que el banc ha trobat
El banc no hi és per quedar bé: hi és per trobar els errors abans que tu. Ha trobat aquests, amb la versió en què van aparèixer i la que els arregla.
La memòria cau semàntica sense calibrar servia la resposta d'una altra pregunta 0.4.30 → 0.4.31
Amb la memòria cau semàntica sense calibrar, una variant amb un altre número («three baskets» enfront de «two baskets») podia rebre la resposta de la pregunta original. Comptat sobre les variants de GSM8K.
- Trobat a la 0.4.30: 15 de 111. gsm8k.json
- Arreglat a la 0.4.31 (#383).
- Verificat en directe a la 0.4.31: 0 de 198.
La capa retallava el catàleg d'eines sense cap senyal per fer-ho 0.4.30 → 0.4.31
En converses de diversos torns, el braç B enviava menys eines que l'A tot i que res no indicava quines sobraven. Comptat sobre les converses multi-torn de BFCL.
- Trobat a la 0.4.30: 20 de 20. bfcl.json
- Arreglat a la 0.4.31 (#382).
- Verificat en directe a la 0.4.31: 0 de 83.
Algunes negatives escrites com a text es desaven a la memòria cau 0.4.31 → 0.4.32
Una negativa que el model escriu com a text (sense el senyal de l'API) podia desar-se a la memòria cau, repetir-se i acreditar-se com a estalvi. Comptat en prompts de XSTest.
- Trobat a la 0.4.31: 39 de 2.824. xstest-0431-claude.jsonxstest-0431-gama-alta.jsonxstest-0431.json
- Arreglat a la 0.4.32 (#393, #401).
- Tornat a mesurar en viu pel banc setmanal el 1 d’oct. 2026 (codi font de main amb l'arranjament, commit 5bec174): 0 negatives en memòria cau i 0 acreditades, sobre 2.393 prompts de XSTest en 9 models. banco-semanal-5bec174.json
Es desaven a la memòria cau i s'acreditaven negatives parcials 0.4.32 → 0.4.33
Una resposta que comença complint i es nega més endavant («If you mean harming someone, I can't help…»), o una disculpa seguida de «no tinc accés…», no es reconeixia com a negativa: la capa podia desar-la a la memòria cau, repetir-la i acreditar-la com a estalvi. Comptat als prompts de XSTest del banc setmanal, amb models d'OpenAI i Claude.
- El va trobar el banc setmanal en viu el 29 de set. 2026 (codi font de main, commit 105fe13): 12 negatives servides des de la memòria cau o escrites-hi i 14 acreditades, sobre 1.995 prompts de XSTest en 8 models. banco-semanal-105fe13.json
- Arreglat a la 0.4.33 (#422).
- Tornat a mesurar en viu pel banc setmanal el 1 d’oct. 2026 (codi font de main amb l'arranjament, commit 5bec174): 0 negatives en memòria cau i 0 acreditades, sobre 2.393 prompts de XSTest en 9 models. banco-semanal-5bec174.json
Un filtre de contingut de Gemini es desava a la memòria cau com a resposta 0.4.31 → 0.4.32
Gemini assenyala el seu filtre amb un motiu d'aturada propi que la capa no reconeixia com a negativa, així que podia desar-lo a la memòria cau i repetir-lo. Comptat en prompts de XSTest.
- Trobat a la 0.4.31: 6 de 508. xstest-0431-gama-alta.json
- Arreglat a la 0.4.32 (#402).
- Tornat a mesurar en viu pel banc setmanal el 1 d’oct. 2026 (codi font de main amb l'arranjament, commit 5bec174) amb google/gemini-3.8-flash: 0 negatives en memòria cau o acreditades, sobre 448 prompts de XSTest. Aquella tirada no va poder mesurar google/gemini-3.1-pro-preview (es va esgotar la quota o el límit de taxa del proveïdor, no la capa); allà continua sense verificar. banco-semanal-5bec174.json
Gemini no passava per la capa 0.4.31 → 0.4.32
La capa enviava un camp propi de l'API d'OpenAI a qualsevol endpoint compatible, i Gemini el rebutja: totes les peticions del braç B fallaven. Comptat en peticions de GSM8K.
- Trobat a la 0.4.31: 504 de 504. gsm8k-0431-gama-alta.json
- Arreglat a la 0.4.32 (#402).
- Tornat a mesurar en viu pel banc setmanal el 1 d’oct. 2026 (codi font de main amb l'arranjament, commit 5bec174) amb google/gemini-3.8-flash: 0 errors només amb la capa, sobre 68 ítems de GSM8K. Aquella tirada no va poder mesurar google/gemini-3.1-pro-preview (es va esgotar la quota o el límit de taxa del proveïdor, no la capa); allà continua sense verificar. banco-semanal-5bec174.json
Amb Gemini 3, el segon torn amb eines fallava 0.4.31 → 0.4.32
La capa no retornava la signatura de pensament que Gemini 3 exigeix a cada crida a eines, així que el torn següent es rebutjava. Comptat en continuacions multi-torn de BFCL.
- Trobat a la 0.4.31: 50 de 50. bfcl-0431-gama-alta.json
- Arreglat a la 0.4.32 (#402).
- Encara no s'ha tornat a mesurar en un informe publicat: el banc setmanal del 1 d’oct. 2026 (codi font de main amb l'arranjament, commit 5bec174) va mesurar google/gemini-3.8-flash en aquesta bateria, però el seu resum només compta les entrades d'un torn, no les continuacions multi-torn on fallava. Fins que un informe les compti, no el donem per verificat. Aquella tirada no va poder mesurar google/gemini-3.1-pro-preview (es va esgotar la quota o el límit de taxa del proveïdor, no la capa); allà continua sense verificar. banco-semanal-5bec174.json
Amb peticions en paral·lel, la correcció del nivell de pensament de Gemini arribava al client com a error 0.4.35 → 0.4.36
Gemini Flash rebutja el nivell de pensament MINIMAL; l'adaptador natiu ho reintenta un cop amb LOW i recorda el substitut. Amb dues peticions en vol per la mateixa capa, una comparava el rebuig amb el cos que l'altra ja havia corregit, no el reconeixia i passava l'error al client. Comptat en errors només amb la capa, als prompts de XSTest del banc setmanal amb Gemini.
- Trobat pel banc setmanal en viu el 30 de set. 2026 (codi font de main, commit ca621e2) amb google/gemini-3.8-flash: 1 errors només amb la capa, sobre 450 ítems de XSTest. banco-semanal-ca621e2.json
- Arreglat a la 0.4.36 (#442).
- Tornat a mesurar en viu pel banc setmanal el 1 d’oct. 2026 (codi font de main amb l'arranjament, commit 5bec174) amb google/gemini-3.8-flash: 0 errors només amb la capa, sobre 448 ítems de XSTest. Aquella tirada no va poder mesurar google/gemini-3.1-pro-preview (es va esgotar la quota o el límit de taxa del proveïdor, no la capa); allà continua sense verificar. banco-semanal-5bec174.json
Com reproduir-ho
El codi del banc és al repositori obert, i el mètode cap en cinc passos. Amb les teves pròpies claus de proveïdor el pots repetir i comparar xifra a xifra amb els nostres informes.
- El dataset. Descarrega cada dataset públic al commit de la taula de dalt i comprova el sha256 de cada fitxer abans de fer-lo servir. Si no quadra, no és el mateix dataset.
- La capa. Instal·la
@bivelio/savings-layerdes de npm a la versió que diu l'informe i comprova el sha256 dedist/index.js: cada informe porta el seu. - Dos braços per prompt. A va directe al proveïdor; B envia el mateix prompt, al mateix model i amb el mateix límit de sortida, a través de la capa amb la configuració per defecte. Una part dels prompts es repeteix o es parafraseja, com en el trànsit real, i l'ordre A/B se sorteja.
- L'ús i els preus de llista documenten la valoració. Suma el cost de cada braç a partir de l<code>usage</code> reportat pel proveïdor, al preu de llista versionat. Lestalvi és
1 − cost B / cost A, amb el seu interval; no és una conciliació de factures. - La qualitat, a la mateixa tirada. Puntua igual les respostes dels dos braços (resposta exacta a GSM8K, crida a eina a BFCL, negativa o no a XSTest, jutge a MT-Bench) i compara-les amb l'informe JSON de la mateixa bateria i versió.
Els informes
Cada tirada deixa un informe JSON amb el seu disseny, les seves limitacions i cada crida mesurada: usage, cost per braç i classificació de la resposta. Se serveixen des d'aquest web.
Els informes se serveixen tal com els va escriure el banc, amb una excepció: es treuen les dades de l'entorn de qui va mesurar (rutes de disc, correus). De XSTest no es publica el text de cap resposta, només la seva classificació.
Mesura'ns tu mateix
Una mesura independent val més que la nostra. El codi del banc és al repositori obert: si vols repetir la mesura, o mesurar la capa amb el teu propi arnès o amb el teu trànsit, escriu-nos i et donarem el que necessitis per fer-ho.
Escriu-nos a support@bivelio.com