Nuestro banco A/B, abierto. Mídenos.
Publicamos cada tirada: cuatro baterías con datasets públicos, 10 modelos, y los dos brazos medidos con el contador de uso del propio proveedor. Cada cifra lleva su n, su intervalo y su fecha. Lo que no ahorra también está aquí.
- baterías
- 4
- modelos probados
- 10
- modelos con alguna medición
- 10
- informes en vivo
- 15
- última tirada
- 1 oct 2026
Cómo leer esta página
- A/B con SDK
- Dos brazos sobre la misma petición, valorados con el uso que reporta el proveedor. Así se miden las baterías del banco.
- Replay en gateway
- Reproducción contrafactual con una línea base parcialmente reconstruida. No es un A/B en vivo, ni ahorro facturado, ni una conciliación de facturas.
- La misma petición
- Brazo A: directa al proveedor, sin la capa
- Brazo B: a través de la capa, con su configuración por defecto
- El contador de uso del proveedor mide los dos brazos
Compatible no significa medido: un modelo solo cuenta aquí si tiene una tirada publicada, y lo que no se pudo medir se dice con su motivo.
Filtro de lectura
Mostrando 12 de 12 secciones.
Preprintv2.3-r1
Verifiable Measurement of Cost Savings in Large Language Model Applications Open-Core Edition
Edición corregida tras una revisión externa previa a la publicación: el método, el estimador, la incertidumbre y los límites de cada cifra.
Qué se mide y cómo
- Dos brazos, la misma petición. A va directa al proveedor, sin la capa; B pasa por la capa con su configuración por defecto. Mismo prompt, mismo muestreo y mismo tope de salida.
- Uso reportado por el proveedor y precios de lista versionados. Cada brazo se valora con el
usageque devuelve el API y un catálogo de precios de lista fechado. El ahorro es 1 − coste(B) / coste(A) de la misma tirada. Los importes se etiquetan measured, reference-valued o estimated según su evidencia; esto no es una conciliación de facturas. - Intervalos al 95 %. Los calcula cada arnés (remuestreo por familias de preguntas, Wilson en las tasas de negativa). Un intervalo que cruza el cero es un «no se distingue de cero», y así lo decimos.
- El paquete que instalas. Las tiradas A/B de las tablas de abajo se hicieron con la 0.4.31: el brazo B corre el fuente de esa etiqueta, y su
dist/index.jses idéntico byte a byte al del tarball de npm (sha256b52f99cacf9804ecd3153e56f26ec3adcdc2510d52a8446a369ecf914e0b5731). El banco semanal en vivo es otra cosa: en cada tirada mide el fuente de main tal como está ese día, antes de publicarse. - Sin atajos. Cada arnés vigila los hosts a los que habla y lleva un tope de gasto por modelo escrito en código. Un modelo que no se pudo medir sale como «no medido», con su motivo.
Lee el artículo de investigación v2.3-r1, de 15 páginas (PDF): método, tipos de evidencia y limitaciones de cada cifra, corregido tras una revisión externa previa a la publicación.
Cuatro baterías, datasets públicos fijados
| Batería | Qué comprueba | Dataset | Ficheros fijados | Licencia |
|---|---|---|---|---|
| GSM8K | Problemas de matemáticas con repeticiones y paráfrasis: cuánto ahorra la caché y si se pierde exactitud. | openai/grade-school-mathcommit 3101c7d5072418e28b9008a6636bde82a006892c | gsm8k-test sha256 3730d312f6e3440559ace48831e51066acaca737f6eabec99bccb9e4b3c39d14gsm8k-trainsha256 17f347dc51477c50d4efb83959dbb7c56297aba886e5544ee2aaed3024813465 | MIT |
| BFCL | Llamadas a herramientas: que la capa no cambie ninguna y que el catálogo llegue entero. | ShishirPatil/gorillacommit f7cf7359b7ac615a0b294831c5ba2bc95ee4a000 | fijado por commit | Apache-2.0 |
| XSTest | Negativas: que la capa no cambie cuándo el modelo se niega ni sirva una negativa de caché. | paul-rottger/exaggerated-safetycommit d7bb5bd738c1fcbc36edd83d5e7d1b71a3e2d84d | xstest_prompts.csv sha256 11783fb294ed017473ee53c207d71f2161c7672c8d0b037501e78387f801cb5a | CC-BY-4.0 |
| MT-Bench | Chat de dos turnos sin repeticiones: que la capa no empeore coste, latencia ni calidad. | lm-sys/FastChatcommit 587d5cfa1609a43d192cedb8441cac3c17db105d | question.jsonl sha256 119565adbab82227089cefdb44c8d7e2cf04dc0a0ec233634c82e7d4e2a944f7gpt-4.jsonlsha256 f957a5bc977badb66885ec970e6cd08527845780313f0995764260e5777b9b3fjudge_prompts.jsonlsha256 fd283293406d024f44c174b094ef48031d0687a4682fd3a56b29b138f80281b6 | Apache-2.0 |
Traducción, sin jerga
La prueba es un experimento justo: la misma tarea dos veces — sin Savings y con Savings — y el mismo contador del proveedor midiendo las dos.
En un flujo donde el 30 % de las peticiones se repiten exactas, la factura bajó un 31,5 %: entre 25,7 % y 36,7 % con un 95 % de confianza. Lo que ahorres depende de cuánto repita tu tráfico.
Un porcentaje no significa nada sin su intervalo, su modelo y su tráfico: publicamos los tres.
Banco semanal en vivo
A/B con SDK
Cada semana, y cada vez que lo lanzamos a mano, una tirada pasa todas las baterías por todos los modelos: el brazo A va directo al proveedor y el B pasa por la capa construida desde el fuente de main en ese momento. No es una versión publicada: es lo que está a punto de publicarse. La tirada falla si se rompe cualquier regla, y una celda que no se pudo medir dice por qué.
Tirada del 1 oct 2026 · fuente de main en el commit 5bec174 (versión del paquete 0.4.35) · gasto 21,96 US$ de un tope de 50,00 US$ · 36 de 40 celdas medidas. banco-semanal-5bec174.json
Veredicto: sin regresiones.
| Batería | Modelo | Estado | n | Gasto / tope | Fallos de la capa | Qué cuenta | B − A | Informe frente a coste de lista |
|---|---|---|---|---|---|---|---|---|
| GSM8K | openai/gpt-4o-mini | medida | 200 | 0,12 US$ / 0,75 US$ | 0 | respuesta de otra pregunta: 0 | exactitud -1,7 pp [-4,8, +1,1] | 0,00 % |
| GSM8K | openai/gpt-5.4-mini | medida | 106 | 0,42 US$ / 0,75 US$ | 0 | respuesta de otra pregunta: 0 | exactitud +1,0 pp [0,0, +3,3] | 0,00 % |
| GSM8K | openai/gpt-5.5 | medida | 24 | 0,86 US$ / 1,25 US$ | 0 | respuesta de otra pregunta: 0 | exactitud 0,0 pp [0,0, 0,0] | 0,00 % |
| GSM8K | openai/gpt-5.6-sol | medida | 34 | 0,31 US$ / 1,25 US$ | 0 | respuesta de otra pregunta: 0 | exactitud 0,0 pp [0,0, 0,0] | 0,00 % |
| GSM8K | anthropic/claude-haiku-4-5 | medida | 70 | 0,42 US$ / 0,75 US$ | 0 | respuesta de otra pregunta: 0 | exactitud -1,6 pp [-4,3, 0,0] | 0,00 % |
| GSM8K | anthropic/claude-sonnet-5 | medida | 52 | 0,48 US$ / 1,10 US$ | 0 | respuesta de otra pregunta: 0 | exactitud 0,0 pp [0,0, 0,0] | 0,00 % |
| GSM8K | anthropic/claude-sonnet-5-5 | medida | 56 | 0,47 US$ / 1,10 US$ | 0 | respuesta de otra pregunta: 0 | exactitud 0,0 pp [0,0, 0,0] | 0,00 % |
| GSM8K | anthropic/claude-opus-5-5 | medida | 30 | 0,55 US$ / 1,25 US$ | 0 | respuesta de otra pregunta: 0 | exactitud 0,0 pp [0,0, 0,0] | 0,00 % |
| GSM8K | google/gemini-3.8-flash | medida | 68 | 0,40 US$ / 0,75 US$ | 0 | respuesta de otra pregunta: 0 | exactitud 0,0 pp [0,0, 0,0] | 0,00 % |
| GSM8K | google/gemini-3.1-pro-preview | no medible: se agotó la cuota o el límite de tasa del proveedor, no la capa | — | |||||
| BFCL | openai/gpt-4o-mini | medida | 100 | 0,03 US$ / 0,75 US$ | 0 | llamadas a herramientas cambiadas: 0 | exactitud +2,0 pp [0,0, +5,0] | 0,00 % |
| BFCL | openai/gpt-5.4-mini | medida | 100 | 0,15 US$ / 0,75 US$ | 0 | llamadas a herramientas cambiadas: 0 | exactitud -1,0 pp [-5,0, +2,0] | 0,00 % |
| BFCL | openai/gpt-5.5 | medida | 32 | 0,28 US$ / 1,25 US$ | 0 | llamadas a herramientas cambiadas: 0 | exactitud +6,3 pp [0,0, +15,6] | 0,00 % |
| BFCL | openai/gpt-5.6-sol | medida | 32 | 0,18 US$ / 1,25 US$ | 0 | llamadas a herramientas cambiadas: 0 | exactitud 0,0 pp [0,0, 0,0] | 0,00 % |
| BFCL | anthropic/claude-haiku-4-5 | medida | 100 | 0,59 US$ / 0,75 US$ | 0 | llamadas a herramientas cambiadas: 0 | exactitud 0,0 pp [0,0, 0,0] | 0,00 % |
| BFCL | anthropic/claude-sonnet-5 | medida | 48 | 0,72 US$ / 1,10 US$ | 0 | llamadas a herramientas cambiadas: 0 | exactitud 0,0 pp [-6,3, +6,3] | 0,00 % |
| BFCL | anthropic/claude-sonnet-5-5 | medida | 48 | 0,64 US$ / 1,10 US$ | 0 | llamadas a herramientas cambiadas: 0 | exactitud 0,0 pp [0,0, 0,0] | 0,00 % |
| BFCL | anthropic/claude-opus-5-5 | medida | 32 | 0,47 US$ / 1,25 US$ | 0 | llamadas a herramientas cambiadas: 0 | exactitud 0,0 pp [0,0, 0,0] | 0,00 % |
| BFCL | google/gemini-3.8-flash | medida | 100 | 0,45 US$ / 0,75 US$ | 0 | llamadas a herramientas cambiadas: 0 | exactitud +1,0 pp [0,0, +3,0] | 0,00 % |
| BFCL | google/gemini-3.1-pro-preview | no medible: se agotó la cuota o el límite de tasa del proveedor, no la capa | — | |||||
| XSTest | openai/gpt-4o-mini | medida | 450 | 0,06 US$ / 0,75 US$ | 0 | negativas cacheadas: 0 · acreditadas: 0 | seguros 0,0 pp (p = 1,00)inseguros 0,0 pp (p = 1,00) | 0,00 % |
| XSTest | openai/gpt-5.4-mini | medida (parada en su tope de gasto) | 412 | 0,75 US$ / 0,75 US$ | 0 | negativas cacheadas: 0 · acreditadas: 0 | seguros +0,9 pp (p = 0,77)inseguros 0,0 pp (p = 1,00) | 0,00 % |
| XSTest | openai/gpt-5.5 | medida | 99 | 1,01 US$ / 1,25 US$ | 0 | negativas cacheadas: 0 · acreditadas: 0 | seguros 0,0 pp (p = 1,00)inseguros 0,0 pp (p = 1,00) | 0,00 % |
| XSTest | openai/gpt-5.6-sol | medida | 99 | 0,62 US$ / 1,25 US$ | 0 | negativas cacheadas: 0 · acreditadas: 0 | seguros 0,0 pp (p = 1,00)inseguros 0,0 pp (p = 1,00) | 0,00 % |
| XSTest | anthropic/claude-haiku-4-5 | medida | 450 | 0,63 US$ / 0,75 US$ | 0 | negativas cacheadas: 0 · acreditadas: 0 | seguros 0,0 pp (p = 1,00)inseguros +0,5 pp (p = 1,00) | 0,00 % |
| XSTest | anthropic/claude-sonnet-5 | medida | 200 | 0,87 US$ / 1,10 US$ | 0 | negativas cacheadas: 0 · acreditadas: 0 | seguros 0,0 pp (p = 1,00)inseguros +2,2 pp (p = 0,50) | 0,00 % |
| XSTest | anthropic/claude-sonnet-5-5 | medida | 153 | 0,81 US$ / 1,10 US$ | 0 | negativas cacheadas: 0 · acreditadas: 0 | seguros +1,1 pp (p = 1,00)inseguros +3,0 pp (p = 0,50) | 0,00 % |
| XSTest | anthropic/claude-opus-5-5 | medida (parada en su tope de gasto) | 82 | 0,82 US$ / 1,25 US$ | 0 | negativas cacheadas: 0 · acreditadas: 0 | inseguros -3,7 pp (p = 0,45) | 0,00 % |
| XSTest | google/gemini-3.8-flash | medida | 448 | 0,52 US$ / 0,75 US$ | 0 | negativas cacheadas: 0 · acreditadas: 0 | seguros +0,4 pp (p = 1,00)inseguros +1,0 pp (p = 0,75) | 0,00 % |
| XSTest | google/gemini-3.1-pro-preview | no medible: se agotó la cuota o el límite de tasa del proveedor, no la capa | — | |||||
| MT-Bench | openai/gpt-4o-mini | medida | 40 | 0,41 US$ / 1,15 US$ | 0 | — | B preferida 48,1 % [38,5 % – 57,7 %] | 0,00 % |
| MT-Bench | openai/gpt-5.4-mini | medida | 40 | 0,68 US$ / 1,15 US$ | 0 | — | B preferida 51,7 % [40,0 % – 65,0 %] | 0,00 % |
| MT-Bench | openai/gpt-5.5 | medida (parada en su tope de gasto) | 7 | 0,65 US$ / 1,65 US$ | 0 | — | B preferida 46,4 % [28,6 % – 64,3 %] | 0,00 % |
| MT-Bench | openai/gpt-5.6-sol | medida (parada en su tope de gasto) | 11 | 0,97 US$ / 1,65 US$ | 0 | — | B preferida 52,3 % [45,5 % – 59,1 %] | 0,00 % |
| MT-Bench | anthropic/claude-haiku-4-5 | medida | 40 | 0,79 US$ / 1,15 US$ | 0 | — | B preferida 52,6 % [44,7 % – 60,5 %] | 0,00 % |
| MT-Bench | anthropic/claude-sonnet-5 | medida (parada en su tope de gasto) | 19 | 1,18 US$ / 1,50 US$ | 0 | — | B preferida 50,0 % [38,5 % – 59,6 %] | 0,00 % |
| MT-Bench | anthropic/claude-sonnet-5-5 | medida | 24 | 1,14 US$ / 1,50 US$ | 0 | — | B preferida 50,0 % [42,6 % – 58,8 %] | 0,00 % |
| MT-Bench | anthropic/claude-opus-5-5 | medida | 16 | 1,41 US$ / 1,65 US$ | 0 | — | B preferida 35,9 % [26,6 % – 43,8 %] | 0,00 % |
| MT-Bench | google/gemini-3.8-flash | medida (parada en su tope de gasto) | 32 | 1,06 US$ / 1,15 US$ | 0 | — | B preferida 39,6 % [27,1 % – 50,0 %] | 0,00 % |
| MT-Bench | google/gemini-3.1-pro-preview | no medible: se agotó la cuota o el límite de tasa del proveedor, no la capa | — | |||||
«Fallos de la capa» son errores en el brazo B que el A no tuvo. «B − A» es la diferencia de exactitud en GSM8K y BFCL, la de la tasa de negativas en XSTest (p de McNemar, prompts emparejados) y, en MT-Bench, cuántas veces el juez prefiere B (la mitad es empate). «Informe frente a coste de lista» compara el coste que informa la capa para B con el calculado independientemente a partir del uso reportado por el proveedor a los mismos precios de lista versionados; no es una conciliación de facturas.
Tiradas semanales anteriores
- 30 sept 2026 · commit ca621e2 · falló (reglas rotas: 4). banco-semanal-ca621e2.json
- 29 sept 2026 · commit d650c59 · sin regresiones. banco-semanal-d650c59.json
- 29 sept 2026 · commit 1100960 · sin regresiones. banco-semanal.json
- 29 sept 2026 · commit 105fe13 · falló (reglas rotas: 7). banco-semanal-105fe13.json
Bancos parciales
Un banco parcial se lanza a mano con solo algunos modelos o baterías; por ejemplo, la otra jornada de un modelo cuya cuota diaria del proveedor no da para sus cuatro baterías en un día. Mide lo que dice, pero no es la tirada semanal: no cuenta para publicar.
- 2 oct 2026 · commit b349d7a · google/gemini-3.1-pro-preview · GSM8K, XSTest · sin regresiones. banco-semanal-b349d7a-gemini-31-pro-jornada-2.json
- 1 oct 2026 · commit b349d7a · google/gemini-3.1-pro-preview · BFCL, MT-Bench · sin regresiones. banco-semanal-b349d7a-gemini-31-pro-jornada-1.json
Ahorro medido por modelo
A/B con SDK
GSM8K, con un flujo de peticiones en el que un 30 % son repeticiones exactas y un 20 % paráfrasis. Es la batería con tráfico repetido: tu ahorro depende de cuánto se repita el tuyo. Sin repeticiones, mira «Lo que no ahorra».
Los dos brazos, modelo a modelo
GSM8K, la batería hecha para medir el ahorro. Elige un modelo medido: A va directo al proveedor y B pasa por la capa.
Ahorro medido por modelo, con su intervalo
A/B con SDKEl punto es la estimación; la barra, el intervalo de confianza; la raya, el cero. Todos a la misma escala.
- 31,5 % [25,7 % – 36,7 %] A/B con SDK
- 200 peticiones · 100 únicas
- 95,0 % → 96,1 %
- 0.4.31 · 28 sept 2026
Solo aparecen los modelos con una tirada medida. Ver metodología
| Modelo | n | Ahorro medido [IC] A/B con SDK | De la caché exacta | En las llamadas (prefijo) | Exactitud A → B | Versión · fecha |
|---|---|---|---|---|---|---|
openai/gpt-4o-mini | 200 peticiones · 100 únicas | 31,5 % [25,7 % – 36,7 %] | 0,0124 US$ | 0,0006 US$ | 95,0 % → 96,1 %Δ +1,1 pp [0,0, +2,8] | 0.4.31 · 28 sept 2026 |
openai/gpt-5.4-mini | 176 peticiones · 88 únicas | 31,7 % [25,6 % – 37,6 %] | 0,0734 US$ | 0,0003 US$ | 95,6 % → 93,7 %Δ -1,9 pp [-5,0, 0,0] | 0.4.31 · 28 sept 2026 |
openai/gpt-5.5 | 22 peticiones · 11 únicas | 33,4 % [6,8 % – 53,8 %] | 0,0790 US$ | -0,0023 US$ | 100,0 % → 100,0 %Δ 0,0 pp [0,0, 0,0] | 0.4.31 · 28 sept 2026 |
openai/gpt-5.6-sol | 32 peticiones · 16 únicas | 29,2 % [9,5 % – 46,8 %] | 0,0252 US$ | -0,0003 US$ | 100,0 % → 100,0 %Δ 0,0 pp [0,0, 0,0] | 0.4.31 · 28 sept 2026 |
anthropic/claude-haiku-4-5 | 116 peticiones · 58 únicas | 32,2 % [23,6 % – 40,2 %] | 0,0773 US$ | 0,0002 US$ | 99,0 % → 99,0 %Δ 0,0 pp [0,0, 0,0] | 0.4.31 · 28 sept 2026 |
anthropic/claude-opus-5-5 | 32 peticiones · 16 únicas | 77,2 % [67,1 % – 83,9 %] | 0,0974 US$ | 0,1391 US$ | 100,0 % → 100,0 %Δ 0,0 pp [0,0, 0,0] | 0.4.31 · 28 sept 2026 |
anthropic/claude-sonnet-5 | 62 peticiones · 31 únicas | 75,1 % [69,3 % – 79,6 %] | 0,1054 US$ | 0,1313 US$ | 100,0 % → 100,0 %Δ 0,0 pp [0,0, 0,0] | 0.4.31 · 28 sept 2026 |
anthropic/claude-sonnet-5-5 | 62 peticiones · 31 únicas | 77,5 % [72,0 % – 81,7 %] | 0,0924 US$ | 0,1289 US$ | 100,0 % → 100,0 %Δ 0,0 pp [0,0, 0,0] | 0.4.31 · 28 sept 2026 |
google/gemini-3.1-pro-preview | la capa falló: las peticiones no pasaron por la capa | 0.4.31 · 28 sept 2026 | ||||
google/gemini-3.8-flash | la capa falló: las peticiones no pasaron por la capa | 0.4.31 · 28 sept 2026 | ||||
Origen del ahorro, posición a posición: «de la caché exacta» es lo que A pagó en las peticiones que la capa sirvió sin llamar al proveedor; «en las llamadas» es la diferencia en las que sí llegaron, sobre todo caché de prefijo del proveedor (más algo de variación de la salida). Las dos suman el ahorro total.
La exactitud se mide sobre las preguntas con respuesta publicada; las variantes con una cifra cambiada solo sirven para comprobar que la capa no entrega la respuesta de otra pregunta.
La rebaja de caché del gateway: una simulación, no un A/B
Replay en gateway
Esta es una reproducción contrafactual con una línea base parcialmente reconstruida, no una de las baterías A/B en vivo de esta página. Tomamos el uso reportado por el proveedor en sesiones reales de Claude Code de una sola organización, la nuestra, con un solo proveedor (Anthropic), y estimamos los costes a precios de lista versionados con el cambio de TTL de caché de PRO y sin él. No es una doble ejecución en vivo ni una conciliación de facturas.
El veredicto del informe del 3 oct 2026: la rebaja deja un neto de +2,49 % de la factura (113,45 US$ sobre 4563,61 US$), después de restar los fallos de caché que ella misma provoca.
- Sesiones
- 51
- Peticiones
- 19.779
- Días
- 13
| Intervalo del 95 % | Neto, sobre la factura Replay en gateway |
|---|---|
| Remuestreando por sesión (grupos: 51) | +1,50 % – +3,57 % |
| Remuestreando por día (grupos: 13) | +1,73 % – +4,82 % |
Bootstrap con 10.000 remuestreos. Los dos intervalos excluyen el cero: con este tráfico, la rebaja gana dinero. La tarjeta de la portada cita el intervalo por sesión.
El resultado, con lo que resta
| Rebajas | 2583 |
| Prima ahorrada, en bruto | +3,10 % |
| Fallos de caché provocados | 124 |
| Lo que cuestan esos fallos | -0,62 % |
| Neto | +2,49 % · 113,45 US$ |
| Techo: toda la prima de la hora | 7,2 % |
Los porcentajes son sobre la factura a precio de lista de las peticiones simuladas (4563,61 US$). El techo es lo máximo que podría recuperar cualquier política de TTL, aunque no fallara nunca. Cada porcentaje se redondea por separado.
Por modelo
| Modelo | Peticiones | Rebajas | Fallos de caché provocados | Neto, sobre la factura del modelo |
|---|---|---|---|---|
claude-fable-5 | 1921 | 23 | 1 | +4,64 % |
claude-fable-5-1 | 2236 | 25 | 0 | +1,65 % |
claude-opus-5 | 8344 | 70 | 2 | +1,61 % |
claude-opus-4-8 | 1193 | 34 | 0 | +6,49 % |
claude-sonnet-5 | 6080 | 2427 | 121 | +1,34 % |
claude-haiku-4-5 | 5 | 4 | 0 | sin porcentaje (peticiones: 5) |
claude-sonnet-5 es el caso feo: concentra el 94 % de las rebajas y el 98 % de los fallos, y su neto es casi nulo. En el primer periodo de la captura, de hecho, perdió: 9,4 % de su factura. Su tráfico son hilos cortos que se rehacen a menudo y vuelven pasados los cinco minutos. La regla gana de verdad donde los arranques son caros y raros.
Cómo se hizo: el modelo de caché, declarado
- La regla es la misma que ejecuta el gateway, no una copia: pasa las escrituras de caché del TTL de una hora al de cinco minutos cuando lo nuevo es al menos el 30 % del cuerpo de la petición.
- La línea base es lo que el proveedor contó, con su uso real, donde la rebaja aún no estaba activa; donde ya lo estaba, se reconstruye deshaciéndola (mira los límites). Con la rebaja, el turno rebajado paga la prima de escritura de cinco minutos en vez de la de una hora.
- Un fallo provocado: si el turno siguiente del mismo hilo llega pasados los cinco minutos y antes de la hora, lo que el turno rebajado escribió ya no se lee de la caché, se vuelve a escribir, y ese coste se resta.
- Hay una variante conservadora, que además da por perdido el prefijo compartido entre hilos distintos. Apenas mueve la cifra: +2,48 %, con algunos fallos más (3).
- Solo cifras agregadas: de la captura no sale ningún prompt, respuesta, cabecera ni identificador de sesión.
Límites
- Una organización, un cliente, un proveedor. Claude Code contra Anthropic, con nuestro propio tráfico. Ningún otro agente de código y ningún otro proveedor.
- Precio de lista, simulado. No es una factura: es el uso real, tarifado con el catálogo de precios. Descuentos, niveles de cuenta o una suscripción cambiarían el dinero.
- El modelo de caché es un modelo. Supone cómo indexa el proveedor sus entradas de caché; no lo observa. La variante conservadora acota ese riesgo.
- La mayor parte de la línea base está reconstruida. El 79 % de las peticiones se grabó con la rebaja ya activa; ahí la línea base se reconstruye deshaciendo la rebaja real, y es menos firme que la del primer tramo. Ese primer tramo, solo, da un intervalo mucho más ancho: de +0,29 % a +9,12 %.
- El techo cambia con el cliente. Depende de cuántas escrituras de una hora mande el agente de código, y las versiones recientes de Claude Code mandan menos: de las 19.779 peticiones, 7327 no traían ninguna que rebajar.
- El hueco entre turnos se mide desde la llegada de cada petición, no desde el final de la respuesta: cuenta algún fallo de más, nunca de menos.
- No es una previsión para tu equipo. Es un ahorro pequeño, de un solo tráfico, y otro tráfico puede dar otra cifra, también peor: mira el caso feo.
En producción: desde la versión 0.5.1 (3 oct 2026), el gateway resta los fallos que observa, en el turno que los sufre, así que el ahorro de esta rebaja que ves en tu panel va en neto. Lo registrado antes no se recalcula, y el panel señala como «en bruto» las máquinas con un gateway anterior.
Garantías, contadas
A/B con SDK
La capa nunca cambió una llamada a herramientas
0 llamadas alteradas en 1325 comparaciones de BFCL, 6 modelos, desde la 0.4.31. Si la capa falla (un error en B que A no tuvo), no cuenta aquí: está en «Fallos que el banco encontró».
Cómo se cuenta: cada comparación de cada tirada en vivo desde esa versión, así que un modelo medido dos veces (un piloto y la tirada completa) suma las dos. Por eso la cifra puede superar la n de las tablas, que enseñan una tirada por modelo.
Ninguna respuesta de otra pregunta desde la 0.4.31
0 de 198 variantes (la misma pregunta con otro número, y por tanto otra respuesta) servidas con la respuesta de otra pregunta, en 8 modelos en vivo y en todas las configuraciones de caché medidas.
Réplica sin red del split de test entero de GSM8K: 0 en 5813 peticiones, en cada una de las 5 configuraciones de caché.
La misma tasa de negativas, con y sin la capa
XSTest, 10 modelos medidos: ninguna diferencia A/B por debajo de p = 0,05 (McNemar, prompts pareados). La capa entregó sin alterar el texto de 4668 respuestas (0 alteradas).
Cómo se cuenta: respuestas, no prompts. Cada respuesta del brazo B se compara con el texto del proveedor, repeticiones del mismo prompt incluidas, así que hay más respuestas que prompts en la tabla.
| Modelo | Prompts | Negativas, prompts seguros (A → B) | Negativas, prompts inseguros (A → B) | Versión · fecha |
|---|---|---|---|---|
openai/gpt-4o-mini | 450 | 5,2 % → 5,2 % (n = 250, p = 1,00) | 81,5 % → 81,5 % (n = 200, p = 1,00) | 0.4.31 · 28 sept 2026 |
openai/gpt-5.4-mini | 441 | 11,0 % → 9,8 % (n = 245, p = 0,63) | 87,2 % → 86,7 % (n = 196, p = 1,00) | 0.4.31 · 28 sept 2026 |
openai/gpt-5.5 | 120 | 6,3 % → 4,7 % (n = 64, p = 1,00) | 80,0 % → 80,0 % (n = 55, p = 1,00) | 0.4.31 · 29 sept 2026 |
openai/gpt-5.6-sol | 199 | 2,7 % → 2,7 % (n = 111, p = 1,00) | 75,6 % → 76,7 % (n = 86, p = 1,00) | 0.4.31 · 29 sept 2026 |
anthropic/claude-haiku-4-5 | 450 | 1,6 % → 2,0 % (n = 250, p = 1,00) | 42,5 % → 42,5 % (n = 200, p = 1,00) | 0.4.31 · 29 sept 2026 |
anthropic/claude-opus-5-5 | 81 | — | 67,1 % → 67,1 % (n = 79, p = 1,00) | 0.4.31 · 29 sept 2026 |
anthropic/claude-sonnet-5 | 264 | 2,7 % → 2,0 % (n = 147, p = 1,00) | 68,4 % → 71,8 % (n = 117, p = 0,34) | 0.4.31 · 29 sept 2026 |
anthropic/claude-sonnet-5-5 | 311 | 1,5 % → 0,0 % (n = 135, p = 0,50) | 64,3 % → 65,3 % (n = 98, p = 1,00) | 0.4.31 · 29 sept 2026 |
google/gemini-3.1-pro-preview | 58 | 0,0 % → 0,0 % (n = 32, p = 1,00) | 80,8 % → 84,6 % (n = 26, p = 1,00) | 0.4.31 · 29 sept 2026 |
google/gemini-3.8-flash | 450 | 0,4 % → 0,4 % (n = 249, p = 1,00) | 67,8 % → 66,8 % (n = 199, p = 0,73) | 0.4.31 · 29 sept 2026 |
Lo que no ahorra
A/B con SDK
Sin repeticiones, el ahorro es ≈ 0 %. Lo publicamos igual, porque es lo que vas a ver si tu tráfico no se repite.
MT-Bench es chat de dos turnos con una capa nueva por pregunta: no hay nada que la caché pueda reutilizar y el prompt casi nunca llega al mínimo que el proveedor exige para cachear un prefijo. En BFCL cada llamada a herramientas es distinta. Lo que miden estas dos baterías es que la capa no empeore nada; la diferencia de coste que queda es ruido de la salida del modelo, no la capa.
| Batería | Modelo | n | Ahorro medido [IC] A/B con SDK | Lectura | Versión · fecha |
|---|---|---|---|---|---|
| BFCL | openai/gpt-4o-mini | 400 ítems | 0,1 % [0,0 % – 0,3 %] | no se distingue de cero | 0.4.31 · 28 sept 2026 |
| BFCL | openai/gpt-5.4-mini | 400 ítems | -0,2 % [-1,0 % – 0,5 %] | no se distingue de cero | 0.4.31 · 28 sept 2026 |
| BFCL | anthropic/claude-haiku-4-5 | 48 ítems | 0,1 % [0,0 % – 0,2 %] | no se distingue de cero | 0.4.31 · 29 sept 2026 |
| BFCL | anthropic/claude-sonnet-5 | 48 ítems | 1,5 % [-1,6 % – 5,8 %] | no se distingue de cero | 0.4.31 · 29 sept 2026 |
| BFCL | google/gemini-3.1-pro-preview | 97 ítems | 4,8 % [-6,6 % – 15,6 %] | no se distingue de cero | 0.4.31 · 29 sept 2026 |
| BFCL | google/gemini-3.8-flash | 324 ítems | -10,7 % [-27,8 % – 3,2 %] | no se distingue de cero | 0.4.31 · 29 sept 2026 |
| MT-Bench | openai/gpt-4o-mini | 80 preguntas | 3,3 % [0,8 % – 6,0 %] | ahorro · no atribuible a la capa | 0.4.31 · 28 sept 2026 |
| MT-Bench | openai/gpt-5.4-mini | 80 preguntas | -3,5 % [-8,6 % – 1,6 %] | no se distingue de cero · no atribuible a la capa | 0.4.31 · 28 sept 2026 |
| MT-Bench | openai/gpt-5.5 | 8 preguntas | 2,1 % [-4,4 % – 9,7 %] | no se distingue de cero | 0.4.31 · 29 sept 2026 |
| MT-Bench | openai/gpt-5.6-sol | 13 preguntas | -0,4 % [-21,2 % – 13,5 %] | no se distingue de cero · no atribuible a la capa | 0.4.31 · 29 sept 2026 |
| MT-Bench | anthropic/claude-haiku-4-5 | 80 preguntas | -2,6 % [-4,6 % – -0,9 %] | sobrecoste · no atribuible a la capa | 0.4.31 · 28 sept 2026 |
| MT-Bench | anthropic/claude-opus-5-5 | 18 preguntas | 1,1 % [-2,0 % – 4,9 %] | no se distingue de cero | 0.4.31 · 29 sept 2026 |
| MT-Bench | anthropic/claude-sonnet-5 | 23 preguntas | 1,7 % [-8,9 % – 12,7 %] | no se distingue de cero | 0.4.31 · 28 sept 2026 |
| MT-Bench | anthropic/claude-sonnet-5-5 | 37 preguntas | -0,8 % [-2,5 % – 0,9 %] | no se distingue de cero | 0.4.31 · 29 sept 2026 |
Estado por modelo y batería
Cada celda enseña la tirada de la versión más alta de la capa. Si un modelo no se pudo medir, se dice por qué, en vez de dejar el hueco.
| Modelo | GSM8K | BFCL | XSTest | MT-Bench |
|---|---|---|---|---|
openai/gpt-4o-mini | medido · n = 200 0.4.31 · 28 sept 2026 | medido · n = 400 0.4.31 · 28 sept 2026 | medido · n = 450 0.4.31 · 28 sept 2026 | medido · n = 80 0.4.31 · 28 sept 2026 |
openai/gpt-5.4-mini | medido · n = 176 0.4.31 · 28 sept 2026 | medido · n = 400 0.4.31 · 28 sept 2026 | medido · n = 441 0.4.31 · 28 sept 2026 | medido · n = 80 0.4.31 · 28 sept 2026 |
openai/gpt-5.5 | medido · n = 22 0.4.31 · 28 sept 2026 | no medido: tope de gasto agotado 0.4.31 · 29 sept 2026 | medido · n = 120 0.4.31 · 29 sept 2026 | medido · n = 8 0.4.31 · 29 sept 2026 |
openai/gpt-5.6-sol | medido · n = 32 0.4.31 · 28 sept 2026 | no medido: el proveedor rechazó la petición en los dos brazos 0.4.31 · 29 sept 2026 | medido · n = 199 0.4.31 · 29 sept 2026 | medido · n = 13 0.4.31 · 29 sept 2026 |
anthropic/claude-haiku-4-5 | medido · n = 116 0.4.31 · 28 sept 2026 | medido · n = 48 0.4.31 · 29 sept 2026 | medido · n = 450 0.4.31 · 29 sept 2026 | medido · n = 80 0.4.31 · 28 sept 2026 |
anthropic/claude-opus-5-5 | medido · n = 32 0.4.31 · 28 sept 2026 | no medido: tope de gasto agotado 0.4.31 · 29 sept 2026 | medido · n = 81 0.4.31 · 29 sept 2026 | medido · n = 18 0.4.31 · 29 sept 2026 |
anthropic/claude-sonnet-5 | medido · n = 62 0.4.31 · 28 sept 2026 | medido · n = 48 0.4.31 · 29 sept 2026 | medido · n = 264 0.4.31 · 29 sept 2026 | medido · n = 23 0.4.31 · 28 sept 2026 |
anthropic/claude-sonnet-5-5 | medido · n = 62 0.4.31 · 28 sept 2026 | no medido: tope de gasto agotado 0.4.31 · 29 sept 2026 | medido · n = 311 0.4.31 · 29 sept 2026 | medido · n = 37 0.4.31 · 29 sept 2026 |
google/gemini-3.1-pro-preview | la capa falló: las peticiones no pasaron por la capa 0.4.31 · 28 sept 2026 | medido · n = 97 0.4.31 · 29 sept 2026 | medido · n = 58 0.4.31 · 29 sept 2026 | no medido: cuota del proveedor agotada 0.4.31 · 29 sept 2026 |
google/gemini-3.8-flash | la capa falló: las peticiones no pasaron por la capa 0.4.31 · 28 sept 2026 | medido · n = 324 0.4.31 · 29 sept 2026 | medido · n = 450 0.4.31 · 29 sept 2026 | la capa falló: las peticiones no pasaron por la capa 0.4.31 · 29 sept 2026 |
Compatibilidad
Compatible no es medido. El SDK funciona con cualquier endpoint compatible con la API de OpenAI, más el adaptador nativo de Anthropic y el adaptador nativo de Gemini (nuevo en la 0.4.33). Con cifra de ahorro en el banco público, hoy solo modelos de OpenAI y de Anthropic; Gemini no tiene cifra de ahorro. Lo medido de Gemini: Gemini 3.8 Flash, por su API nativa, en el banco semanal en vivo del 1 de octubre de 2026 — las cuatro baterías, sin ningún fallo de la capa y sin ninguna negativa cacheada ni acreditada como ahorro. Ese banco comprueba que la capa no rompe nada ni cobra de más; no mide un ahorro. También medido: Gemini 3.1 Pro, por su API nativa, en dos bancos parciales del 1–2 de octubre de 2026 (su cuota diaria del proveedor no da para las cuatro baterías en un día): las cuatro baterías, también sin ningún fallo de la capa y sin ninguna negativa cacheada ni acreditada como ahorro.
Fallos que el banco encontró
El banco no está para salir bien en la foto: está para encontrar los fallos antes que tú. Estos los encontró él, con la versión en la que aparecieron y la que los arregla.
La caché semántica sin calibrar servía la respuesta de otra pregunta 0.4.30 → 0.4.31
Con la caché semántica sin calibrar, una variante con otro número («three baskets» frente a «two baskets») podía recibir la respuesta de la pregunta original. Contado sobre las variantes de GSM8K.
- Encontrado en la 0.4.30: 15 de 111. gsm8k.json
- Arreglado en la 0.4.31 (#383).
- Verificado en vivo con la 0.4.31: 0 de 198.
La capa recortaba el catálogo de herramientas sin señal para hacerlo 0.4.30 → 0.4.31
En conversaciones de varios turnos, el brazo B enviaba menos herramientas que el A aunque nada indicaba cuáles sobraban. Contado sobre las conversaciones multi-turno de BFCL.
- Encontrado en la 0.4.30: 20 de 20. bfcl.json
- Arreglado en la 0.4.31 (#382).
- Verificado en vivo con la 0.4.31: 0 de 83.
Algunas negativas escritas como texto se guardaban en caché 0.4.31 → 0.4.32
Una negativa que el modelo escribe como texto (sin la señal del API) podía guardarse en caché, repetirse y acreditarse como ahorro. Contado en prompts de XSTest.
- Encontrado en la 0.4.31: 39 de 2824. xstest-0431-claude.jsonxstest-0431-gama-alta.jsonxstest-0431.json
- Arreglado en la 0.4.32 (#393, #401).
- Re-medido en vivo por el banco semanal el 1 oct 2026 (fuente de main con el arreglo, commit 5bec174): 0 negativas cacheadas y 0 acreditadas, sobre 2393 prompts de XSTest en 9 modelos. banco-semanal-5bec174.json
Se cacheaban y acreditaban negativas parciales 0.4.32 → 0.4.33
Una respuesta que empieza cumpliendo y se niega más adelante («If you mean harming someone, I can't help…»), o una disculpa seguida de «no tengo acceso…», no se reconocía como negativa: la capa podía cachearla, repetirla y acreditarla como ahorro. Contado en los prompts de XSTest del banco semanal, con modelos de OpenAI y Claude.
- Lo encontró el banco semanal en vivo el 29 sept 2026 (fuente de main, commit 105fe13): 12 negativas servidas desde la caché o escritas en ella y 14 acreditadas, sobre 1995 prompts de XSTest en 8 modelos. banco-semanal-105fe13.json
- Arreglado en la 0.4.33 (#422).
- Re-medido en vivo por el banco semanal el 1 oct 2026 (fuente de main con el arreglo, commit 5bec174): 0 negativas cacheadas y 0 acreditadas, sobre 2393 prompts de XSTest en 9 modelos. banco-semanal-5bec174.json
Un filtro de contenido de Gemini se cacheaba como respuesta 0.4.31 → 0.4.32
Gemini señala su filtro con un motivo de parada propio que la capa no reconocía como negativa, así que podía cachearlo y repetirlo. Contado en prompts de XSTest.
- Encontrado en la 0.4.31: 6 de 508. xstest-0431-gama-alta.json
- Arreglado en la 0.4.32 (#402).
- Re-medido en vivo por el banco semanal el 1 oct 2026 (fuente de main con el arreglo, commit 5bec174) con google/gemini-3.8-flash: 0 negativas cacheadas o acreditadas, sobre 448 prompts de XSTest. Esa tirada no pudo medir google/gemini-3.1-pro-preview (se agotó la cuota o el límite de tasa del proveedor, no la capa); ahí sigue sin verificar. banco-semanal-5bec174.json
Gemini no pasaba por la capa 0.4.31 → 0.4.32
La capa enviaba un campo propio del API de OpenAI a cualquier endpoint compatible, y Gemini lo rechaza: todas las peticiones del brazo B fallaban. Contado en peticiones de GSM8K.
- Encontrado en la 0.4.31: 504 de 504. gsm8k-0431-gama-alta.json
- Arreglado en la 0.4.32 (#402).
- Re-medido en vivo por el banco semanal el 1 oct 2026 (fuente de main con el arreglo, commit 5bec174) con google/gemini-3.8-flash: 0 errores solo con la capa, sobre 68 ítems de GSM8K. Esa tirada no pudo medir google/gemini-3.1-pro-preview (se agotó la cuota o el límite de tasa del proveedor, no la capa); ahí sigue sin verificar. banco-semanal-5bec174.json
Con Gemini 3, el segundo turno con herramientas fallaba 0.4.31 → 0.4.32
La capa no devolvía la firma de pensamiento que Gemini 3 exige en cada llamada a herramientas, así que el turno siguiente se rechazaba. Contado en continuaciones multi-turno de BFCL.
- Encontrado en la 0.4.31: 50 de 50. bfcl-0431-gama-alta.json
- Arreglado en la 0.4.32 (#402).
- Todavía sin re-medir en un informe publicado: el banco semanal del 1 oct 2026 (fuente de main con el arreglo, commit 5bec174) midió google/gemini-3.8-flash en esta batería, pero su resumen cuenta solo las entradas de un turno, no las continuaciones multi-turno donde fallaba. Mientras ningún informe las cuente, no lo damos por verificado. Esa tirada no pudo medir google/gemini-3.1-pro-preview (se agotó la cuota o el límite de tasa del proveedor, no la capa); ahí sigue sin verificar. banco-semanal-5bec174.json
Con peticiones en paralelo, la corrección del nivel de pensamiento de Gemini llegaba al cliente como error 0.4.35 → 0.4.36
Gemini Flash rechaza el nivel de pensamiento MINIMAL; el adaptador nativo reintenta una vez con LOW y recuerda el sustituto. Con dos peticiones en vuelo por la misma capa, una comparaba el rechazo con el cuerpo que la otra ya había corregido, no lo reconocía y pasaba el error al cliente. Contado en errores solo con la capa, en los prompts de XSTest del banco semanal con Gemini.
- Encontrado por el banco semanal en vivo el 30 sept 2026 (fuente de main, commit ca621e2) con google/gemini-3.8-flash: 1 errores solo con la capa, sobre 450 ítems de XSTest. banco-semanal-ca621e2.json
- Arreglado en la 0.4.36 (#442).
- Re-medido en vivo por el banco semanal el 1 oct 2026 (fuente de main con el arreglo, commit 5bec174) con google/gemini-3.8-flash: 0 errores solo con la capa, sobre 448 ítems de XSTest. Esa tirada no pudo medir google/gemini-3.1-pro-preview (se agotó la cuota o el límite de tasa del proveedor, no la capa); ahí sigue sin verificar. banco-semanal-5bec174.json
Cómo reproducirlo
El código del banco está en el repositorio abierto, y el método cabe en cinco pasos. Con tus propias claves de proveedor puedes repetirlo y comparar cifra a cifra con nuestros informes.
- El dataset. Descarga cada dataset público en el commit de la tabla de arriba y comprueba el sha256 de cada fichero antes de usarlo. Si no cuadra, no es el mismo dataset.
- La capa. Instala
@bivelio/savings-layerdesde npm en la versión que dice el informe y comprueba el sha256 dedist/index.js: cada informe lleva el suyo. - Dos brazos por prompt. A va directo al proveedor; B manda el mismo prompt, al mismo modelo y con el mismo tope de salida, a través de la capa con su configuración por defecto. Una parte de los prompts se repite o se parafrasea, como en el tráfico real, y el orden A/B se sortea.
- El uso y los precios de lista documentan la valoración. Suma el coste de cada brazo a partir del
usagereportado por el proveedor, al precio de lista versionado. El ahorro es1 − coste B / coste A, con su intervalo; no es una conciliación de facturas. - La calidad, en la misma tirada. Puntúa igual las respuestas de los dos brazos (respuesta exacta en GSM8K, llamada a herramienta en BFCL, negativa o no en XSTest, juez en MT-Bench) y compáralas con el informe JSON de la misma batería y versión.
Los informes
Cada tirada deja un informe JSON con su diseño, sus limitaciones y cada llamada medida: usage, coste por brazo y clasificación de la respuesta. Se sirven desde esta web.
Los informes se sirven tal como los escribió el banco, con una excepción: se quitan los datos del entorno de quien midió (rutas de disco, correos). De XSTest no se publica el texto de ninguna respuesta, solo su clasificación.
Mídenos tú
Una medición independiente vale más que la nuestra. El código del banco está en el repositorio abierto: si quieres repetir la medición, o medir la capa con tu propio arnés o con tu tráfico, escríbenos y te damos lo que necesites para hacerlo.
Escríbenos a support@bivelio.com