Savings Layer forma parte de la plataforma BiVelio
Banco público · reproducible

Nuestro banco A/B, abierto. Mídenos.

Publicamos cada tirada: cuatro baterías con datasets públicos, 10 modelos, y los dos brazos medidos con el contador de uso del propio proveedor. Cada cifra lleva su n, su intervalo y su fecha. Lo que no ahorra también está aquí.

baterías
4
modelos probados
10
modelos con alguna medición
10
informes en vivo
15
última tirada
1 oct 2026

Cómo leer esta página

A/B con SDK
Dos brazos sobre la misma petición, valorados con el uso que reporta el proveedor. Así se miden las baterías del banco.
Replay en gateway
Reproducción contrafactual con una línea base parcialmente reconstruida. No es un A/B en vivo, ni ahorro facturado, ni una conciliación de facturas.
  1. La misma petición
  2. Brazo A: directa al proveedor, sin la capa
  3. Brazo B: a través de la capa, con su configuración por defecto
  4. El contador de uso del proveedor mide los dos brazos

Compatible no significa medido: un modelo solo cuenta aquí si tiene una tirada publicada, y lo que no se pudo medir se dice con su motivo.

Filtro de lectura

Mostrando 12 de 12 secciones.

Preprintv2.3-r1

Verifiable Measurement of Cost Savings in Large Language Model Applications Open-Core Edition

Edición corregida tras una revisión externa previa a la publicación: el método, el estimador, la incertidumbre y los límites de cada cifra.

  • 15 páginas
  • CC BY 4.0
  • DOI10.5281/zenodo.24278852
BV-SALA Savings Layer · Joan-Marc FisaTodas las versiones (se abre en una pestaña nueva)

Qué se mide y cómo

  • Dos brazos, la misma petición. A va directa al proveedor, sin la capa; B pasa por la capa con su configuración por defecto. Mismo prompt, mismo muestreo y mismo tope de salida.
  • Uso reportado por el proveedor y precios de lista versionados. Cada brazo se valora con el usage que devuelve el API y un catálogo de precios de lista fechado. El ahorro es 1 − coste(B) / coste(A) de la misma tirada. Los importes se etiquetan measured, reference-valued o estimated según su evidencia; esto no es una conciliación de facturas.
  • Intervalos al 95 %. Los calcula cada arnés (remuestreo por familias de preguntas, Wilson en las tasas de negativa). Un intervalo que cruza el cero es un «no se distingue de cero», y así lo decimos.
  • El paquete que instalas. Las tiradas A/B de las tablas de abajo se hicieron con la 0.4.31: el brazo B corre el fuente de esa etiqueta, y su dist/index.js es idéntico byte a byte al del tarball de npm (sha256 b52f99cacf9804ecd3153e56f26ec3adcdc2510d52a8446a369ecf914e0b5731). El banco semanal en vivo es otra cosa: en cada tirada mide el fuente de main tal como está ese día, antes de publicarse.
  • Sin atajos. Cada arnés vigila los hosts a los que habla y lleva un tope de gasto por modelo escrito en código. Un modelo que no se pudo medir sale como «no medido», con su motivo.

Lee el artículo de investigación v2.3-r1, de 15 páginas (PDF): método, tipos de evidencia y limitaciones de cada cifra, corregido tras una revisión externa previa a la publicación.

Cuatro baterías, datasets públicos fijados

BateríaQué compruebaDatasetFicheros fijadosLicencia
GSM8KProblemas de matemáticas con repeticiones y paráfrasis: cuánto ahorra la caché y si se pierde exactitud.openai/grade-school-mathcommit 3101c7d5072418e28b9008a6636bde82a006892cgsm8k-test
sha256 3730d312f6e3440559ace48831e51066acaca737f6eabec99bccb9e4b3c39d14
gsm8k-train
sha256 17f347dc51477c50d4efb83959dbb7c56297aba886e5544ee2aaed3024813465
MIT
BFCLLlamadas a herramientas: que la capa no cambie ninguna y que el catálogo llegue entero.ShishirPatil/gorillacommit f7cf7359b7ac615a0b294831c5ba2bc95ee4a000fijado por commitApache-2.0
XSTestNegativas: que la capa no cambie cuándo el modelo se niega ni sirva una negativa de caché.paul-rottger/exaggerated-safetycommit d7bb5bd738c1fcbc36edd83d5e7d1b71a3e2d84dxstest_prompts.csv
sha256 11783fb294ed017473ee53c207d71f2161c7672c8d0b037501e78387f801cb5a
CC-BY-4.0
MT-BenchChat de dos turnos sin repeticiones: que la capa no empeore coste, latencia ni calidad.lm-sys/FastChatcommit 587d5cfa1609a43d192cedb8441cac3c17db105dquestion.jsonl
sha256 119565adbab82227089cefdb44c8d7e2cf04dc0a0ec233634c82e7d4e2a944f7
gpt-4.jsonl
sha256 f957a5bc977badb66885ec970e6cd08527845780313f0995764260e5777b9b3f
judge_prompts.jsonl
sha256 fd283293406d024f44c174b094ef48031d0687a4682fd3a56b29b138f80281b6
Apache-2.0

Traducción, sin jerga

La prueba es un experimento justo: la misma tarea dos veces — sin Savings y con Savings — y el mismo contador del proveedor midiendo las dos.

En un flujo donde el 30 % de las peticiones se repiten exactas, la factura bajó un 31,5 %: entre 25,7 % y 36,7 % con un 95 % de confianza. Lo que ahorres depende de cuánto repita tu tráfico.

Un porcentaje no significa nada sin su intervalo, su modelo y su tráfico: publicamos los tres.

Banco semanal en vivo

A/B con SDK

Cada semana, y cada vez que lo lanzamos a mano, una tirada pasa todas las baterías por todos los modelos: el brazo A va directo al proveedor y el B pasa por la capa construida desde el fuente de main en ese momento. No es una versión publicada: es lo que está a punto de publicarse. La tirada falla si se rompe cualquier regla, y una celda que no se pudo medir dice por qué.

Tirada del 1 oct 2026 · fuente de main en el commit 5bec174 (versión del paquete 0.4.35) · gasto 21,96 US$ de un tope de 50,00 US$ · 36 de 40 celdas medidas. banco-semanal-5bec174.json

Veredicto: sin regresiones.

BateríaModeloEstadonGasto / topeFallos de la capaQué cuentaB − AInforme frente a coste de lista
GSM8Kopenai/gpt-4o-minimedida2000,12 US$ / 0,75 US$0respuesta de otra pregunta: 0exactitud -1,7 pp [-4,8, +1,1]0,00 %
GSM8Kopenai/gpt-5.4-minimedida1060,42 US$ / 0,75 US$0respuesta de otra pregunta: 0exactitud +1,0 pp [0,0, +3,3]0,00 %
GSM8Kopenai/gpt-5.5medida240,86 US$ / 1,25 US$0respuesta de otra pregunta: 0exactitud 0,0 pp [0,0, 0,0]0,00 %
GSM8Kopenai/gpt-5.6-solmedida340,31 US$ / 1,25 US$0respuesta de otra pregunta: 0exactitud 0,0 pp [0,0, 0,0]0,00 %
GSM8Kanthropic/claude-haiku-4-5medida700,42 US$ / 0,75 US$0respuesta de otra pregunta: 0exactitud -1,6 pp [-4,3, 0,0]0,00 %
GSM8Kanthropic/claude-sonnet-5medida520,48 US$ / 1,10 US$0respuesta de otra pregunta: 0exactitud 0,0 pp [0,0, 0,0]0,00 %
GSM8Kanthropic/claude-sonnet-5-5medida560,47 US$ / 1,10 US$0respuesta de otra pregunta: 0exactitud 0,0 pp [0,0, 0,0]0,00 %
GSM8Kanthropic/claude-opus-5-5medida300,55 US$ / 1,25 US$0respuesta de otra pregunta: 0exactitud 0,0 pp [0,0, 0,0]0,00 %
GSM8Kgoogle/gemini-3.8-flashmedida680,40 US$ / 0,75 US$0respuesta de otra pregunta: 0exactitud 0,0 pp [0,0, 0,0]0,00 %
GSM8Kgoogle/gemini-3.1-pro-previewno medible: se agotó la cuota o el límite de tasa del proveedor, no la capa—
BFCLopenai/gpt-4o-minimedida1000,03 US$ / 0,75 US$0llamadas a herramientas cambiadas: 0exactitud +2,0 pp [0,0, +5,0]0,00 %
BFCLopenai/gpt-5.4-minimedida1000,15 US$ / 0,75 US$0llamadas a herramientas cambiadas: 0exactitud -1,0 pp [-5,0, +2,0]0,00 %
BFCLopenai/gpt-5.5medida320,28 US$ / 1,25 US$0llamadas a herramientas cambiadas: 0exactitud +6,3 pp [0,0, +15,6]0,00 %
BFCLopenai/gpt-5.6-solmedida320,18 US$ / 1,25 US$0llamadas a herramientas cambiadas: 0exactitud 0,0 pp [0,0, 0,0]0,00 %
BFCLanthropic/claude-haiku-4-5medida1000,59 US$ / 0,75 US$0llamadas a herramientas cambiadas: 0exactitud 0,0 pp [0,0, 0,0]0,00 %
BFCLanthropic/claude-sonnet-5medida480,72 US$ / 1,10 US$0llamadas a herramientas cambiadas: 0exactitud 0,0 pp [-6,3, +6,3]0,00 %
BFCLanthropic/claude-sonnet-5-5medida480,64 US$ / 1,10 US$0llamadas a herramientas cambiadas: 0exactitud 0,0 pp [0,0, 0,0]0,00 %
BFCLanthropic/claude-opus-5-5medida320,47 US$ / 1,25 US$0llamadas a herramientas cambiadas: 0exactitud 0,0 pp [0,0, 0,0]0,00 %
BFCLgoogle/gemini-3.8-flashmedida1000,45 US$ / 0,75 US$0llamadas a herramientas cambiadas: 0exactitud +1,0 pp [0,0, +3,0]0,00 %
BFCLgoogle/gemini-3.1-pro-previewno medible: se agotó la cuota o el límite de tasa del proveedor, no la capa—
XSTestopenai/gpt-4o-minimedida4500,06 US$ / 0,75 US$0negativas cacheadas: 0 · acreditadas: 0seguros 0,0 pp (p = 1,00)inseguros 0,0 pp (p = 1,00)0,00 %
XSTestopenai/gpt-5.4-minimedida (parada en su tope de gasto)4120,75 US$ / 0,75 US$0negativas cacheadas: 0 · acreditadas: 0seguros +0,9 pp (p = 0,77)inseguros 0,0 pp (p = 1,00)0,00 %
XSTestopenai/gpt-5.5medida991,01 US$ / 1,25 US$0negativas cacheadas: 0 · acreditadas: 0seguros 0,0 pp (p = 1,00)inseguros 0,0 pp (p = 1,00)0,00 %
XSTestopenai/gpt-5.6-solmedida990,62 US$ / 1,25 US$0negativas cacheadas: 0 · acreditadas: 0seguros 0,0 pp (p = 1,00)inseguros 0,0 pp (p = 1,00)0,00 %
XSTestanthropic/claude-haiku-4-5medida4500,63 US$ / 0,75 US$0negativas cacheadas: 0 · acreditadas: 0seguros 0,0 pp (p = 1,00)inseguros +0,5 pp (p = 1,00)0,00 %
XSTestanthropic/claude-sonnet-5medida2000,87 US$ / 1,10 US$0negativas cacheadas: 0 · acreditadas: 0seguros 0,0 pp (p = 1,00)inseguros +2,2 pp (p = 0,50)0,00 %
XSTestanthropic/claude-sonnet-5-5medida1530,81 US$ / 1,10 US$0negativas cacheadas: 0 · acreditadas: 0seguros +1,1 pp (p = 1,00)inseguros +3,0 pp (p = 0,50)0,00 %
XSTestanthropic/claude-opus-5-5medida (parada en su tope de gasto)820,82 US$ / 1,25 US$0negativas cacheadas: 0 · acreditadas: 0inseguros -3,7 pp (p = 0,45)0,00 %
XSTestgoogle/gemini-3.8-flashmedida4480,52 US$ / 0,75 US$0negativas cacheadas: 0 · acreditadas: 0seguros +0,4 pp (p = 1,00)inseguros +1,0 pp (p = 0,75)0,00 %
XSTestgoogle/gemini-3.1-pro-previewno medible: se agotó la cuota o el límite de tasa del proveedor, no la capa—
MT-Benchopenai/gpt-4o-minimedida400,41 US$ / 1,15 US$0—B preferida 48,1 % [38,5 % – 57,7 %]0,00 %
MT-Benchopenai/gpt-5.4-minimedida400,68 US$ / 1,15 US$0—B preferida 51,7 % [40,0 % – 65,0 %]0,00 %
MT-Benchopenai/gpt-5.5medida (parada en su tope de gasto)70,65 US$ / 1,65 US$0—B preferida 46,4 % [28,6 % – 64,3 %]0,00 %
MT-Benchopenai/gpt-5.6-solmedida (parada en su tope de gasto)110,97 US$ / 1,65 US$0—B preferida 52,3 % [45,5 % – 59,1 %]0,00 %
MT-Benchanthropic/claude-haiku-4-5medida400,79 US$ / 1,15 US$0—B preferida 52,6 % [44,7 % – 60,5 %]0,00 %
MT-Benchanthropic/claude-sonnet-5medida (parada en su tope de gasto)191,18 US$ / 1,50 US$0—B preferida 50,0 % [38,5 % – 59,6 %]0,00 %
MT-Benchanthropic/claude-sonnet-5-5medida241,14 US$ / 1,50 US$0—B preferida 50,0 % [42,6 % – 58,8 %]0,00 %
MT-Benchanthropic/claude-opus-5-5medida161,41 US$ / 1,65 US$0—B preferida 35,9 % [26,6 % – 43,8 %]0,00 %
MT-Benchgoogle/gemini-3.8-flashmedida (parada en su tope de gasto)321,06 US$ / 1,15 US$0—B preferida 39,6 % [27,1 % – 50,0 %]0,00 %
MT-Benchgoogle/gemini-3.1-pro-previewno medible: se agotó la cuota o el límite de tasa del proveedor, no la capa—

«Fallos de la capa» son errores en el brazo B que el A no tuvo. «B − A» es la diferencia de exactitud en GSM8K y BFCL, la de la tasa de negativas en XSTest (p de McNemar, prompts emparejados) y, en MT-Bench, cuántas veces el juez prefiere B (la mitad es empate). «Informe frente a coste de lista» compara el coste que informa la capa para B con el calculado independientemente a partir del uso reportado por el proveedor a los mismos precios de lista versionados; no es una conciliación de facturas.

Tiradas semanales anteriores

Bancos parciales

Un banco parcial se lanza a mano con solo algunos modelos o baterías; por ejemplo, la otra jornada de un modelo cuya cuota diaria del proveedor no da para sus cuatro baterías en un día. Mide lo que dice, pero no es la tirada semanal: no cuenta para publicar.

Ahorro medido por modelo

A/B con SDK

GSM8K, con un flujo de peticiones en el que un 30 % son repeticiones exactas y un 20 % paráfrasis. Es la batería con tráfico repetido: tu ahorro depende de cuánto se repita el tuyo. Sin repeticiones, mira «Lo que no ahorra».

Los dos brazos, modelo a modelo

GSM8K, la batería hecha para medir el ahorro. Elige un modelo medido: A va directo al proveedor y B pasa por la capa.

Ahorro medido por modelo, con su intervalo

A/B con SDK

El punto es la estimación; la barra, el intervalo de confianza; la raya, el cero. Todos a la misma escala.

openai/gpt-4o-miniahorro0.4.31 · 28 sept 2026B−31,5%
A es la referencia; B pasa por la capa.
31,5 % [25,7 % – 36,7 %] A/B con SDK
200 peticiones · 100 únicas
95,0 % → 96,1 %
0.4.31 · 28 sept 2026

Solo aparecen los modelos con una tirada medida. Ver metodología

ModelonAhorro medido [IC] A/B con SDKDe la caché exactaEn las llamadas (prefijo)Exactitud A → BVersión · fecha
openai/gpt-4o-mini200 peticiones · 100 únicas31,5 % [25,7 % – 36,7 %]0,0124 US$0,0006 US$95,0 % → 96,1 %Δ +1,1 pp [0,0, +2,8]0.4.31 · 28 sept 2026
openai/gpt-5.4-mini176 peticiones · 88 únicas31,7 % [25,6 % – 37,6 %]0,0734 US$0,0003 US$95,6 % → 93,7 %Δ -1,9 pp [-5,0, 0,0]0.4.31 · 28 sept 2026
openai/gpt-5.522 peticiones · 11 únicas33,4 % [6,8 % – 53,8 %]0,0790 US$-0,0023 US$100,0 % → 100,0 %Δ 0,0 pp [0,0, 0,0]0.4.31 · 28 sept 2026
openai/gpt-5.6-sol32 peticiones · 16 únicas29,2 % [9,5 % – 46,8 %]0,0252 US$-0,0003 US$100,0 % → 100,0 %Δ 0,0 pp [0,0, 0,0]0.4.31 · 28 sept 2026
anthropic/claude-haiku-4-5116 peticiones · 58 únicas32,2 % [23,6 % – 40,2 %]0,0773 US$0,0002 US$99,0 % → 99,0 %Δ 0,0 pp [0,0, 0,0]0.4.31 · 28 sept 2026
anthropic/claude-opus-5-532 peticiones · 16 únicas77,2 % [67,1 % – 83,9 %]0,0974 US$0,1391 US$100,0 % → 100,0 %Δ 0,0 pp [0,0, 0,0]0.4.31 · 28 sept 2026
anthropic/claude-sonnet-562 peticiones · 31 únicas75,1 % [69,3 % – 79,6 %]0,1054 US$0,1313 US$100,0 % → 100,0 %Δ 0,0 pp [0,0, 0,0]0.4.31 · 28 sept 2026
anthropic/claude-sonnet-5-562 peticiones · 31 únicas77,5 % [72,0 % – 81,7 %]0,0924 US$0,1289 US$100,0 % → 100,0 %Δ 0,0 pp [0,0, 0,0]0.4.31 · 28 sept 2026
google/gemini-3.1-pro-previewla capa falló: las peticiones no pasaron por la capa0.4.31 · 28 sept 2026
google/gemini-3.8-flashla capa falló: las peticiones no pasaron por la capa0.4.31 · 28 sept 2026

Origen del ahorro, posición a posición: «de la caché exacta» es lo que A pagó en las peticiones que la capa sirvió sin llamar al proveedor; «en las llamadas» es la diferencia en las que sí llegaron, sobre todo caché de prefijo del proveedor (más algo de variación de la salida). Las dos suman el ahorro total.

La exactitud se mide sobre las preguntas con respuesta publicada; las variantes con una cifra cambiada solo sirven para comprobar que la capa no entrega la respuesta de otra pregunta.

La rebaja de caché del gateway: una simulación, no un A/B

Replay en gateway

Esta es una reproducción contrafactual con una línea base parcialmente reconstruida, no una de las baterías A/B en vivo de esta página. Tomamos el uso reportado por el proveedor en sesiones reales de Claude Code de una sola organización, la nuestra, con un solo proveedor (Anthropic), y estimamos los costes a precios de lista versionados con el cambio de TTL de caché de PRO y sin él. No es una doble ejecución en vivo ni una conciliación de facturas.

El veredicto del informe del 3 oct 2026: la rebaja deja un neto de +2,49 % de la factura (113,45 US$ sobre 4563,61 US$), después de restar los fallos de caché que ella misma provoca.

Sesiones
51
Peticiones
19.779
Días
13
Intervalo del 95 %Neto, sobre la factura Replay en gateway
Remuestreando por sesión (grupos: 51)+1,50 % – +3,57 %
Remuestreando por día (grupos: 13)+1,73 % – +4,82 %

Bootstrap con 10.000 remuestreos. Los dos intervalos excluyen el cero: con este tráfico, la rebaja gana dinero. La tarjeta de la portada cita el intervalo por sesión.

El resultado, con lo que resta

Rebajas2583
Prima ahorrada, en bruto+3,10 %
Fallos de caché provocados124
Lo que cuestan esos fallos-0,62 %
Neto+2,49 % · 113,45 US$
Techo: toda la prima de la hora7,2 %

Los porcentajes son sobre la factura a precio de lista de las peticiones simuladas (4563,61 US$). El techo es lo máximo que podría recuperar cualquier política de TTL, aunque no fallara nunca. Cada porcentaje se redondea por separado.

Por modelo

ModeloPeticionesRebajasFallos de caché provocadosNeto, sobre la factura del modelo
claude-fable-51921231+4,64 %
claude-fable-5-12236250+1,65 %
claude-opus-58344702+1,61 %
claude-opus-4-81193340+6,49 %
claude-sonnet-560802427121+1,34 %
claude-haiku-4-5540sin porcentaje (peticiones: 5)

claude-sonnet-5 es el caso feo: concentra el 94 % de las rebajas y el 98 % de los fallos, y su neto es casi nulo. En el primer periodo de la captura, de hecho, perdió: 9,4 % de su factura. Su tráfico son hilos cortos que se rehacen a menudo y vuelven pasados los cinco minutos. La regla gana de verdad donde los arranques son caros y raros.

Cómo se hizo: el modelo de caché, declarado

  • La regla es la misma que ejecuta el gateway, no una copia: pasa las escrituras de caché del TTL de una hora al de cinco minutos cuando lo nuevo es al menos el 30 % del cuerpo de la petición.
  • La línea base es lo que el proveedor contó, con su uso real, donde la rebaja aún no estaba activa; donde ya lo estaba, se reconstruye deshaciéndola (mira los límites). Con la rebaja, el turno rebajado paga la prima de escritura de cinco minutos en vez de la de una hora.
  • Un fallo provocado: si el turno siguiente del mismo hilo llega pasados los cinco minutos y antes de la hora, lo que el turno rebajado escribió ya no se lee de la caché, se vuelve a escribir, y ese coste se resta.
  • Hay una variante conservadora, que además da por perdido el prefijo compartido entre hilos distintos. Apenas mueve la cifra: +2,48 %, con algunos fallos más (3).
  • Solo cifras agregadas: de la captura no sale ningún prompt, respuesta, cabecera ni identificador de sesión.

Límites

  • Una organización, un cliente, un proveedor. Claude Code contra Anthropic, con nuestro propio tráfico. Ningún otro agente de código y ningún otro proveedor.
  • Precio de lista, simulado. No es una factura: es el uso real, tarifado con el catálogo de precios. Descuentos, niveles de cuenta o una suscripción cambiarían el dinero.
  • El modelo de caché es un modelo. Supone cómo indexa el proveedor sus entradas de caché; no lo observa. La variante conservadora acota ese riesgo.
  • La mayor parte de la línea base está reconstruida. El 79 % de las peticiones se grabó con la rebaja ya activa; ahí la línea base se reconstruye deshaciendo la rebaja real, y es menos firme que la del primer tramo. Ese primer tramo, solo, da un intervalo mucho más ancho: de +0,29 % a +9,12 %.
  • El techo cambia con el cliente. Depende de cuántas escrituras de una hora mande el agente de código, y las versiones recientes de Claude Code mandan menos: de las 19.779 peticiones, 7327 no traían ninguna que rebajar.
  • El hueco entre turnos se mide desde la llegada de cada petición, no desde el final de la respuesta: cuenta algún fallo de más, nunca de menos.
  • No es una previsión para tu equipo. Es un ahorro pequeño, de un solo tráfico, y otro tráfico puede dar otra cifra, también peor: mira el caso feo.

En producción: desde la versión 0.5.1 (3 oct 2026), el gateway resta los fallos que observa, en el turno que los sufre, así que el ahorro de esta rebaja que ves en tu panel va en neto. Lo registrado antes no se recalcula, y el panel señala como «en bruto» las máquinas con un gateway anterior.

Garantías, contadas

A/B con SDK

La capa nunca cambió una llamada a herramientas

0 llamadas alteradas en 1325 comparaciones de BFCL, 6 modelos, desde la 0.4.31. Si la capa falla (un error en B que A no tuvo), no cuenta aquí: está en «Fallos que el banco encontró».

Cómo se cuenta: cada comparación de cada tirada en vivo desde esa versión, así que un modelo medido dos veces (un piloto y la tirada completa) suma las dos. Por eso la cifra puede superar la n de las tablas, que enseñan una tirada por modelo.

Ninguna respuesta de otra pregunta desde la 0.4.31

0 de 198 variantes (la misma pregunta con otro número, y por tanto otra respuesta) servidas con la respuesta de otra pregunta, en 8 modelos en vivo y en todas las configuraciones de caché medidas.

Réplica sin red del split de test entero de GSM8K: 0 en 5813 peticiones, en cada una de las 5 configuraciones de caché.

La misma tasa de negativas, con y sin la capa

XSTest, 10 modelos medidos: ninguna diferencia A/B por debajo de p = 0,05 (McNemar, prompts pareados). La capa entregó sin alterar el texto de 4668 respuestas (0 alteradas).

Cómo se cuenta: respuestas, no prompts. Cada respuesta del brazo B se compara con el texto del proveedor, repeticiones del mismo prompt incluidas, así que hay más respuestas que prompts en la tabla.

Tasa de negativa por modelo, sin la capa (A) y con ella (B), sobre los mismos prompts.
ModeloPromptsNegativas, prompts seguros (A → B)Negativas, prompts inseguros (A → B)Versión · fecha
openai/gpt-4o-mini4505,2 % → 5,2 % (n = 250, p = 1,00)81,5 % → 81,5 % (n = 200, p = 1,00)0.4.31 · 28 sept 2026
openai/gpt-5.4-mini44111,0 % → 9,8 % (n = 245, p = 0,63)87,2 % → 86,7 % (n = 196, p = 1,00)0.4.31 · 28 sept 2026
openai/gpt-5.51206,3 % → 4,7 % (n = 64, p = 1,00)80,0 % → 80,0 % (n = 55, p = 1,00)0.4.31 · 29 sept 2026
openai/gpt-5.6-sol1992,7 % → 2,7 % (n = 111, p = 1,00)75,6 % → 76,7 % (n = 86, p = 1,00)0.4.31 · 29 sept 2026
anthropic/claude-haiku-4-54501,6 % → 2,0 % (n = 250, p = 1,00)42,5 % → 42,5 % (n = 200, p = 1,00)0.4.31 · 29 sept 2026
anthropic/claude-opus-5-581—67,1 % → 67,1 % (n = 79, p = 1,00)0.4.31 · 29 sept 2026
anthropic/claude-sonnet-52642,7 % → 2,0 % (n = 147, p = 1,00)68,4 % → 71,8 % (n = 117, p = 0,34)0.4.31 · 29 sept 2026
anthropic/claude-sonnet-5-53111,5 % → 0,0 % (n = 135, p = 0,50)64,3 % → 65,3 % (n = 98, p = 1,00)0.4.31 · 29 sept 2026
google/gemini-3.1-pro-preview580,0 % → 0,0 % (n = 32, p = 1,00)80,8 % → 84,6 % (n = 26, p = 1,00)0.4.31 · 29 sept 2026
google/gemini-3.8-flash4500,4 % → 0,4 % (n = 249, p = 1,00)67,8 % → 66,8 % (n = 199, p = 0,73)0.4.31 · 29 sept 2026

Lo que no ahorra

A/B con SDK

Sin repeticiones, el ahorro es ≈ 0 %. Lo publicamos igual, porque es lo que vas a ver si tu tráfico no se repite.

MT-Bench es chat de dos turnos con una capa nueva por pregunta: no hay nada que la caché pueda reutilizar y el prompt casi nunca llega al mínimo que el proveedor exige para cachear un prefijo. En BFCL cada llamada a herramientas es distinta. Lo que miden estas dos baterías es que la capa no empeore nada; la diferencia de coste que queda es ruido de la salida del modelo, no la capa.

BateríaModelonAhorro medido [IC] A/B con SDKLecturaVersión · fecha
BFCLopenai/gpt-4o-mini400 ítems0,1 % [0,0 % – 0,3 %]no se distingue de cero0.4.31 · 28 sept 2026
BFCLopenai/gpt-5.4-mini400 ítems-0,2 % [-1,0 % – 0,5 %]no se distingue de cero0.4.31 · 28 sept 2026
BFCLanthropic/claude-haiku-4-548 ítems0,1 % [0,0 % – 0,2 %]no se distingue de cero0.4.31 · 29 sept 2026
BFCLanthropic/claude-sonnet-548 ítems1,5 % [-1,6 % – 5,8 %]no se distingue de cero0.4.31 · 29 sept 2026
BFCLgoogle/gemini-3.1-pro-preview97 ítems4,8 % [-6,6 % – 15,6 %]no se distingue de cero0.4.31 · 29 sept 2026
BFCLgoogle/gemini-3.8-flash324 ítems-10,7 % [-27,8 % – 3,2 %]no se distingue de cero0.4.31 · 29 sept 2026
MT-Benchopenai/gpt-4o-mini80 preguntas3,3 % [0,8 % – 6,0 %]ahorro · no atribuible a la capa0.4.31 · 28 sept 2026
MT-Benchopenai/gpt-5.4-mini80 preguntas-3,5 % [-8,6 % – 1,6 %]no se distingue de cero · no atribuible a la capa0.4.31 · 28 sept 2026
MT-Benchopenai/gpt-5.58 preguntas2,1 % [-4,4 % – 9,7 %]no se distingue de cero0.4.31 · 29 sept 2026
MT-Benchopenai/gpt-5.6-sol13 preguntas-0,4 % [-21,2 % – 13,5 %]no se distingue de cero · no atribuible a la capa0.4.31 · 29 sept 2026
MT-Benchanthropic/claude-haiku-4-580 preguntas-2,6 % [-4,6 % – -0,9 %]sobrecoste · no atribuible a la capa0.4.31 · 28 sept 2026
MT-Benchanthropic/claude-opus-5-518 preguntas1,1 % [-2,0 % – 4,9 %]no se distingue de cero0.4.31 · 29 sept 2026
MT-Benchanthropic/claude-sonnet-523 preguntas1,7 % [-8,9 % – 12,7 %]no se distingue de cero0.4.31 · 28 sept 2026
MT-Benchanthropic/claude-sonnet-5-537 preguntas-0,8 % [-2,5 % – 0,9 %]no se distingue de cero0.4.31 · 29 sept 2026

Estado por modelo y batería

Cada celda enseña la tirada de la versión más alta de la capa. Si un modelo no se pudo medir, se dice por qué, en vez de dejar el hueco.

ModeloGSM8KBFCLXSTestMT-Bench
openai/gpt-4o-minimedido · n = 200
0.4.31 · 28 sept 2026
medido · n = 400
0.4.31 · 28 sept 2026
medido · n = 450
0.4.31 · 28 sept 2026
medido · n = 80
0.4.31 · 28 sept 2026
openai/gpt-5.4-minimedido · n = 176
0.4.31 · 28 sept 2026
medido · n = 400
0.4.31 · 28 sept 2026
medido · n = 441
0.4.31 · 28 sept 2026
medido · n = 80
0.4.31 · 28 sept 2026
openai/gpt-5.5medido · n = 22
0.4.31 · 28 sept 2026
no medido: tope de gasto agotado
0.4.31 · 29 sept 2026
medido · n = 120
0.4.31 · 29 sept 2026
medido · n = 8
0.4.31 · 29 sept 2026
openai/gpt-5.6-solmedido · n = 32
0.4.31 · 28 sept 2026
no medido: el proveedor rechazó la petición en los dos brazos
0.4.31 · 29 sept 2026
medido · n = 199
0.4.31 · 29 sept 2026
medido · n = 13
0.4.31 · 29 sept 2026
anthropic/claude-haiku-4-5medido · n = 116
0.4.31 · 28 sept 2026
medido · n = 48
0.4.31 · 29 sept 2026
medido · n = 450
0.4.31 · 29 sept 2026
medido · n = 80
0.4.31 · 28 sept 2026
anthropic/claude-opus-5-5medido · n = 32
0.4.31 · 28 sept 2026
no medido: tope de gasto agotado
0.4.31 · 29 sept 2026
medido · n = 81
0.4.31 · 29 sept 2026
medido · n = 18
0.4.31 · 29 sept 2026
anthropic/claude-sonnet-5medido · n = 62
0.4.31 · 28 sept 2026
medido · n = 48
0.4.31 · 29 sept 2026
medido · n = 264
0.4.31 · 29 sept 2026
medido · n = 23
0.4.31 · 28 sept 2026
anthropic/claude-sonnet-5-5medido · n = 62
0.4.31 · 28 sept 2026
no medido: tope de gasto agotado
0.4.31 · 29 sept 2026
medido · n = 311
0.4.31 · 29 sept 2026
medido · n = 37
0.4.31 · 29 sept 2026
google/gemini-3.1-pro-previewla capa falló: las peticiones no pasaron por la capa
0.4.31 · 28 sept 2026
medido · n = 97
0.4.31 · 29 sept 2026
medido · n = 58
0.4.31 · 29 sept 2026
no medido: cuota del proveedor agotada
0.4.31 · 29 sept 2026
google/gemini-3.8-flashla capa falló: las peticiones no pasaron por la capa
0.4.31 · 28 sept 2026
medido · n = 324
0.4.31 · 29 sept 2026
medido · n = 450
0.4.31 · 29 sept 2026
la capa falló: las peticiones no pasaron por la capa
0.4.31 · 29 sept 2026

Compatibilidad

Compatible con
OpenAIAnthropicGeminiMistralLlamaDeepSeekPerplexityHugging FaceNVIDIA NIMAzure OpenAIBedrockOllamavLLM

Compatible no es medido. El SDK funciona con cualquier endpoint compatible con la API de OpenAI, más el adaptador nativo de Anthropic y el adaptador nativo de Gemini (nuevo en la 0.4.33). Con cifra de ahorro en el banco público, hoy solo modelos de OpenAI y de Anthropic; Gemini no tiene cifra de ahorro. Lo medido de Gemini: Gemini 3.8 Flash, por su API nativa, en el banco semanal en vivo del 1 de octubre de 2026 — las cuatro baterías, sin ningún fallo de la capa y sin ninguna negativa cacheada ni acreditada como ahorro. Ese banco comprueba que la capa no rompe nada ni cobra de más; no mide un ahorro. También medido: Gemini 3.1 Pro, por su API nativa, en dos bancos parciales del 1–2 de octubre de 2026 (su cuota diaria del proveedor no da para las cuatro baterías en un día): las cuatro baterías, también sin ningún fallo de la capa y sin ninguna negativa cacheada ni acreditada como ahorro.

Fallos que el banco encontró

El banco no está para salir bien en la foto: está para encontrar los fallos antes que tú. Estos los encontró él, con la versión en la que aparecieron y la que los arregla.

  1. La caché semántica sin calibrar servía la respuesta de otra pregunta 0.4.30 → 0.4.31

    Con la caché semántica sin calibrar, una variante con otro número («three baskets» frente a «two baskets») podía recibir la respuesta de la pregunta original. Contado sobre las variantes de GSM8K.

    • Encontrado en la 0.4.30: 15 de 111. gsm8k.json
    • Arreglado en la 0.4.31 (#383).
    • Verificado en vivo con la 0.4.31: 0 de 198.
  2. La capa recortaba el catálogo de herramientas sin señal para hacerlo 0.4.30 → 0.4.31

    En conversaciones de varios turnos, el brazo B enviaba menos herramientas que el A aunque nada indicaba cuáles sobraban. Contado sobre las conversaciones multi-turno de BFCL.

    • Encontrado en la 0.4.30: 20 de 20. bfcl.json
    • Arreglado en la 0.4.31 (#382).
    • Verificado en vivo con la 0.4.31: 0 de 83.
  3. Algunas negativas escritas como texto se guardaban en caché 0.4.31 → 0.4.32

    Una negativa que el modelo escribe como texto (sin la señal del API) podía guardarse en caché, repetirse y acreditarse como ahorro. Contado en prompts de XSTest.

  4. Se cacheaban y acreditaban negativas parciales 0.4.32 → 0.4.33

    Una respuesta que empieza cumpliendo y se niega más adelante («If you mean harming someone, I can't help…»), o una disculpa seguida de «no tengo acceso…», no se reconocía como negativa: la capa podía cachearla, repetirla y acreditarla como ahorro. Contado en los prompts de XSTest del banco semanal, con modelos de OpenAI y Claude.

    • Lo encontró el banco semanal en vivo el 29 sept 2026 (fuente de main, commit 105fe13): 12 negativas servidas desde la caché o escritas en ella y 14 acreditadas, sobre 1995 prompts de XSTest en 8 modelos. banco-semanal-105fe13.json
    • Arreglado en la 0.4.33 (#422).
    • Re-medido en vivo por el banco semanal el 1 oct 2026 (fuente de main con el arreglo, commit 5bec174): 0 negativas cacheadas y 0 acreditadas, sobre 2393 prompts de XSTest en 9 modelos. banco-semanal-5bec174.json
  5. Un filtro de contenido de Gemini se cacheaba como respuesta 0.4.31 → 0.4.32

    Gemini señala su filtro con un motivo de parada propio que la capa no reconocía como negativa, así que podía cachearlo y repetirlo. Contado en prompts de XSTest.

    • Encontrado en la 0.4.31: 6 de 508. xstest-0431-gama-alta.json
    • Arreglado en la 0.4.32 (#402).
    • Re-medido en vivo por el banco semanal el 1 oct 2026 (fuente de main con el arreglo, commit 5bec174) con google/gemini-3.8-flash: 0 negativas cacheadas o acreditadas, sobre 448 prompts de XSTest. Esa tirada no pudo medir google/gemini-3.1-pro-preview (se agotó la cuota o el límite de tasa del proveedor, no la capa); ahí sigue sin verificar. banco-semanal-5bec174.json
  6. Gemini no pasaba por la capa 0.4.31 → 0.4.32

    La capa enviaba un campo propio del API de OpenAI a cualquier endpoint compatible, y Gemini lo rechaza: todas las peticiones del brazo B fallaban. Contado en peticiones de GSM8K.

    • Encontrado en la 0.4.31: 504 de 504. gsm8k-0431-gama-alta.json
    • Arreglado en la 0.4.32 (#402).
    • Re-medido en vivo por el banco semanal el 1 oct 2026 (fuente de main con el arreglo, commit 5bec174) con google/gemini-3.8-flash: 0 errores solo con la capa, sobre 68 ítems de GSM8K. Esa tirada no pudo medir google/gemini-3.1-pro-preview (se agotó la cuota o el límite de tasa del proveedor, no la capa); ahí sigue sin verificar. banco-semanal-5bec174.json
  7. Con Gemini 3, el segundo turno con herramientas fallaba 0.4.31 → 0.4.32

    La capa no devolvía la firma de pensamiento que Gemini 3 exige en cada llamada a herramientas, así que el turno siguiente se rechazaba. Contado en continuaciones multi-turno de BFCL.

    • Encontrado en la 0.4.31: 50 de 50. bfcl-0431-gama-alta.json
    • Arreglado en la 0.4.32 (#402).
    • Todavía sin re-medir en un informe publicado: el banco semanal del 1 oct 2026 (fuente de main con el arreglo, commit 5bec174) midió google/gemini-3.8-flash en esta batería, pero su resumen cuenta solo las entradas de un turno, no las continuaciones multi-turno donde fallaba. Mientras ningún informe las cuente, no lo damos por verificado. Esa tirada no pudo medir google/gemini-3.1-pro-preview (se agotó la cuota o el límite de tasa del proveedor, no la capa); ahí sigue sin verificar. banco-semanal-5bec174.json
  8. Con peticiones en paralelo, la corrección del nivel de pensamiento de Gemini llegaba al cliente como error 0.4.35 → 0.4.36

    Gemini Flash rechaza el nivel de pensamiento MINIMAL; el adaptador nativo reintenta una vez con LOW y recuerda el sustituto. Con dos peticiones en vuelo por la misma capa, una comparaba el rechazo con el cuerpo que la otra ya había corregido, no lo reconocía y pasaba el error al cliente. Contado en errores solo con la capa, en los prompts de XSTest del banco semanal con Gemini.

    • Encontrado por el banco semanal en vivo el 30 sept 2026 (fuente de main, commit ca621e2) con google/gemini-3.8-flash: 1 errores solo con la capa, sobre 450 ítems de XSTest. banco-semanal-ca621e2.json
    • Arreglado en la 0.4.36 (#442).
    • Re-medido en vivo por el banco semanal el 1 oct 2026 (fuente de main con el arreglo, commit 5bec174) con google/gemini-3.8-flash: 0 errores solo con la capa, sobre 448 ítems de XSTest. Esa tirada no pudo medir google/gemini-3.1-pro-preview (se agotó la cuota o el límite de tasa del proveedor, no la capa); ahí sigue sin verificar. banco-semanal-5bec174.json

Cómo reproducirlo

El código del banco está en el repositorio abierto, y el método cabe en cinco pasos. Con tus propias claves de proveedor puedes repetirlo y comparar cifra a cifra con nuestros informes.

  1. El dataset. Descarga cada dataset público en el commit de la tabla de arriba y comprueba el sha256 de cada fichero antes de usarlo. Si no cuadra, no es el mismo dataset.
  2. La capa. Instala @bivelio/savings-layer desde npm en la versión que dice el informe y comprueba el sha256 de dist/index.js: cada informe lleva el suyo.
  3. Dos brazos por prompt. A va directo al proveedor; B manda el mismo prompt, al mismo modelo y con el mismo tope de salida, a través de la capa con su configuración por defecto. Una parte de los prompts se repite o se parafrasea, como en el tráfico real, y el orden A/B se sortea.
  4. El uso y los precios de lista documentan la valoración. Suma el coste de cada brazo a partir del usage reportado por el proveedor, al precio de lista versionado. El ahorro es 1 − coste B / coste A, con su intervalo; no es una conciliación de facturas.
  5. La calidad, en la misma tirada. Puntúa igual las respuestas de los dos brazos (respuesta exacta en GSM8K, llamada a herramienta en BFCL, negativa o no en XSTest, juez en MT-Bench) y compáralas con el informe JSON de la misma batería y versión.

Los informes

Cada tirada deja un informe JSON con su diseño, sus limitaciones y cada llamada medida: usage, coste por brazo y clasificación de la respuesta. Se sirven desde esta web.

Los informes se sirven tal como los escribió el banco, con una excepción: se quitan los datos del entorno de quien midió (rutas de disco, correos). De XSTest no se publica el texto de ninguna respuesta, solo su clasificación.

Mídenos tú

Una medición independiente vale más que la nuestra. El código del banco está en el repositorio abierto: si quieres repetir la medición, o medir la capa con tu propio arnés o con tu tráfico, escríbenos y te damos lo que necesites para hacerlo.

Escríbenos a support@bivelio.com

Escribir un correo