O nosso banco A/B, em aberto. Meça-nos.
Publicamos cada execução: quatro baterias com conjuntos de dados públicos, 10 modelos, e os dois braços medidos com o contador de uso do próprio fornecedor. Cada valor traz o seu n, o seu intervalo e a sua data. O que não economiza também está aqui.
- baterias
- 4
- modelos testados
- 10
- modelos com alguma medição
- 10
- relatórios em tempo real
- 15
- última execução
- 1 de out. de 2026
Como ler esta página
- A/B com SDK
- Dois braços sobre o mesmo pedido, valorizados com a utilização que o fornecedor reporta. É assim que se medem as baterias do banco.
- Replay no gateway
- Reprodução contrafactual com uma linha de base parcialmente reconstruída. Não é um A/B ao vivo, nem poupança faturada, nem uma reconciliação de faturas.
- O mesmo pedido
- Braço A: direto ao fornecedor, sem a camada
- Braço B: através da camada, com a configuração predefinida
- O contador de utilização do fornecedor mede os dois braços
Compatível não significa medido: um modelo só conta aqui se tiver uma execução publicada, e o que não foi possível medir é dito com o seu motivo.
Filtro de leitura
A mostrar 12 de 12 secções.
Preprintv2.3-r1
Verifiable Measurement of Cost Savings in Large Language Model Applications Open-Core Edition
Edição revista após uma revisão externa anterior à publicação: o método, o estimador, a incerteza e os limites de cada valor.
O que é medido, e como
- Dois braços, o mesmo pedido. A vai direto ao fornecedor, sem a camada; B passa pela camada com a sua configuração predefinida. Mesmo prompt, mesma amostragem, mesmo limite de saída.
- Uso reportado pelo fornecedor e preços de tabela versionados. Cada braço é valorizado a partir do
usagedevolvido pela API e de um catálogo datado de preços de tabela. A poupança é 1 − custo(B) / custo(A) da mesma execução. Os montantes são etiquetados measured, reference-valued ou estimated conforme a evidência; isto não é uma reconciliação de faturas. - Intervalos ao 95%. Cada harness calcula-os (reamostragem por famílias de perguntas, Wilson para as taxas de recusa). Um intervalo que atravessa o zero significa «indistinguível de zero», e é isso que dizemos.
- O pacote que você instala. As rodadas A/B das tabelas abaixo foram feitas com a 0.4.31: o braço B executa o código-fonte dessa tag, e o seu
dist/index.jsé idêntico byte a byte ao do tarball do npm (sha256b52f99cacf9804ecd3153e56f26ec3adcdc2510d52a8446a369ecf914e0b5731). O banco semanal ao vivo é outra coisa: em cada rodada mede o código-fonte do main tal como está nesse dia, antes de ser publicado. - Sem atalhos. Cada harness vigia os hosts com que fala e traz um limite de gasto por modelo escrito no código. Um modelo que não pôde ser medido aparece como «não medido», com o motivo.
Lê o artigo de investigação v2.3-r1, de 15 páginas (PDF): método, tipos de evidência e limitações de cada valor, revisto após uma revisão externa anterior à publicação.
Quatro baterias, conjuntos de dados públicos, fixados
| Bateria | O que verifica | Conjunto de dados | Arquivos fixados | Licença |
|---|---|---|---|---|
| GSM8K | Problemas matemáticos em texto com repetições e paráfrases: quanto a cache economiza e se a precisão cai. | openai/grade-school-mathcommit 3101c7d5072418e28b9008a6636bde82a006892c | gsm8k-test sha256 3730d312f6e3440559ace48831e51066acaca737f6eabec99bccb9e4b3c39d14gsm8k-trainsha256 17f347dc51477c50d4efb83959dbb7c56297aba886e5544ee2aaed3024813465 | MIT |
| BFCL | Chamadas a ferramentas: a camada não pode mudar nenhuma, e o catálogo inteiro tem de chegar. | ShishirPatil/gorillacommit f7cf7359b7ac615a0b294831c5ba2bc95ee4a000 | fixado por commit | Apache-2.0 |
| XSTest | Recusas: a camada não pode mudar quando o modelo recusa, nem servir uma recusa da cache. | paul-rottger/exaggerated-safetycommit d7bb5bd738c1fcbc36edd83d5e7d1b71a3e2d84d | xstest_prompts.csv sha256 11783fb294ed017473ee53c207d71f2161c7672c8d0b037501e78387f801cb5a | CC-BY-4.0 |
| MT-Bench | Chat de dois turnos sem repetições: a camada não pode piorar o custo, a latência nem a qualidade. | lm-sys/FastChatcommit 587d5cfa1609a43d192cedb8441cac3c17db105d | question.jsonl sha256 119565adbab82227089cefdb44c8d7e2cf04dc0a0ec233634c82e7d4e2a944f7gpt-4.jsonlsha256 f957a5bc977badb66885ec970e6cd08527845780313f0995764260e5777b9b3fjudge_prompts.jsonlsha256 fd283293406d024f44c174b094ef48031d0687a4682fd3a56b29b138f80281b6 | Apache-2.0 |
Tradução, sem jargão
O teste é uma experiência justa: a mesma tarefa duas vezes — sem Savings e com Savings — com o mesmo contador do fornecedor a medir as duas.
Num fluxo onde 30% dos pedidos se repetem exatamente, a fatura desceu 31,5% — entre 25,7% e 36,7% com 95% de confiança. O que poupares depende de quanto o teu tráfego se repete.
Uma percentagem não significa nada sem o seu intervalo, o seu modelo e o seu tráfego: publicamos os três.
Banco semanal ao vivo
A/B com SDK
Toda semana, e sempre que o disparamos à mão, uma rodada passa todas as baterias por todos os modelos: o braço A vai direto ao provedor e o B passa pela camada construída a partir do código-fonte do main nesse momento. Não é uma versão publicada: é o que está prestes a ser publicado. A rodada falha se qualquer regra for quebrada, e uma célula que não pôde ser medida diz por quê.
Rodada de 1 de out. de 2026 · código-fonte do main no commit 5bec174 (versão do pacote 0.4.35) · gasto de US$ 21,96 num teto de US$ 50,00 · 36 de 40 células medidas. banco-semanal-5bec174.json
Veredito: sem regressões.
| Bateria | Modelo | Estado | n | Gasto / teto | Falhas da camada | O que conta | B − A | Relatório vs custo de tabela |
|---|---|---|---|---|---|---|---|---|
| GSM8K | openai/gpt-4o-mini | medida | 200 | US$ 0,12 / US$ 0,75 | 0 | resposta de outra pergunta: 0 | exatidão -1,7 pp [-4,8, +1,1] | 0,00% |
| GSM8K | openai/gpt-5.4-mini | medida | 106 | US$ 0,42 / US$ 0,75 | 0 | resposta de outra pergunta: 0 | exatidão +1,0 pp [0,0, +3,3] | 0,00% |
| GSM8K | openai/gpt-5.5 | medida | 24 | US$ 0,86 / US$ 1,25 | 0 | resposta de outra pergunta: 0 | exatidão 0,0 pp [0,0, 0,0] | 0,00% |
| GSM8K | openai/gpt-5.6-sol | medida | 34 | US$ 0,31 / US$ 1,25 | 0 | resposta de outra pergunta: 0 | exatidão 0,0 pp [0,0, 0,0] | 0,00% |
| GSM8K | anthropic/claude-haiku-4-5 | medida | 70 | US$ 0,42 / US$ 0,75 | 0 | resposta de outra pergunta: 0 | exatidão -1,6 pp [-4,3, 0,0] | 0,00% |
| GSM8K | anthropic/claude-sonnet-5 | medida | 52 | US$ 0,48 / US$ 1,10 | 0 | resposta de outra pergunta: 0 | exatidão 0,0 pp [0,0, 0,0] | 0,00% |
| GSM8K | anthropic/claude-sonnet-5-5 | medida | 56 | US$ 0,47 / US$ 1,10 | 0 | resposta de outra pergunta: 0 | exatidão 0,0 pp [0,0, 0,0] | 0,00% |
| GSM8K | anthropic/claude-opus-5-5 | medida | 30 | US$ 0,55 / US$ 1,25 | 0 | resposta de outra pergunta: 0 | exatidão 0,0 pp [0,0, 0,0] | 0,00% |
| GSM8K | google/gemini-3.8-flash | medida | 68 | US$ 0,40 / US$ 0,75 | 0 | resposta de outra pergunta: 0 | exatidão 0,0 pp [0,0, 0,0] | 0,00% |
| GSM8K | google/gemini-3.1-pro-preview | não mensurável: esgotou-se a quota ou o limite de taxa do fornecedor, não a camada | — | |||||
| BFCL | openai/gpt-4o-mini | medida | 100 | US$ 0,03 / US$ 0,75 | 0 | chamadas a ferramentas alteradas: 0 | exatidão +2,0 pp [0,0, +5,0] | 0,00% |
| BFCL | openai/gpt-5.4-mini | medida | 100 | US$ 0,15 / US$ 0,75 | 0 | chamadas a ferramentas alteradas: 0 | exatidão -1,0 pp [-5,0, +2,0] | 0,00% |
| BFCL | openai/gpt-5.5 | medida | 32 | US$ 0,28 / US$ 1,25 | 0 | chamadas a ferramentas alteradas: 0 | exatidão +6,3 pp [0,0, +15,6] | 0,00% |
| BFCL | openai/gpt-5.6-sol | medida | 32 | US$ 0,18 / US$ 1,25 | 0 | chamadas a ferramentas alteradas: 0 | exatidão 0,0 pp [0,0, 0,0] | 0,00% |
| BFCL | anthropic/claude-haiku-4-5 | medida | 100 | US$ 0,59 / US$ 0,75 | 0 | chamadas a ferramentas alteradas: 0 | exatidão 0,0 pp [0,0, 0,0] | 0,00% |
| BFCL | anthropic/claude-sonnet-5 | medida | 48 | US$ 0,72 / US$ 1,10 | 0 | chamadas a ferramentas alteradas: 0 | exatidão 0,0 pp [-6,3, +6,3] | 0,00% |
| BFCL | anthropic/claude-sonnet-5-5 | medida | 48 | US$ 0,64 / US$ 1,10 | 0 | chamadas a ferramentas alteradas: 0 | exatidão 0,0 pp [0,0, 0,0] | 0,00% |
| BFCL | anthropic/claude-opus-5-5 | medida | 32 | US$ 0,47 / US$ 1,25 | 0 | chamadas a ferramentas alteradas: 0 | exatidão 0,0 pp [0,0, 0,0] | 0,00% |
| BFCL | google/gemini-3.8-flash | medida | 100 | US$ 0,45 / US$ 0,75 | 0 | chamadas a ferramentas alteradas: 0 | exatidão +1,0 pp [0,0, +3,0] | 0,00% |
| BFCL | google/gemini-3.1-pro-preview | não mensurável: esgotou-se a quota ou o limite de taxa do fornecedor, não a camada | — | |||||
| XSTest | openai/gpt-4o-mini | medida | 450 | US$ 0,06 / US$ 0,75 | 0 | recusas em cache: 0 · creditadas: 0 | seguros 0,0 pp (p = 1,00)inseguros 0,0 pp (p = 1,00) | 0,00% |
| XSTest | openai/gpt-5.4-mini | medida (parada no seu teto de gasto) | 412 | US$ 0,75 / US$ 0,75 | 0 | recusas em cache: 0 · creditadas: 0 | seguros +0,9 pp (p = 0,77)inseguros 0,0 pp (p = 1,00) | 0,00% |
| XSTest | openai/gpt-5.5 | medida | 99 | US$ 1,01 / US$ 1,25 | 0 | recusas em cache: 0 · creditadas: 0 | seguros 0,0 pp (p = 1,00)inseguros 0,0 pp (p = 1,00) | 0,00% |
| XSTest | openai/gpt-5.6-sol | medida | 99 | US$ 0,62 / US$ 1,25 | 0 | recusas em cache: 0 · creditadas: 0 | seguros 0,0 pp (p = 1,00)inseguros 0,0 pp (p = 1,00) | 0,00% |
| XSTest | anthropic/claude-haiku-4-5 | medida | 450 | US$ 0,63 / US$ 0,75 | 0 | recusas em cache: 0 · creditadas: 0 | seguros 0,0 pp (p = 1,00)inseguros +0,5 pp (p = 1,00) | 0,00% |
| XSTest | anthropic/claude-sonnet-5 | medida | 200 | US$ 0,87 / US$ 1,10 | 0 | recusas em cache: 0 · creditadas: 0 | seguros 0,0 pp (p = 1,00)inseguros +2,2 pp (p = 0,50) | 0,00% |
| XSTest | anthropic/claude-sonnet-5-5 | medida | 153 | US$ 0,81 / US$ 1,10 | 0 | recusas em cache: 0 · creditadas: 0 | seguros +1,1 pp (p = 1,00)inseguros +3,0 pp (p = 0,50) | 0,00% |
| XSTest | anthropic/claude-opus-5-5 | medida (parada no seu teto de gasto) | 82 | US$ 0,82 / US$ 1,25 | 0 | recusas em cache: 0 · creditadas: 0 | inseguros -3,7 pp (p = 0,45) | 0,00% |
| XSTest | google/gemini-3.8-flash | medida | 448 | US$ 0,52 / US$ 0,75 | 0 | recusas em cache: 0 · creditadas: 0 | seguros +0,4 pp (p = 1,00)inseguros +1,0 pp (p = 0,75) | 0,00% |
| XSTest | google/gemini-3.1-pro-preview | não mensurável: esgotou-se a quota ou o limite de taxa do fornecedor, não a camada | — | |||||
| MT-Bench | openai/gpt-4o-mini | medida | 40 | US$ 0,41 / US$ 1,15 | 0 | — | B preferida 48,1% [38,5% – 57,7%] | 0,00% |
| MT-Bench | openai/gpt-5.4-mini | medida | 40 | US$ 0,68 / US$ 1,15 | 0 | — | B preferida 51,7% [40,0% – 65,0%] | 0,00% |
| MT-Bench | openai/gpt-5.5 | medida (parada no seu teto de gasto) | 7 | US$ 0,65 / US$ 1,65 | 0 | — | B preferida 46,4% [28,6% – 64,3%] | 0,00% |
| MT-Bench | openai/gpt-5.6-sol | medida (parada no seu teto de gasto) | 11 | US$ 0,97 / US$ 1,65 | 0 | — | B preferida 52,3% [45,5% – 59,1%] | 0,00% |
| MT-Bench | anthropic/claude-haiku-4-5 | medida | 40 | US$ 0,79 / US$ 1,15 | 0 | — | B preferida 52,6% [44,7% – 60,5%] | 0,00% |
| MT-Bench | anthropic/claude-sonnet-5 | medida (parada no seu teto de gasto) | 19 | US$ 1,18 / US$ 1,50 | 0 | — | B preferida 50,0% [38,5% – 59,6%] | 0,00% |
| MT-Bench | anthropic/claude-sonnet-5-5 | medida | 24 | US$ 1,14 / US$ 1,50 | 0 | — | B preferida 50,0% [42,6% – 58,8%] | 0,00% |
| MT-Bench | anthropic/claude-opus-5-5 | medida | 16 | US$ 1,41 / US$ 1,65 | 0 | — | B preferida 35,9% [26,6% – 43,8%] | 0,00% |
| MT-Bench | google/gemini-3.8-flash | medida (parada no seu teto de gasto) | 32 | US$ 1,06 / US$ 1,15 | 0 | — | B preferida 39,6% [27,1% – 50,0%] | 0,00% |
| MT-Bench | google/gemini-3.1-pro-preview | não mensurável: esgotou-se a quota ou o limite de taxa do fornecedor, não a camada | — | |||||
“Falhas da camada” são erros no braço B que o braço A não teve. “B − A” é a diferença de exatidão no GSM8K e no BFCL, a da taxa de recusas no XSTest (p de McNemar, prompts emparelhados) e, no MT-Bench, com que frequência o juiz prefere B (metade é empate). “Relatório vs custo de tabela” compara o custo reportado pela camada para B com o calculado independentemente a partir do uso reportado pelo fornecedor aos mesmos preços de tabela versionados; não é uma reconciliação de faturas.
Rodadas semanais anteriores
- 30 de set. de 2026 · commit ca621e2 · falhou (regras quebradas: 4). banco-semanal-ca621e2.json
- 29 de set. de 2026 · commit d650c59 · sem regressões. banco-semanal-d650c59.json
- 29 de set. de 2026 · commit 1100960 · sem regressões. banco-semanal.json
- 29 de set. de 2026 · commit 105fe13 · falhou (regras quebradas: 7). banco-semanal-105fe13.json
Rodadas parciais
Uma rodada parcial é lançada à mão com apenas alguns modelos ou baterias; por exemplo, a outra jornada de um modelo cuja cota diária do provedor não dá para as suas quatro baterias num dia. Mede o que diz, mas não é a rodada semanal: não conta para publicar.
- 2 de out. de 2026 · commit b349d7a · google/gemini-3.1-pro-preview · GSM8K, XSTest · sem regressões. banco-semanal-b349d7a-gemini-31-pro-jornada-2.json
- 1 de out. de 2026 · commit b349d7a · google/gemini-3.1-pro-preview · BFCL, MT-Bench · sem regressões. banco-semanal-b349d7a-gemini-31-pro-jornada-1.json
Economia medida por modelo
A/B com SDK
GSM8K, com um fluxo de requisições em que 30% são repetições exatas e 20% paráfrases. É a bateria com tráfego repetido: a sua economia depende de quanto o seu tráfego se repete. Sem repetições, veja «O que não economiza».
Os dois braços, modelo a modelo
GSM8K, a bateria feita para medir a poupança. Escolha um modelo medido: A vai direto ao fornecedor e B passa pela camada.
Poupança medida por modelo, com o seu intervalo
A/B com SDKO ponto é a estimativa; a barra, o intervalo de confiança; o traço, o zero. Todos à mesma escala.
- 31,5% [25,7% – 36,7%] A/B com SDK
- 200 requisições · 100 únicas
- 95,0% → 96,1%
- 0.4.31 · 28 de set. de 2026
Só aparecem os modelos com uma execução medida. Ver a metodologia
| Modelo | n | Economia medida [IC] A/B com SDK | Do cache exato | Nas chamadas (prefixo) | Precisão A → B | Versão · data |
|---|---|---|---|---|---|---|
openai/gpt-4o-mini | 200 requisições · 100 únicas | 31,5% [25,7% – 36,7%] | US$ 0,0124 | US$ 0,0006 | 95,0% → 96,1%Δ +1,1 pp [0,0, +2,8] | 0.4.31 · 28 de set. de 2026 |
openai/gpt-5.4-mini | 176 requisições · 88 únicas | 31,7% [25,6% – 37,6%] | US$ 0,0734 | US$ 0,0003 | 95,6% → 93,7%Δ -1,9 pp [-5,0, 0,0] | 0.4.31 · 28 de set. de 2026 |
openai/gpt-5.5 | 22 requisições · 11 únicas | 33,4% [6,8% – 53,8%] | US$ 0,0790 | -US$ 0,0023 | 100,0% → 100,0%Δ 0,0 pp [0,0, 0,0] | 0.4.31 · 28 de set. de 2026 |
openai/gpt-5.6-sol | 32 requisições · 16 únicas | 29,2% [9,5% – 46,8%] | US$ 0,0252 | -US$ 0,0003 | 100,0% → 100,0%Δ 0,0 pp [0,0, 0,0] | 0.4.31 · 28 de set. de 2026 |
anthropic/claude-haiku-4-5 | 116 requisições · 58 únicas | 32,2% [23,6% – 40,2%] | US$ 0,0773 | US$ 0,0002 | 99,0% → 99,0%Δ 0,0 pp [0,0, 0,0] | 0.4.31 · 28 de set. de 2026 |
anthropic/claude-opus-5-5 | 32 requisições · 16 únicas | 77,2% [67,1% – 83,9%] | US$ 0,0974 | US$ 0,1391 | 100,0% → 100,0%Δ 0,0 pp [0,0, 0,0] | 0.4.31 · 28 de set. de 2026 |
anthropic/claude-sonnet-5 | 62 requisições · 31 únicas | 75,1% [69,3% – 79,6%] | US$ 0,1054 | US$ 0,1313 | 100,0% → 100,0%Δ 0,0 pp [0,0, 0,0] | 0.4.31 · 28 de set. de 2026 |
anthropic/claude-sonnet-5-5 | 62 requisições · 31 únicas | 77,5% [72,0% – 81,7%] | US$ 0,0924 | US$ 0,1289 | 100,0% → 100,0%Δ 0,0 pp [0,0, 0,0] | 0.4.31 · 28 de set. de 2026 |
google/gemini-3.1-pro-preview | a camada falhou: as requisições não passaram pela camada | 0.4.31 · 28 de set. de 2026 | ||||
google/gemini-3.8-flash | a camada falhou: as requisições não passaram pela camada | 0.4.31 · 28 de set. de 2026 | ||||
De onde vem a economia, posição por posição: «do cache exato» é o que A pagou nas requisições que a camada serviu sem chamar o fornecedor; «nas chamadas» é a diferença nas que realmente o alcançaram, sobretudo o cache de prefixo do fornecedor (mais alguma variação na saída). As duas somadas dão a economia total.
A precisão é medida sobre as perguntas com resposta publicada; as variantes com um número alterado servem apenas para verificar que a camada nunca entrega a resposta de outra pergunta.
A redução de cache do gateway: uma simulação, não um A/B
Replay no gateway
Este é um replay contrafactual com uma baseline parcialmente reconstruída, não uma das baterias A/B ao vivo desta página. Usámos o uso reportado pelo fornecedor em sessões reais de Claude Code de uma só organização, a nossa, com um só fornecedor (Anthropic), e estimámos os custos a preços de tabela versionados com e sem a alteração do TTL da cache do PRO. Não é uma dupla execução ao vivo nem uma reconciliação de faturas.
O veredicto do relatório de 3 de out. de 2026: a redução deixa um líquido de +2,49% da fatura (US$ 113,45 sobre US$ 4.563,61), depois de descontadas as falhas de cache que ela própria provoca.
- Sessões
- 51
- Pedidos
- 19.779
- Dias
- 13
| Intervalo de 95% | Líquido, sobre a fatura Replay no gateway |
|---|---|
| Reamostragem por sessão (grupos: 51) | +1,50% – +3,57% |
| Reamostragem por dia (grupos: 13) | +1,73% – +4,82% |
Bootstrap com 10.000 reamostragens. Os dois intervalos excluem o zero: com este tráfego, a redução ganha dinheiro. O cartão da página inicial cita o intervalo por sessão.
O resultado, com o que desconta
| Reduções | 2.583 |
| Prémio poupado, em bruto | +3,10% |
| Falhas de cache provocadas | 124 |
| Quanto custam essas falhas | -0,62% |
| Líquido | +2,49% · US$ 113,45 |
| Teto: todo o prémio da hora | 7,2% |
As percentagens são sobre a fatura a preço de tabela dos pedidos simulados (US$ 4.563,61). O teto é o máximo que qualquer política de TTL poderia recuperar, mesmo que nunca falhasse. Cada percentagem é arredondada em separado.
Por modelo
| Modelo | Pedidos | Reduções | Falhas de cache provocadas | Líquido, sobre a fatura do modelo |
|---|---|---|---|---|
claude-fable-5 | 1.921 | 23 | 1 | +4,64% |
claude-fable-5-1 | 2.236 | 25 | 0 | +1,65% |
claude-opus-5 | 8.344 | 70 | 2 | +1,61% |
claude-opus-4-8 | 1.193 | 34 | 0 | +6,49% |
claude-sonnet-5 | 6.080 | 2.427 | 121 | +1,34% |
claude-haiku-4-5 | 5 | 4 | 0 | sem percentagem (pedidos: 5) |
claude-sonnet-5 é o caso feio: concentra 94% das reduções e 98% das falhas, e o seu líquido é quase nulo. No primeiro período da captura, aliás, perdeu: 9,4% da sua fatura. O seu tráfego são fios curtos que se refazem com frequência e voltam depois de passados os cinco minutos. A regra ganha a sério onde os arranques são caros e raros.
Como foi feito: o modelo de cache, declarado
- A regra é a mesma que o gateway executa, não uma cópia: passa as escritas de cache do TTL de uma hora para o de cinco minutos quando a parte nova é pelo menos 30% do corpo do pedido.
- A linha de base é o que o fornecedor contou, com o seu uso real, onde a redução ainda não estava ativa; onde já estava, reconstrói-se desfazendo-a (vê os limites). Com a redução, o turno reduzido paga o prémio de escrita de cinco minutos em vez do de uma hora.
- Uma falha provocada: se o turno seguinte do mesmo fio chegar depois dos cinco minutos e antes da hora, o que o turno reduzido escreveu já não é lido da cache, volta a ser escrito, e esse custo é descontado.
- Há uma variante conservadora, que além disso dá como perdido o prefixo partilhado entre fios diferentes. Quase não mexe no número: +2,48%, com mais algumas falhas (3).
- Só números agregados: da captura não sai nenhum prompt, resposta, cabeçalho nem identificador de sessão.
Limites
- Uma organização, um cliente, um fornecedor. Claude Code contra a Anthropic, com o nosso próprio tráfego. Nenhum outro agente de código e nenhum outro fornecedor.
- Preço de tabela, simulado. Não é uma fatura: é o uso real, tarifado com o catálogo de preços. Descontos, níveis de conta ou uma subscrição mudariam o dinheiro.
- O modelo de cache é um modelo. Supõe como o fornecedor indexa as suas entradas de cache; não o observa. A variante conservadora limita esse risco.
- A maior parte da linha de base está reconstruída. 79% dos pedidos foram gravados com a redução já ativa; aí a linha de base reconstrói-se desfazendo a redução real, e é menos firme do que a do primeiro período. Esse primeiro período, sozinho, dá um intervalo muito mais largo: de +0,29% a +9,12%.
- O teto muda com o cliente. Depende de quantas escritas de uma hora o agente de código envia, e as versões recentes do Claude Code enviam menos: dos 19.779 pedidos, 7.327 não traziam nenhuma para reduzir.
- O intervalo entre turnos mede-se a partir da chegada de cada pedido, não do fim da resposta: conta algumas falhas a mais, nunca a menos.
- Não é uma previsão para a sua equipa. É uma poupança pequena, de um só tráfego, e outro tráfego pode dar outro número, também pior: veja o caso feio.
Em produção: desde a versão 0.5.1 (3 de out. de 2026), o gateway subtrai as falhas que observa, no turno que as sofre, pelo que a poupança desta redução que vês no teu painel é líquida. O que foi registado antes não é recalculado, e o painel assinala como «em bruto» as máquinas com um gateway anterior.
Garantias, contadas
A/B com SDK
A camada nunca alterou uma chamada a ferramentas
0 chamadas alteradas em 1.325 comparações do BFCL, 6 modelos, desde 0.4.31. Se a camada falhar (um erro em B que A não tinha), isso não é contado aqui: está em «Bugs que o banco encontrou».
Como se conta: cada comparação de cada rodada ao vivo desde essa versão, então um modelo medido duas vezes (um piloto e a rodada completa) soma as duas. Por isso o número pode passar do n das tabelas, que mostram uma rodada por modelo.
Nenhuma resposta de outra pergunta desde 0.4.31
0 de 198 variantes (a mesma pergunta com outro número, logo outra resposta) servidas com a resposta de outra pergunta, em 8 modelos ao vivo e em todas as configurações de cache medidas.
Repetição offline de todo o split de teste do GSM8K: 0 em 5.813 requisições, em cada uma das 5 configurações de cache.
A mesma taxa de recusa, com e sem a camada
XSTest, 10 modelos medidos: nenhuma diferença A/B abaixo de p = 0,05 (McNemar, prompts pareados). A camada entregou sem alteração o texto de 4.668 respostas (0 alteradas).
Como se conta: respostas, não prompts. Cada resposta do braço B é comparada com o texto do provedor, repetições do mesmo prompt incluídas, então há mais respostas do que prompts na tabela.
| Modelo | Prompts | Recusas, prompts seguros (A → B) | Recusas, prompts inseguros (A → B) | Versão · data |
|---|---|---|---|---|
openai/gpt-4o-mini | 450 | 5,2% → 5,2% (n = 250, p = 1,00) | 81,5% → 81,5% (n = 200, p = 1,00) | 0.4.31 · 28 de set. de 2026 |
openai/gpt-5.4-mini | 441 | 11,0% → 9,8% (n = 245, p = 0,63) | 87,2% → 86,7% (n = 196, p = 1,00) | 0.4.31 · 28 de set. de 2026 |
openai/gpt-5.5 | 120 | 6,3% → 4,7% (n = 64, p = 1,00) | 80,0% → 80,0% (n = 55, p = 1,00) | 0.4.31 · 29 de set. de 2026 |
openai/gpt-5.6-sol | 199 | 2,7% → 2,7% (n = 111, p = 1,00) | 75,6% → 76,7% (n = 86, p = 1,00) | 0.4.31 · 29 de set. de 2026 |
anthropic/claude-haiku-4-5 | 450 | 1,6% → 2,0% (n = 250, p = 1,00) | 42,5% → 42,5% (n = 200, p = 1,00) | 0.4.31 · 29 de set. de 2026 |
anthropic/claude-opus-5-5 | 81 | — | 67,1% → 67,1% (n = 79, p = 1,00) | 0.4.31 · 29 de set. de 2026 |
anthropic/claude-sonnet-5 | 264 | 2,7% → 2,0% (n = 147, p = 1,00) | 68,4% → 71,8% (n = 117, p = 0,34) | 0.4.31 · 29 de set. de 2026 |
anthropic/claude-sonnet-5-5 | 311 | 1,5% → 0,0% (n = 135, p = 0,50) | 64,3% → 65,3% (n = 98, p = 1,00) | 0.4.31 · 29 de set. de 2026 |
google/gemini-3.1-pro-preview | 58 | 0,0% → 0,0% (n = 32, p = 1,00) | 80,8% → 84,6% (n = 26, p = 1,00) | 0.4.31 · 29 de set. de 2026 |
google/gemini-3.8-flash | 450 | 0,4% → 0,4% (n = 249, p = 1,00) | 67,8% → 66,8% (n = 199, p = 0,73) | 0.4.31 · 29 de set. de 2026 |
O que não economiza
A/B com SDK
Sem repetições, a economia é ≈ 0%. Publicamos mesmo assim, porque é o que você vai ver se o seu tráfego não se repetir.
O MT-Bench é um chat de dois turnos com uma camada nova a cada pergunta: não há nada que o cache possa reutilizar, e o prompt quase nunca atinge o mínimo que o fornecedor exige para fazer cache de um prefixo. No BFCL, cada chamada a ferramentas é diferente. O que estas duas baterias medem é que a camada não piora nada; a diferença de custo que sobra é ruído na saída do modelo, não a camada.
| Bateria | Modelo | n | Economia medida [IC] A/B com SDK | Leitura | Versão · data |
|---|---|---|---|---|---|
| BFCL | openai/gpt-4o-mini | 400 itens | 0,1% [0,0% – 0,3%] | indistinguível de zero | 0.4.31 · 28 de set. de 2026 |
| BFCL | openai/gpt-5.4-mini | 400 itens | -0,2% [-1,0% – 0,5%] | indistinguível de zero | 0.4.31 · 28 de set. de 2026 |
| BFCL | anthropic/claude-haiku-4-5 | 48 itens | 0,1% [0,0% – 0,2%] | indistinguível de zero | 0.4.31 · 29 de set. de 2026 |
| BFCL | anthropic/claude-sonnet-5 | 48 itens | 1,5% [-1,6% – 5,8%] | indistinguível de zero | 0.4.31 · 29 de set. de 2026 |
| BFCL | google/gemini-3.1-pro-preview | 97 itens | 4,8% [-6,6% – 15,6%] | indistinguível de zero | 0.4.31 · 29 de set. de 2026 |
| BFCL | google/gemini-3.8-flash | 324 itens | -10,7% [-27,8% – 3,2%] | indistinguível de zero | 0.4.31 · 29 de set. de 2026 |
| MT-Bench | openai/gpt-4o-mini | 80 perguntas | 3,3% [0,8% – 6,0%] | economia · não atribuível à camada | 0.4.31 · 28 de set. de 2026 |
| MT-Bench | openai/gpt-5.4-mini | 80 perguntas | -3,5% [-8,6% – 1,6%] | indistinguível de zero · não atribuível à camada | 0.4.31 · 28 de set. de 2026 |
| MT-Bench | openai/gpt-5.5 | 8 perguntas | 2,1% [-4,4% – 9,7%] | indistinguível de zero | 0.4.31 · 29 de set. de 2026 |
| MT-Bench | openai/gpt-5.6-sol | 13 perguntas | -0,4% [-21,2% – 13,5%] | indistinguível de zero · não atribuível à camada | 0.4.31 · 29 de set. de 2026 |
| MT-Bench | anthropic/claude-haiku-4-5 | 80 perguntas | -2,6% [-4,6% – -0,9%] | custo extra · não atribuível à camada | 0.4.31 · 28 de set. de 2026 |
| MT-Bench | anthropic/claude-opus-5-5 | 18 perguntas | 1,1% [-2,0% – 4,9%] | indistinguível de zero | 0.4.31 · 29 de set. de 2026 |
| MT-Bench | anthropic/claude-sonnet-5 | 23 perguntas | 1,7% [-8,9% – 12,7%] | indistinguível de zero | 0.4.31 · 28 de set. de 2026 |
| MT-Bench | anthropic/claude-sonnet-5-5 | 37 perguntas | -0,8% [-2,5% – 0,9%] | indistinguível de zero | 0.4.31 · 29 de set. de 2026 |
Estado por modelo e bateria
Cada célula mostra a execução na versão mais alta da camada. Se um modelo não pôde ser medido, dizemos por quê, em vez de deixar o espaço em branco.
| Modelo | GSM8K | BFCL | XSTest | MT-Bench |
|---|---|---|---|---|
openai/gpt-4o-mini | medido · n = 200 0.4.31 · 28 de set. de 2026 | medido · n = 400 0.4.31 · 28 de set. de 2026 | medido · n = 450 0.4.31 · 28 de set. de 2026 | medido · n = 80 0.4.31 · 28 de set. de 2026 |
openai/gpt-5.4-mini | medido · n = 176 0.4.31 · 28 de set. de 2026 | medido · n = 400 0.4.31 · 28 de set. de 2026 | medido · n = 441 0.4.31 · 28 de set. de 2026 | medido · n = 80 0.4.31 · 28 de set. de 2026 |
openai/gpt-5.5 | medido · n = 22 0.4.31 · 28 de set. de 2026 | não medido: limite de gasto esgotado 0.4.31 · 29 de set. de 2026 | medido · n = 120 0.4.31 · 29 de set. de 2026 | medido · n = 8 0.4.31 · 29 de set. de 2026 |
openai/gpt-5.6-sol | medido · n = 32 0.4.31 · 28 de set. de 2026 | não medido: o fornecedor rejeitou a requisição em ambos os braços 0.4.31 · 29 de set. de 2026 | medido · n = 199 0.4.31 · 29 de set. de 2026 | medido · n = 13 0.4.31 · 29 de set. de 2026 |
anthropic/claude-haiku-4-5 | medido · n = 116 0.4.31 · 28 de set. de 2026 | medido · n = 48 0.4.31 · 29 de set. de 2026 | medido · n = 450 0.4.31 · 29 de set. de 2026 | medido · n = 80 0.4.31 · 28 de set. de 2026 |
anthropic/claude-opus-5-5 | medido · n = 32 0.4.31 · 28 de set. de 2026 | não medido: limite de gasto esgotado 0.4.31 · 29 de set. de 2026 | medido · n = 81 0.4.31 · 29 de set. de 2026 | medido · n = 18 0.4.31 · 29 de set. de 2026 |
anthropic/claude-sonnet-5 | medido · n = 62 0.4.31 · 28 de set. de 2026 | medido · n = 48 0.4.31 · 29 de set. de 2026 | medido · n = 264 0.4.31 · 29 de set. de 2026 | medido · n = 23 0.4.31 · 28 de set. de 2026 |
anthropic/claude-sonnet-5-5 | medido · n = 62 0.4.31 · 28 de set. de 2026 | não medido: limite de gasto esgotado 0.4.31 · 29 de set. de 2026 | medido · n = 311 0.4.31 · 29 de set. de 2026 | medido · n = 37 0.4.31 · 29 de set. de 2026 |
google/gemini-3.1-pro-preview | a camada falhou: as requisições não passaram pela camada 0.4.31 · 28 de set. de 2026 | medido · n = 97 0.4.31 · 29 de set. de 2026 | medido · n = 58 0.4.31 · 29 de set. de 2026 | não medido: cota do fornecedor esgotada 0.4.31 · 29 de set. de 2026 |
google/gemini-3.8-flash | a camada falhou: as requisições não passaram pela camada 0.4.31 · 28 de set. de 2026 | medido · n = 324 0.4.31 · 29 de set. de 2026 | medido · n = 450 0.4.31 · 29 de set. de 2026 | a camada falhou: as requisições não passaram pela camada 0.4.31 · 29 de set. de 2026 |
Compatibilidade
Compatível não é medido. O SDK funciona com qualquer endpoint compatível com a API da OpenAI, mais o adaptador nativo da Anthropic e o adaptador nativo do Gemini (novo na 0.4.33). Com um valor de poupança no banco público, hoje só modelos da OpenAI e da Anthropic; o Gemini não tem valor de poupança. O que está medido do Gemini: Gemini 3.8 Flash, pela sua API nativa, no banco semanal ao vivo de 1 de outubro de 2026 — as quatro baterias, sem nenhum erro da camada e sem nenhuma recusa em cache nem creditada como poupança. Esse banco verifica que a camada não estraga nada nem cobra a mais; não mede uma poupança. Também medido: o Gemini 3.1 Pro, pela sua API nativa, em duas rodadas parciais de 1 – 2 de outubro de 2026 (a sua quota diária do fornecedor não dá para as quatro baterias num dia): as quatro baterias, também sem nenhuma falha da camada e sem nenhuma recusa em cache nem creditada como poupança.
Bugs que o banco encontrou
O banco não está aqui para ficar bem na fotografia: está aqui para encontrar os bugs antes de você. Encontrou estes, com a versão em que apareceram e a que os corrige.
O cache semântico sem calibração servia a resposta de outra pergunta 0.4.30 → 0.4.31
Com o cache semântico sem calibração, uma variante com outro número («three baskets» versus «two baskets») podia receber a resposta da pergunta original. Contado sobre as variantes do GSM8K.
- Encontrado na 0.4.30: 15 de 111. gsm8k.json
- Corrigido na 0.4.31 (#383).
- Verificado ao vivo na 0.4.31: 0 de 198.
A camada cortava o catálogo de ferramentas sem nenhum sinal para isso 0.4.30 → 0.4.31
Em conversas de vários turnos, o braço B enviava menos ferramentas do que o A, mesmo sem nada indicar quais eram desnecessárias. Contado sobre as conversas multi-turno do BFCL.
- Encontrado na 0.4.30: 20 de 20. bfcl.json
- Corrigido na 0.4.31 (#382).
- Verificado ao vivo na 0.4.31: 0 de 83.
Algumas recusas escritas como texto eram guardadas em cache 0.4.31 → 0.4.32
Uma recusa que o modelo escreve como texto (sem o sinal da API) podia ser guardada em cache, repetida e creditada como economia. Contado em prompts do XSTest.
- Encontrado na 0.4.31: 39 de 2.824. xstest-0431-claude.jsonxstest-0431-gama-alta.jsonxstest-0431.json
- Corrigido na 0.4.32 (#393, #401).
- Medido de novo ao vivo pelo banco semanal em 1 de out. de 2026 (código-fonte do main com a correção, commit 5bec174): 0 recusas em cache e 0 creditadas, em 2.393 prompts do XSTest e 9 modelos. banco-semanal-5bec174.json
Recusas parciais eram guardadas em cache e creditadas 0.4.32 → 0.4.33
Uma resposta que começa cumprindo e se recusa mais adiante (“If you mean harming someone, I can't help…”), ou um pedido de desculpas seguido de “não tenho acesso…”, não era reconhecida como recusa: a camada podia guardá-la em cache, repeti-la e creditá-la como economia. Contado nos prompts do XSTest do banco semanal, com modelos da OpenAI e do Claude.
- Encontrado pelo banco semanal ao vivo em 29 de set. de 2026 (código-fonte do main, commit 105fe13): 12 recusas servidas do cache ou escritas nele e 14 creditadas, em 1.995 prompts do XSTest e 8 modelos. banco-semanal-105fe13.json
- Corrigido na 0.4.33 (#422).
- Medido de novo ao vivo pelo banco semanal em 1 de out. de 2026 (código-fonte do main com a correção, commit 5bec174): 0 recusas em cache e 0 creditadas, em 2.393 prompts do XSTest e 9 modelos. banco-semanal-5bec174.json
Um filtro de conteúdo do Gemini era guardado em cache como resposta 0.4.31 → 0.4.32
O Gemini sinaliza o seu filtro com um motivo de parada próprio, que a camada não reconhecia como recusa, e por isso podia guardá-lo em cache e repeti-lo. Contado em prompts do XSTest.
- Encontrado na 0.4.31: 6 de 508. xstest-0431-gama-alta.json
- Corrigido na 0.4.32 (#402).
- Remedido ao vivo pelo banco semanal em 1 de out. de 2026 (código-fonte do main com a correção, commit 5bec174) com google/gemini-3.8-flash: 0 recusas em cache ou creditadas, em 448 prompts do XSTest. Essa execução não conseguiu medir google/gemini-3.1-pro-preview (esgotou-se a quota ou o limite de taxa do fornecedor, não a camada); aí continua por verificar. banco-semanal-5bec174.json
O Gemini não passava pela camada 0.4.31 → 0.4.32
A camada enviava um campo próprio da API da OpenAI para qualquer endpoint compatível, e o Gemini o rejeita: todas as requisições do braço B falhavam. Contado em requisições do GSM8K.
- Encontrado na 0.4.31: 504 de 504. gsm8k-0431-gama-alta.json
- Corrigido na 0.4.32 (#402).
- Remedido ao vivo pelo banco semanal em 1 de out. de 2026 (código-fonte do main com a correção, commit 5bec174) com google/gemini-3.8-flash: 0 erros só com a camada, em 68 itens de GSM8K. Essa execução não conseguiu medir google/gemini-3.1-pro-preview (esgotou-se a quota ou o limite de taxa do fornecedor, não a camada); aí continua por verificar. banco-semanal-5bec174.json
Com o Gemini 3, o segundo turno com ferramentas falhava 0.4.31 → 0.4.32
A camada não devolvia a assinatura de pensamento que o Gemini 3 exige em cada chamada a ferramentas, e por isso o turno seguinte era rejeitado. Contado em continuações multi-turno do BFCL.
- Encontrado na 0.4.31: 50 de 50. bfcl-0431-gama-alta.json
- Corrigido na 0.4.32 (#402).
- Ainda não remedido num relatório publicado: o banco semanal de 1 de out. de 2026 (código-fonte do main com a correção, commit 5bec174) mediu google/gemini-3.8-flash nesta bateria, mas o seu resumo conta só as entradas de um turno, não as continuações multi-turno onde falhava. Enquanto nenhum relatório as contar, não o damos por verificado. Essa execução não conseguiu medir google/gemini-3.1-pro-preview (esgotou-se a quota ou o limite de taxa do fornecedor, não a camada); aí continua por verificar. banco-semanal-5bec174.json
Com pedidos em paralelo, a correção do nível de raciocínio do Gemini chegava ao cliente como erro 0.4.35 → 0.4.36
O Gemini Flash rejeita o nível de raciocínio MINIMAL; o adaptador nativo tenta de novo uma vez com LOW e lembra o substituto. Com dois pedidos em curso pela mesma camada, um comparava a rejeição com o corpo que o outro já tinha corrigido, não a reconhecia e passava o erro ao cliente. Contado como erros só com a camada, nos prompts do XSTest do banco semanal com Gemini.
- Encontrado pelo banco semanal ao vivo em 30 de set. de 2026 (código-fonte do main, commit ca621e2) com google/gemini-3.8-flash: 1 erros só com a camada, em 450 itens de XSTest. banco-semanal-ca621e2.json
- Corrigido na 0.4.36 (#442).
- Remedido ao vivo pelo banco semanal em 1 de out. de 2026 (código-fonte do main com a correção, commit 5bec174) com google/gemini-3.8-flash: 0 erros só com a camada, em 448 itens de XSTest. Essa execução não conseguiu medir google/gemini-3.1-pro-preview (esgotou-se a quota ou o limite de taxa do fornecedor, não a camada); aí continua por verificar. banco-semanal-5bec174.json
Como reproduzir
O código do banco está no repositório aberto, e o método cabe em cinco passos. Com as suas próprias chaves de fornecedor pode repeti-lo e comparar número a número com os nossos relatórios.
- O dataset. Descarregue cada dataset público no commit da tabela acima e verifique o sha256 de cada ficheiro antes de o usar. Se não bater certo, não é o mesmo dataset.
- A camada. Instale
@bivelio/savings-layera partir do npm na versão indicada pelo relatório e verifique o sha256 dedist/index.js: cada relatório traz o seu. - Dois braços por prompt. A vai direto ao fornecedor; B envia o mesmo prompt, ao mesmo modelo e com o mesmo limite de saída, através da camada com a configuração padrão. Uma parte dos prompts repete-se ou é parafraseada, como no tráfego real, e a ordem A/B é sorteada.
- O uso e os preços de tabela documentam a valorização. Soma o custo de cada braço a partir do
usagereportado pelo fornecedor, ao preço de tabela versionado. A poupança é1 − custo B / custo A, com o seu intervalo; não é uma reconciliação de faturas. - A qualidade, na mesma execução. Pontue da mesma forma as respostas dos dois braços (resposta exata no GSM8K, chamada de ferramenta no BFCL, recusa ou não no XSTest, um juiz no MT-Bench) e compare-as com o relatório JSON da mesma bateria e versão.
Os relatórios
Cada execução deixa um relatório JSON com o seu desenho, as suas limitações e cada chamada medida: usage, custo por braço e classificação da resposta. São servidos a partir deste site.
Os relatórios são servidos tal como o banco os escreveu, com uma exceção: retiram-se os dados do ambiente de quem mediu (caminhos de disco, endereços de e-mail). Do XSTest não se publica o texto de nenhuma resposta, apenas a sua classificação.
Meça-nos você mesmo
Uma medição independente vale mais do que a nossa. O código do banco está no repositório aberto: se quiser repetir a medição, ou medir a camada com o seu próprio harness ou o seu tráfego, escreva-nos e damos-lhe o que precisar para o fazer.
Escreva-nos para support@bivelio.com