A Savings Layer faz parte da plataforma BiVelio
Banco público · reproduzível

O nosso banco A/B, em aberto. Meça-nos.

Publicamos cada execução: quatro baterias com conjuntos de dados públicos, 10 modelos, e os dois braços medidos com o contador de uso do próprio fornecedor. Cada valor traz o seu n, o seu intervalo e a sua data. O que não economiza também está aqui.

baterias
4
modelos testados
10
modelos com alguma medição
10
relatórios em tempo real
15
última execução
1 de out. de 2026

Como ler esta página

A/B com SDK
Dois braços sobre o mesmo pedido, valorizados com a utilização que o fornecedor reporta. É assim que se medem as baterias do banco.
Replay no gateway
Reprodução contrafactual com uma linha de base parcialmente reconstruída. Não é um A/B ao vivo, nem poupança faturada, nem uma reconciliação de faturas.
  1. O mesmo pedido
  2. Braço A: direto ao fornecedor, sem a camada
  3. Braço B: através da camada, com a configuração predefinida
  4. O contador de utilização do fornecedor mede os dois braços

Compatível não significa medido: um modelo só conta aqui se tiver uma execução publicada, e o que não foi possível medir é dito com o seu motivo.

Filtro de leitura

A mostrar 12 de 12 secções.

Preprintv2.3-r1

Verifiable Measurement of Cost Savings in Large Language Model Applications Open-Core Edition

Edição revista após uma revisão externa anterior à publicação: o método, o estimador, a incerteza e os limites de cada valor.

  • 15 páginas
  • CC BY 4.0
  • DOI10.5281/zenodo.24278852
BV-SALA Savings Layer · Joan-Marc FisaTodas as versões (abre num novo separador)

O que é medido, e como

  • Dois braços, o mesmo pedido. A vai direto ao fornecedor, sem a camada; B passa pela camada com a sua configuração predefinida. Mesmo prompt, mesma amostragem, mesmo limite de saída.
  • Uso reportado pelo fornecedor e preços de tabela versionados. Cada braço é valorizado a partir do usage devolvido pela API e de um catálogo datado de preços de tabela. A poupança é 1 − custo(B) / custo(A) da mesma execução. Os montantes são etiquetados measured, reference-valued ou estimated conforme a evidência; isto não é uma reconciliação de faturas.
  • Intervalos ao 95%. Cada harness calcula-os (reamostragem por famílias de perguntas, Wilson para as taxas de recusa). Um intervalo que atravessa o zero significa «indistinguível de zero», e é isso que dizemos.
  • O pacote que você instala. As rodadas A/B das tabelas abaixo foram feitas com a 0.4.31: o braço B executa o código-fonte dessa tag, e o seu dist/index.js é idêntico byte a byte ao do tarball do npm (sha256 b52f99cacf9804ecd3153e56f26ec3adcdc2510d52a8446a369ecf914e0b5731). O banco semanal ao vivo é outra coisa: em cada rodada mede o código-fonte do main tal como está nesse dia, antes de ser publicado.
  • Sem atalhos. Cada harness vigia os hosts com que fala e traz um limite de gasto por modelo escrito no código. Um modelo que não pôde ser medido aparece como «não medido», com o motivo.

Lê o artigo de investigação v2.3-r1, de 15 páginas (PDF): método, tipos de evidência e limitações de cada valor, revisto após uma revisão externa anterior à publicação.

Quatro baterias, conjuntos de dados públicos, fixados

BateriaO que verificaConjunto de dadosArquivos fixadosLicença
GSM8KProblemas matemáticos em texto com repetições e paráfrases: quanto a cache economiza e se a precisão cai.openai/grade-school-mathcommit 3101c7d5072418e28b9008a6636bde82a006892cgsm8k-test
sha256 3730d312f6e3440559ace48831e51066acaca737f6eabec99bccb9e4b3c39d14
gsm8k-train
sha256 17f347dc51477c50d4efb83959dbb7c56297aba886e5544ee2aaed3024813465
MIT
BFCLChamadas a ferramentas: a camada não pode mudar nenhuma, e o catálogo inteiro tem de chegar.ShishirPatil/gorillacommit f7cf7359b7ac615a0b294831c5ba2bc95ee4a000fixado por commitApache-2.0
XSTestRecusas: a camada não pode mudar quando o modelo recusa, nem servir uma recusa da cache.paul-rottger/exaggerated-safetycommit d7bb5bd738c1fcbc36edd83d5e7d1b71a3e2d84dxstest_prompts.csv
sha256 11783fb294ed017473ee53c207d71f2161c7672c8d0b037501e78387f801cb5a
CC-BY-4.0
MT-BenchChat de dois turnos sem repetições: a camada não pode piorar o custo, a latência nem a qualidade.lm-sys/FastChatcommit 587d5cfa1609a43d192cedb8441cac3c17db105dquestion.jsonl
sha256 119565adbab82227089cefdb44c8d7e2cf04dc0a0ec233634c82e7d4e2a944f7
gpt-4.jsonl
sha256 f957a5bc977badb66885ec970e6cd08527845780313f0995764260e5777b9b3f
judge_prompts.jsonl
sha256 fd283293406d024f44c174b094ef48031d0687a4682fd3a56b29b138f80281b6
Apache-2.0

Tradução, sem jargão

O teste é uma experiência justa: a mesma tarefa duas vezes — sem Savings e com Savings — com o mesmo contador do fornecedor a medir as duas.

Num fluxo onde 30% dos pedidos se repetem exatamente, a fatura desceu 31,5% — entre 25,7% e 36,7% com 95% de confiança. O que poupares depende de quanto o teu tráfego se repete.

Uma percentagem não significa nada sem o seu intervalo, o seu modelo e o seu tráfego: publicamos os três.

Banco semanal ao vivo

A/B com SDK

Toda semana, e sempre que o disparamos à mão, uma rodada passa todas as baterias por todos os modelos: o braço A vai direto ao provedor e o B passa pela camada construída a partir do código-fonte do main nesse momento. Não é uma versão publicada: é o que está prestes a ser publicado. A rodada falha se qualquer regra for quebrada, e uma célula que não pôde ser medida diz por quê.

Rodada de 1 de out. de 2026 · código-fonte do main no commit 5bec174 (versão do pacote 0.4.35) · gasto de US$ 21,96 num teto de US$ 50,00 · 36 de 40 células medidas. banco-semanal-5bec174.json

Veredito: sem regressões.

BateriaModeloEstadonGasto / tetoFalhas da camadaO que contaB − ARelatório vs custo de tabela
GSM8Kopenai/gpt-4o-minimedida200US$ 0,12 / US$ 0,750resposta de outra pergunta: 0exatidão -1,7 pp [-4,8, +1,1]0,00%
GSM8Kopenai/gpt-5.4-minimedida106US$ 0,42 / US$ 0,750resposta de outra pergunta: 0exatidão +1,0 pp [0,0, +3,3]0,00%
GSM8Kopenai/gpt-5.5medida24US$ 0,86 / US$ 1,250resposta de outra pergunta: 0exatidão 0,0 pp [0,0, 0,0]0,00%
GSM8Kopenai/gpt-5.6-solmedida34US$ 0,31 / US$ 1,250resposta de outra pergunta: 0exatidão 0,0 pp [0,0, 0,0]0,00%
GSM8Kanthropic/claude-haiku-4-5medida70US$ 0,42 / US$ 0,750resposta de outra pergunta: 0exatidão -1,6 pp [-4,3, 0,0]0,00%
GSM8Kanthropic/claude-sonnet-5medida52US$ 0,48 / US$ 1,100resposta de outra pergunta: 0exatidão 0,0 pp [0,0, 0,0]0,00%
GSM8Kanthropic/claude-sonnet-5-5medida56US$ 0,47 / US$ 1,100resposta de outra pergunta: 0exatidão 0,0 pp [0,0, 0,0]0,00%
GSM8Kanthropic/claude-opus-5-5medida30US$ 0,55 / US$ 1,250resposta de outra pergunta: 0exatidão 0,0 pp [0,0, 0,0]0,00%
GSM8Kgoogle/gemini-3.8-flashmedida68US$ 0,40 / US$ 0,750resposta de outra pergunta: 0exatidão 0,0 pp [0,0, 0,0]0,00%
GSM8Kgoogle/gemini-3.1-pro-previewnão mensurável: esgotou-se a quota ou o limite de taxa do fornecedor, não a camada—
BFCLopenai/gpt-4o-minimedida100US$ 0,03 / US$ 0,750chamadas a ferramentas alteradas: 0exatidão +2,0 pp [0,0, +5,0]0,00%
BFCLopenai/gpt-5.4-minimedida100US$ 0,15 / US$ 0,750chamadas a ferramentas alteradas: 0exatidão -1,0 pp [-5,0, +2,0]0,00%
BFCLopenai/gpt-5.5medida32US$ 0,28 / US$ 1,250chamadas a ferramentas alteradas: 0exatidão +6,3 pp [0,0, +15,6]0,00%
BFCLopenai/gpt-5.6-solmedida32US$ 0,18 / US$ 1,250chamadas a ferramentas alteradas: 0exatidão 0,0 pp [0,0, 0,0]0,00%
BFCLanthropic/claude-haiku-4-5medida100US$ 0,59 / US$ 0,750chamadas a ferramentas alteradas: 0exatidão 0,0 pp [0,0, 0,0]0,00%
BFCLanthropic/claude-sonnet-5medida48US$ 0,72 / US$ 1,100chamadas a ferramentas alteradas: 0exatidão 0,0 pp [-6,3, +6,3]0,00%
BFCLanthropic/claude-sonnet-5-5medida48US$ 0,64 / US$ 1,100chamadas a ferramentas alteradas: 0exatidão 0,0 pp [0,0, 0,0]0,00%
BFCLanthropic/claude-opus-5-5medida32US$ 0,47 / US$ 1,250chamadas a ferramentas alteradas: 0exatidão 0,0 pp [0,0, 0,0]0,00%
BFCLgoogle/gemini-3.8-flashmedida100US$ 0,45 / US$ 0,750chamadas a ferramentas alteradas: 0exatidão +1,0 pp [0,0, +3,0]0,00%
BFCLgoogle/gemini-3.1-pro-previewnão mensurável: esgotou-se a quota ou o limite de taxa do fornecedor, não a camada—
XSTestopenai/gpt-4o-minimedida450US$ 0,06 / US$ 0,750recusas em cache: 0 · creditadas: 0seguros 0,0 pp (p = 1,00)inseguros 0,0 pp (p = 1,00)0,00%
XSTestopenai/gpt-5.4-minimedida (parada no seu teto de gasto)412US$ 0,75 / US$ 0,750recusas em cache: 0 · creditadas: 0seguros +0,9 pp (p = 0,77)inseguros 0,0 pp (p = 1,00)0,00%
XSTestopenai/gpt-5.5medida99US$ 1,01 / US$ 1,250recusas em cache: 0 · creditadas: 0seguros 0,0 pp (p = 1,00)inseguros 0,0 pp (p = 1,00)0,00%
XSTestopenai/gpt-5.6-solmedida99US$ 0,62 / US$ 1,250recusas em cache: 0 · creditadas: 0seguros 0,0 pp (p = 1,00)inseguros 0,0 pp (p = 1,00)0,00%
XSTestanthropic/claude-haiku-4-5medida450US$ 0,63 / US$ 0,750recusas em cache: 0 · creditadas: 0seguros 0,0 pp (p = 1,00)inseguros +0,5 pp (p = 1,00)0,00%
XSTestanthropic/claude-sonnet-5medida200US$ 0,87 / US$ 1,100recusas em cache: 0 · creditadas: 0seguros 0,0 pp (p = 1,00)inseguros +2,2 pp (p = 0,50)0,00%
XSTestanthropic/claude-sonnet-5-5medida153US$ 0,81 / US$ 1,100recusas em cache: 0 · creditadas: 0seguros +1,1 pp (p = 1,00)inseguros +3,0 pp (p = 0,50)0,00%
XSTestanthropic/claude-opus-5-5medida (parada no seu teto de gasto)82US$ 0,82 / US$ 1,250recusas em cache: 0 · creditadas: 0inseguros -3,7 pp (p = 0,45)0,00%
XSTestgoogle/gemini-3.8-flashmedida448US$ 0,52 / US$ 0,750recusas em cache: 0 · creditadas: 0seguros +0,4 pp (p = 1,00)inseguros +1,0 pp (p = 0,75)0,00%
XSTestgoogle/gemini-3.1-pro-previewnão mensurável: esgotou-se a quota ou o limite de taxa do fornecedor, não a camada—
MT-Benchopenai/gpt-4o-minimedida40US$ 0,41 / US$ 1,150—B preferida 48,1% [38,5% – 57,7%]0,00%
MT-Benchopenai/gpt-5.4-minimedida40US$ 0,68 / US$ 1,150—B preferida 51,7% [40,0% – 65,0%]0,00%
MT-Benchopenai/gpt-5.5medida (parada no seu teto de gasto)7US$ 0,65 / US$ 1,650—B preferida 46,4% [28,6% – 64,3%]0,00%
MT-Benchopenai/gpt-5.6-solmedida (parada no seu teto de gasto)11US$ 0,97 / US$ 1,650—B preferida 52,3% [45,5% – 59,1%]0,00%
MT-Benchanthropic/claude-haiku-4-5medida40US$ 0,79 / US$ 1,150—B preferida 52,6% [44,7% – 60,5%]0,00%
MT-Benchanthropic/claude-sonnet-5medida (parada no seu teto de gasto)19US$ 1,18 / US$ 1,500—B preferida 50,0% [38,5% – 59,6%]0,00%
MT-Benchanthropic/claude-sonnet-5-5medida24US$ 1,14 / US$ 1,500—B preferida 50,0% [42,6% – 58,8%]0,00%
MT-Benchanthropic/claude-opus-5-5medida16US$ 1,41 / US$ 1,650—B preferida 35,9% [26,6% – 43,8%]0,00%
MT-Benchgoogle/gemini-3.8-flashmedida (parada no seu teto de gasto)32US$ 1,06 / US$ 1,150—B preferida 39,6% [27,1% – 50,0%]0,00%
MT-Benchgoogle/gemini-3.1-pro-previewnão mensurável: esgotou-se a quota ou o limite de taxa do fornecedor, não a camada—

“Falhas da camada” são erros no braço B que o braço A não teve. “B − A” é a diferença de exatidão no GSM8K e no BFCL, a da taxa de recusas no XSTest (p de McNemar, prompts emparelhados) e, no MT-Bench, com que frequência o juiz prefere B (metade é empate). “Relatório vs custo de tabela” compara o custo reportado pela camada para B com o calculado independentemente a partir do uso reportado pelo fornecedor aos mesmos preços de tabela versionados; não é uma reconciliação de faturas.

Rodadas semanais anteriores

Rodadas parciais

Uma rodada parcial é lançada à mão com apenas alguns modelos ou baterias; por exemplo, a outra jornada de um modelo cuja cota diária do provedor não dá para as suas quatro baterias num dia. Mede o que diz, mas não é a rodada semanal: não conta para publicar.

Economia medida por modelo

A/B com SDK

GSM8K, com um fluxo de requisições em que 30% são repetições exatas e 20% paráfrases. É a bateria com tráfego repetido: a sua economia depende de quanto o seu tráfego se repete. Sem repetições, veja «O que não economiza».

Os dois braços, modelo a modelo

GSM8K, a bateria feita para medir a poupança. Escolha um modelo medido: A vai direto ao fornecedor e B passa pela camada.

Poupança medida por modelo, com o seu intervalo

A/B com SDK

O ponto é a estimativa; a barra, o intervalo de confiança; o traço, o zero. Todos à mesma escala.

openai/gpt-4o-minieconomia0.4.31 · 28 de set. de 2026B−31,5%
A é a referência; B passa pela camada.
31,5% [25,7% – 36,7%] A/B com SDK
200 requisições · 100 únicas
95,0% → 96,1%
0.4.31 · 28 de set. de 2026

Só aparecem os modelos com uma execução medida. Ver a metodologia

ModelonEconomia medida [IC] A/B com SDKDo cache exatoNas chamadas (prefixo)Precisão A → BVersão · data
openai/gpt-4o-mini200 requisições · 100 únicas31,5% [25,7% – 36,7%]US$ 0,0124US$ 0,000695,0% → 96,1%Δ +1,1 pp [0,0, +2,8]0.4.31 · 28 de set. de 2026
openai/gpt-5.4-mini176 requisições · 88 únicas31,7% [25,6% – 37,6%]US$ 0,0734US$ 0,000395,6% → 93,7%Δ -1,9 pp [-5,0, 0,0]0.4.31 · 28 de set. de 2026
openai/gpt-5.522 requisições · 11 únicas33,4% [6,8% – 53,8%]US$ 0,0790-US$ 0,0023100,0% → 100,0%Δ 0,0 pp [0,0, 0,0]0.4.31 · 28 de set. de 2026
openai/gpt-5.6-sol32 requisições · 16 únicas29,2% [9,5% – 46,8%]US$ 0,0252-US$ 0,0003100,0% → 100,0%Δ 0,0 pp [0,0, 0,0]0.4.31 · 28 de set. de 2026
anthropic/claude-haiku-4-5116 requisições · 58 únicas32,2% [23,6% – 40,2%]US$ 0,0773US$ 0,000299,0% → 99,0%Δ 0,0 pp [0,0, 0,0]0.4.31 · 28 de set. de 2026
anthropic/claude-opus-5-532 requisições · 16 únicas77,2% [67,1% – 83,9%]US$ 0,0974US$ 0,1391100,0% → 100,0%Δ 0,0 pp [0,0, 0,0]0.4.31 · 28 de set. de 2026
anthropic/claude-sonnet-562 requisições · 31 únicas75,1% [69,3% – 79,6%]US$ 0,1054US$ 0,1313100,0% → 100,0%Δ 0,0 pp [0,0, 0,0]0.4.31 · 28 de set. de 2026
anthropic/claude-sonnet-5-562 requisições · 31 únicas77,5% [72,0% – 81,7%]US$ 0,0924US$ 0,1289100,0% → 100,0%Δ 0,0 pp [0,0, 0,0]0.4.31 · 28 de set. de 2026
google/gemini-3.1-pro-previewa camada falhou: as requisições não passaram pela camada0.4.31 · 28 de set. de 2026
google/gemini-3.8-flasha camada falhou: as requisições não passaram pela camada0.4.31 · 28 de set. de 2026

De onde vem a economia, posição por posição: «do cache exato» é o que A pagou nas requisições que a camada serviu sem chamar o fornecedor; «nas chamadas» é a diferença nas que realmente o alcançaram, sobretudo o cache de prefixo do fornecedor (mais alguma variação na saída). As duas somadas dão a economia total.

A precisão é medida sobre as perguntas com resposta publicada; as variantes com um número alterado servem apenas para verificar que a camada nunca entrega a resposta de outra pergunta.

A redução de cache do gateway: uma simulação, não um A/B

Replay no gateway

Este é um replay contrafactual com uma baseline parcialmente reconstruída, não uma das baterias A/B ao vivo desta página. Usámos o uso reportado pelo fornecedor em sessões reais de Claude Code de uma só organização, a nossa, com um só fornecedor (Anthropic), e estimámos os custos a preços de tabela versionados com e sem a alteração do TTL da cache do PRO. Não é uma dupla execução ao vivo nem uma reconciliação de faturas.

O veredicto do relatório de 3 de out. de 2026: a redução deixa um líquido de +2,49% da fatura (US$ 113,45 sobre US$ 4.563,61), depois de descontadas as falhas de cache que ela própria provoca.

Sessões
51
Pedidos
19.779
Dias
13
Intervalo de 95%Líquido, sobre a fatura Replay no gateway
Reamostragem por sessão (grupos: 51)+1,50% – +3,57%
Reamostragem por dia (grupos: 13)+1,73% – +4,82%

Bootstrap com 10.000 reamostragens. Os dois intervalos excluem o zero: com este tráfego, a redução ganha dinheiro. O cartão da página inicial cita o intervalo por sessão.

O resultado, com o que desconta

Reduções2.583
Prémio poupado, em bruto+3,10%
Falhas de cache provocadas124
Quanto custam essas falhas-0,62%
Líquido+2,49% · US$ 113,45
Teto: todo o prémio da hora7,2%

As percentagens são sobre a fatura a preço de tabela dos pedidos simulados (US$ 4.563,61). O teto é o máximo que qualquer política de TTL poderia recuperar, mesmo que nunca falhasse. Cada percentagem é arredondada em separado.

Por modelo

ModeloPedidosReduçõesFalhas de cache provocadasLíquido, sobre a fatura do modelo
claude-fable-51.921231+4,64%
claude-fable-5-12.236250+1,65%
claude-opus-58.344702+1,61%
claude-opus-4-81.193340+6,49%
claude-sonnet-56.0802.427121+1,34%
claude-haiku-4-5540sem percentagem (pedidos: 5)

claude-sonnet-5 é o caso feio: concentra 94% das reduções e 98% das falhas, e o seu líquido é quase nulo. No primeiro período da captura, aliás, perdeu: 9,4% da sua fatura. O seu tráfego são fios curtos que se refazem com frequência e voltam depois de passados os cinco minutos. A regra ganha a sério onde os arranques são caros e raros.

Como foi feito: o modelo de cache, declarado

  • A regra é a mesma que o gateway executa, não uma cópia: passa as escritas de cache do TTL de uma hora para o de cinco minutos quando a parte nova é pelo menos 30% do corpo do pedido.
  • A linha de base é o que o fornecedor contou, com o seu uso real, onde a redução ainda não estava ativa; onde já estava, reconstrói-se desfazendo-a (vê os limites). Com a redução, o turno reduzido paga o prémio de escrita de cinco minutos em vez do de uma hora.
  • Uma falha provocada: se o turno seguinte do mesmo fio chegar depois dos cinco minutos e antes da hora, o que o turno reduzido escreveu já não é lido da cache, volta a ser escrito, e esse custo é descontado.
  • Há uma variante conservadora, que além disso dá como perdido o prefixo partilhado entre fios diferentes. Quase não mexe no número: +2,48%, com mais algumas falhas (3).
  • Só números agregados: da captura não sai nenhum prompt, resposta, cabeçalho nem identificador de sessão.

Limites

  • Uma organização, um cliente, um fornecedor. Claude Code contra a Anthropic, com o nosso próprio tráfego. Nenhum outro agente de código e nenhum outro fornecedor.
  • Preço de tabela, simulado. Não é uma fatura: é o uso real, tarifado com o catálogo de preços. Descontos, níveis de conta ou uma subscrição mudariam o dinheiro.
  • O modelo de cache é um modelo. Supõe como o fornecedor indexa as suas entradas de cache; não o observa. A variante conservadora limita esse risco.
  • A maior parte da linha de base está reconstruída. 79% dos pedidos foram gravados com a redução já ativa; aí a linha de base reconstrói-se desfazendo a redução real, e é menos firme do que a do primeiro período. Esse primeiro período, sozinho, dá um intervalo muito mais largo: de +0,29% a +9,12%.
  • O teto muda com o cliente. Depende de quantas escritas de uma hora o agente de código envia, e as versões recentes do Claude Code enviam menos: dos 19.779 pedidos, 7.327 não traziam nenhuma para reduzir.
  • O intervalo entre turnos mede-se a partir da chegada de cada pedido, não do fim da resposta: conta algumas falhas a mais, nunca a menos.
  • Não é uma previsão para a sua equipa. É uma poupança pequena, de um só tráfego, e outro tráfego pode dar outro número, também pior: veja o caso feio.

Em produção: desde a versão 0.5.1 (3 de out. de 2026), o gateway subtrai as falhas que observa, no turno que as sofre, pelo que a poupança desta redução que vês no teu painel é líquida. O que foi registado antes não é recalculado, e o painel assinala como «em bruto» as máquinas com um gateway anterior.

Garantias, contadas

A/B com SDK

A camada nunca alterou uma chamada a ferramentas

0 chamadas alteradas em 1.325 comparações do BFCL, 6 modelos, desde 0.4.31. Se a camada falhar (um erro em B que A não tinha), isso não é contado aqui: está em «Bugs que o banco encontrou».

Como se conta: cada comparação de cada rodada ao vivo desde essa versão, então um modelo medido duas vezes (um piloto e a rodada completa) soma as duas. Por isso o número pode passar do n das tabelas, que mostram uma rodada por modelo.

Nenhuma resposta de outra pergunta desde 0.4.31

0 de 198 variantes (a mesma pergunta com outro número, logo outra resposta) servidas com a resposta de outra pergunta, em 8 modelos ao vivo e em todas as configurações de cache medidas.

Repetição offline de todo o split de teste do GSM8K: 0 em 5.813 requisições, em cada uma das 5 configurações de cache.

A mesma taxa de recusa, com e sem a camada

XSTest, 10 modelos medidos: nenhuma diferença A/B abaixo de p = 0,05 (McNemar, prompts pareados). A camada entregou sem alteração o texto de 4.668 respostas (0 alteradas).

Como se conta: respostas, não prompts. Cada resposta do braço B é comparada com o texto do provedor, repetições do mesmo prompt incluídas, então há mais respostas do que prompts na tabela.

Taxa de recusa por modelo, sem a camada (A) e com ela (B), sobre os mesmos prompts.
ModeloPromptsRecusas, prompts seguros (A → B)Recusas, prompts inseguros (A → B)Versão · data
openai/gpt-4o-mini4505,2% → 5,2% (n = 250, p = 1,00)81,5% → 81,5% (n = 200, p = 1,00)0.4.31 · 28 de set. de 2026
openai/gpt-5.4-mini44111,0% → 9,8% (n = 245, p = 0,63)87,2% → 86,7% (n = 196, p = 1,00)0.4.31 · 28 de set. de 2026
openai/gpt-5.51206,3% → 4,7% (n = 64, p = 1,00)80,0% → 80,0% (n = 55, p = 1,00)0.4.31 · 29 de set. de 2026
openai/gpt-5.6-sol1992,7% → 2,7% (n = 111, p = 1,00)75,6% → 76,7% (n = 86, p = 1,00)0.4.31 · 29 de set. de 2026
anthropic/claude-haiku-4-54501,6% → 2,0% (n = 250, p = 1,00)42,5% → 42,5% (n = 200, p = 1,00)0.4.31 · 29 de set. de 2026
anthropic/claude-opus-5-581—67,1% → 67,1% (n = 79, p = 1,00)0.4.31 · 29 de set. de 2026
anthropic/claude-sonnet-52642,7% → 2,0% (n = 147, p = 1,00)68,4% → 71,8% (n = 117, p = 0,34)0.4.31 · 29 de set. de 2026
anthropic/claude-sonnet-5-53111,5% → 0,0% (n = 135, p = 0,50)64,3% → 65,3% (n = 98, p = 1,00)0.4.31 · 29 de set. de 2026
google/gemini-3.1-pro-preview580,0% → 0,0% (n = 32, p = 1,00)80,8% → 84,6% (n = 26, p = 1,00)0.4.31 · 29 de set. de 2026
google/gemini-3.8-flash4500,4% → 0,4% (n = 249, p = 1,00)67,8% → 66,8% (n = 199, p = 0,73)0.4.31 · 29 de set. de 2026

O que não economiza

A/B com SDK

Sem repetições, a economia é ≈ 0%. Publicamos mesmo assim, porque é o que você vai ver se o seu tráfego não se repetir.

O MT-Bench é um chat de dois turnos com uma camada nova a cada pergunta: não há nada que o cache possa reutilizar, e o prompt quase nunca atinge o mínimo que o fornecedor exige para fazer cache de um prefixo. No BFCL, cada chamada a ferramentas é diferente. O que estas duas baterias medem é que a camada não piora nada; a diferença de custo que sobra é ruído na saída do modelo, não a camada.

BateriaModelonEconomia medida [IC] A/B com SDKLeituraVersão · data
BFCLopenai/gpt-4o-mini400 itens0,1% [0,0% – 0,3%]indistinguível de zero0.4.31 · 28 de set. de 2026
BFCLopenai/gpt-5.4-mini400 itens-0,2% [-1,0% – 0,5%]indistinguível de zero0.4.31 · 28 de set. de 2026
BFCLanthropic/claude-haiku-4-548 itens0,1% [0,0% – 0,2%]indistinguível de zero0.4.31 · 29 de set. de 2026
BFCLanthropic/claude-sonnet-548 itens1,5% [-1,6% – 5,8%]indistinguível de zero0.4.31 · 29 de set. de 2026
BFCLgoogle/gemini-3.1-pro-preview97 itens4,8% [-6,6% – 15,6%]indistinguível de zero0.4.31 · 29 de set. de 2026
BFCLgoogle/gemini-3.8-flash324 itens-10,7% [-27,8% – 3,2%]indistinguível de zero0.4.31 · 29 de set. de 2026
MT-Benchopenai/gpt-4o-mini80 perguntas3,3% [0,8% – 6,0%]economia · não atribuível à camada0.4.31 · 28 de set. de 2026
MT-Benchopenai/gpt-5.4-mini80 perguntas-3,5% [-8,6% – 1,6%]indistinguível de zero · não atribuível à camada0.4.31 · 28 de set. de 2026
MT-Benchopenai/gpt-5.58 perguntas2,1% [-4,4% – 9,7%]indistinguível de zero0.4.31 · 29 de set. de 2026
MT-Benchopenai/gpt-5.6-sol13 perguntas-0,4% [-21,2% – 13,5%]indistinguível de zero · não atribuível à camada0.4.31 · 29 de set. de 2026
MT-Benchanthropic/claude-haiku-4-580 perguntas-2,6% [-4,6% – -0,9%]custo extra · não atribuível à camada0.4.31 · 28 de set. de 2026
MT-Benchanthropic/claude-opus-5-518 perguntas1,1% [-2,0% – 4,9%]indistinguível de zero0.4.31 · 29 de set. de 2026
MT-Benchanthropic/claude-sonnet-523 perguntas1,7% [-8,9% – 12,7%]indistinguível de zero0.4.31 · 28 de set. de 2026
MT-Benchanthropic/claude-sonnet-5-537 perguntas-0,8% [-2,5% – 0,9%]indistinguível de zero0.4.31 · 29 de set. de 2026

Estado por modelo e bateria

Cada célula mostra a execução na versão mais alta da camada. Se um modelo não pôde ser medido, dizemos por quê, em vez de deixar o espaço em branco.

ModeloGSM8KBFCLXSTestMT-Bench
openai/gpt-4o-minimedido · n = 200
0.4.31 · 28 de set. de 2026
medido · n = 400
0.4.31 · 28 de set. de 2026
medido · n = 450
0.4.31 · 28 de set. de 2026
medido · n = 80
0.4.31 · 28 de set. de 2026
openai/gpt-5.4-minimedido · n = 176
0.4.31 · 28 de set. de 2026
medido · n = 400
0.4.31 · 28 de set. de 2026
medido · n = 441
0.4.31 · 28 de set. de 2026
medido · n = 80
0.4.31 · 28 de set. de 2026
openai/gpt-5.5medido · n = 22
0.4.31 · 28 de set. de 2026
não medido: limite de gasto esgotado
0.4.31 · 29 de set. de 2026
medido · n = 120
0.4.31 · 29 de set. de 2026
medido · n = 8
0.4.31 · 29 de set. de 2026
openai/gpt-5.6-solmedido · n = 32
0.4.31 · 28 de set. de 2026
não medido: o fornecedor rejeitou a requisição em ambos os braços
0.4.31 · 29 de set. de 2026
medido · n = 199
0.4.31 · 29 de set. de 2026
medido · n = 13
0.4.31 · 29 de set. de 2026
anthropic/claude-haiku-4-5medido · n = 116
0.4.31 · 28 de set. de 2026
medido · n = 48
0.4.31 · 29 de set. de 2026
medido · n = 450
0.4.31 · 29 de set. de 2026
medido · n = 80
0.4.31 · 28 de set. de 2026
anthropic/claude-opus-5-5medido · n = 32
0.4.31 · 28 de set. de 2026
não medido: limite de gasto esgotado
0.4.31 · 29 de set. de 2026
medido · n = 81
0.4.31 · 29 de set. de 2026
medido · n = 18
0.4.31 · 29 de set. de 2026
anthropic/claude-sonnet-5medido · n = 62
0.4.31 · 28 de set. de 2026
medido · n = 48
0.4.31 · 29 de set. de 2026
medido · n = 264
0.4.31 · 29 de set. de 2026
medido · n = 23
0.4.31 · 28 de set. de 2026
anthropic/claude-sonnet-5-5medido · n = 62
0.4.31 · 28 de set. de 2026
não medido: limite de gasto esgotado
0.4.31 · 29 de set. de 2026
medido · n = 311
0.4.31 · 29 de set. de 2026
medido · n = 37
0.4.31 · 29 de set. de 2026
google/gemini-3.1-pro-previewa camada falhou: as requisições não passaram pela camada
0.4.31 · 28 de set. de 2026
medido · n = 97
0.4.31 · 29 de set. de 2026
medido · n = 58
0.4.31 · 29 de set. de 2026
não medido: cota do fornecedor esgotada
0.4.31 · 29 de set. de 2026
google/gemini-3.8-flasha camada falhou: as requisições não passaram pela camada
0.4.31 · 28 de set. de 2026
medido · n = 324
0.4.31 · 29 de set. de 2026
medido · n = 450
0.4.31 · 29 de set. de 2026
a camada falhou: as requisições não passaram pela camada
0.4.31 · 29 de set. de 2026

Compatibilidade

Compatível com
OpenAIAnthropicGeminiMistralLlamaDeepSeekPerplexityHugging FaceNVIDIA NIMAzure OpenAIBedrockOllamavLLM

Compatível não é medido. O SDK funciona com qualquer endpoint compatível com a API da OpenAI, mais o adaptador nativo da Anthropic e o adaptador nativo do Gemini (novo na 0.4.33). Com um valor de poupança no banco público, hoje só modelos da OpenAI e da Anthropic; o Gemini não tem valor de poupança. O que está medido do Gemini: Gemini 3.8 Flash, pela sua API nativa, no banco semanal ao vivo de 1 de outubro de 2026 — as quatro baterias, sem nenhum erro da camada e sem nenhuma recusa em cache nem creditada como poupança. Esse banco verifica que a camada não estraga nada nem cobra a mais; não mede uma poupança. Também medido: o Gemini 3.1 Pro, pela sua API nativa, em duas rodadas parciais de 1 – 2 de outubro de 2026 (a sua quota diária do fornecedor não dá para as quatro baterias num dia): as quatro baterias, também sem nenhuma falha da camada e sem nenhuma recusa em cache nem creditada como poupança.

Bugs que o banco encontrou

O banco não está aqui para ficar bem na fotografia: está aqui para encontrar os bugs antes de você. Encontrou estes, com a versão em que apareceram e a que os corrige.

  1. O cache semântico sem calibração servia a resposta de outra pergunta 0.4.30 → 0.4.31

    Com o cache semântico sem calibração, uma variante com outro número («three baskets» versus «two baskets») podia receber a resposta da pergunta original. Contado sobre as variantes do GSM8K.

    • Encontrado na 0.4.30: 15 de 111. gsm8k.json
    • Corrigido na 0.4.31 (#383).
    • Verificado ao vivo na 0.4.31: 0 de 198.
  2. A camada cortava o catálogo de ferramentas sem nenhum sinal para isso 0.4.30 → 0.4.31

    Em conversas de vários turnos, o braço B enviava menos ferramentas do que o A, mesmo sem nada indicar quais eram desnecessárias. Contado sobre as conversas multi-turno do BFCL.

    • Encontrado na 0.4.30: 20 de 20. bfcl.json
    • Corrigido na 0.4.31 (#382).
    • Verificado ao vivo na 0.4.31: 0 de 83.
  3. Algumas recusas escritas como texto eram guardadas em cache 0.4.31 → 0.4.32

    Uma recusa que o modelo escreve como texto (sem o sinal da API) podia ser guardada em cache, repetida e creditada como economia. Contado em prompts do XSTest.

  4. Recusas parciais eram guardadas em cache e creditadas 0.4.32 → 0.4.33

    Uma resposta que começa cumprindo e se recusa mais adiante (“If you mean harming someone, I can't help…”), ou um pedido de desculpas seguido de “não tenho acesso…”, não era reconhecida como recusa: a camada podia guardá-la em cache, repeti-la e creditá-la como economia. Contado nos prompts do XSTest do banco semanal, com modelos da OpenAI e do Claude.

    • Encontrado pelo banco semanal ao vivo em 29 de set. de 2026 (código-fonte do main, commit 105fe13): 12 recusas servidas do cache ou escritas nele e 14 creditadas, em 1.995 prompts do XSTest e 8 modelos. banco-semanal-105fe13.json
    • Corrigido na 0.4.33 (#422).
    • Medido de novo ao vivo pelo banco semanal em 1 de out. de 2026 (código-fonte do main com a correção, commit 5bec174): 0 recusas em cache e 0 creditadas, em 2.393 prompts do XSTest e 9 modelos. banco-semanal-5bec174.json
  5. Um filtro de conteúdo do Gemini era guardado em cache como resposta 0.4.31 → 0.4.32

    O Gemini sinaliza o seu filtro com um motivo de parada próprio, que a camada não reconhecia como recusa, e por isso podia guardá-lo em cache e repeti-lo. Contado em prompts do XSTest.

    • Encontrado na 0.4.31: 6 de 508. xstest-0431-gama-alta.json
    • Corrigido na 0.4.32 (#402).
    • Remedido ao vivo pelo banco semanal em 1 de out. de 2026 (código-fonte do main com a correção, commit 5bec174) com google/gemini-3.8-flash: 0 recusas em cache ou creditadas, em 448 prompts do XSTest. Essa execução não conseguiu medir google/gemini-3.1-pro-preview (esgotou-se a quota ou o limite de taxa do fornecedor, não a camada); aí continua por verificar. banco-semanal-5bec174.json
  6. O Gemini não passava pela camada 0.4.31 → 0.4.32

    A camada enviava um campo próprio da API da OpenAI para qualquer endpoint compatível, e o Gemini o rejeita: todas as requisições do braço B falhavam. Contado em requisições do GSM8K.

    • Encontrado na 0.4.31: 504 de 504. gsm8k-0431-gama-alta.json
    • Corrigido na 0.4.32 (#402).
    • Remedido ao vivo pelo banco semanal em 1 de out. de 2026 (código-fonte do main com a correção, commit 5bec174) com google/gemini-3.8-flash: 0 erros só com a camada, em 68 itens de GSM8K. Essa execução não conseguiu medir google/gemini-3.1-pro-preview (esgotou-se a quota ou o limite de taxa do fornecedor, não a camada); aí continua por verificar. banco-semanal-5bec174.json
  7. Com o Gemini 3, o segundo turno com ferramentas falhava 0.4.31 → 0.4.32

    A camada não devolvia a assinatura de pensamento que o Gemini 3 exige em cada chamada a ferramentas, e por isso o turno seguinte era rejeitado. Contado em continuações multi-turno do BFCL.

    • Encontrado na 0.4.31: 50 de 50. bfcl-0431-gama-alta.json
    • Corrigido na 0.4.32 (#402).
    • Ainda não remedido num relatório publicado: o banco semanal de 1 de out. de 2026 (código-fonte do main com a correção, commit 5bec174) mediu google/gemini-3.8-flash nesta bateria, mas o seu resumo conta só as entradas de um turno, não as continuações multi-turno onde falhava. Enquanto nenhum relatório as contar, não o damos por verificado. Essa execução não conseguiu medir google/gemini-3.1-pro-preview (esgotou-se a quota ou o limite de taxa do fornecedor, não a camada); aí continua por verificar. banco-semanal-5bec174.json
  8. Com pedidos em paralelo, a correção do nível de raciocínio do Gemini chegava ao cliente como erro 0.4.35 → 0.4.36

    O Gemini Flash rejeita o nível de raciocínio MINIMAL; o adaptador nativo tenta de novo uma vez com LOW e lembra o substituto. Com dois pedidos em curso pela mesma camada, um comparava a rejeição com o corpo que o outro já tinha corrigido, não a reconhecia e passava o erro ao cliente. Contado como erros só com a camada, nos prompts do XSTest do banco semanal com Gemini.

    • Encontrado pelo banco semanal ao vivo em 30 de set. de 2026 (código-fonte do main, commit ca621e2) com google/gemini-3.8-flash: 1 erros só com a camada, em 450 itens de XSTest. banco-semanal-ca621e2.json
    • Corrigido na 0.4.36 (#442).
    • Remedido ao vivo pelo banco semanal em 1 de out. de 2026 (código-fonte do main com a correção, commit 5bec174) com google/gemini-3.8-flash: 0 erros só com a camada, em 448 itens de XSTest. Essa execução não conseguiu medir google/gemini-3.1-pro-preview (esgotou-se a quota ou o limite de taxa do fornecedor, não a camada); aí continua por verificar. banco-semanal-5bec174.json

Como reproduzir

O código do banco está no repositório aberto, e o método cabe em cinco passos. Com as suas próprias chaves de fornecedor pode repeti-lo e comparar número a número com os nossos relatórios.

  1. O dataset. Descarregue cada dataset público no commit da tabela acima e verifique o sha256 de cada ficheiro antes de o usar. Se não bater certo, não é o mesmo dataset.
  2. A camada. Instale @bivelio/savings-layer a partir do npm na versão indicada pelo relatório e verifique o sha256 de dist/index.js: cada relatório traz o seu.
  3. Dois braços por prompt. A vai direto ao fornecedor; B envia o mesmo prompt, ao mesmo modelo e com o mesmo limite de saída, através da camada com a configuração padrão. Uma parte dos prompts repete-se ou é parafraseada, como no tráfego real, e a ordem A/B é sorteada.
  4. O uso e os preços de tabela documentam a valorização. Soma o custo de cada braço a partir do usage reportado pelo fornecedor, ao preço de tabela versionado. A poupança é 1 − custo B / custo A, com o seu intervalo; não é uma reconciliação de faturas.
  5. A qualidade, na mesma execução. Pontue da mesma forma as respostas dos dois braços (resposta exata no GSM8K, chamada de ferramenta no BFCL, recusa ou não no XSTest, um juiz no MT-Bench) e compare-as com o relatório JSON da mesma bateria e versão.

Os relatórios

Cada execução deixa um relatório JSON com o seu desenho, as suas limitações e cada chamada medida: usage, custo por braço e classificação da resposta. São servidos a partir deste site.

Os relatórios são servidos tal como o banco os escreveu, com uma exceção: retiram-se os dados do ambiente de quem mediu (caminhos de disco, endereços de e-mail). Do XSTest não se publica o texto de nenhuma resposta, apenas a sua classificação.

Meça-nos você mesmo

Uma medição independente vale mais do que a nossa. O código do banco está no repositório aberto: se quiser repetir a medição, ou medir a camada com o seu próprio harness ou o seu tráfego, escreva-nos e damos-lhe o que precisar para o fazer.

Escreva-nos para support@bivelio.com

Enviar um e-mail