Savings Layer fa parte della piattaforma BiVelio
Banco di prova pubblico · riproducibile

Il nostro banco di prova A/B, alla luce del sole. Misuraci.

Pubblichiamo ogni esecuzione: quattro batterie su dataset pubblici, 10 modelli, ed entrambi i bracci misurati con il contatore di utilizzo del fornitore stesso. Ogni cifra porta il suo n, il suo intervallo e la sua data. Anche ciò che non fa risparmiare è qui.

batterie
4
modelli testati
10
modelli con almeno una misurazione
10
report in tempo reale
15
ultima esecuzione
1 ott 2026

Come leggere questa pagina

A/B con SDK
Due bracci sulla stessa richiesta, valorizzati con l'uso dichiarato dal fornitore. Così si misurano le batterie del banco.
Replay sul gateway
Riproduzione controfattuale con una linea di base parzialmente ricostruita. Non è un A/B dal vivo, né un risparmio fatturato, né una riconciliazione delle fatture.
  1. La stessa richiesta
  2. Braccio A: direttamente al fornitore, senza il livello
  3. Braccio B: attraverso il livello, con la configurazione predefinita
  4. Il contatore di utilizzo del fornitore misura entrambi i bracci

Compatibile non significa misurato: un modello conta qui solo se ha un'esecuzione pubblicata, e ciò che non si è potuto misurare è indicato con il suo motivo.

Filtro di lettura

Sezioni mostrate: 12 di 12.

Preprintv2.3-r1

Verifiable Measurement of Cost Savings in Large Language Model Applications Open-Core Edition

Edizione rivista dopo una revisione esterna precedente alla pubblicazione: il metodo, lo stimatore, l'incertezza e i limiti di ogni cifra.

  • 15 pagine
  • CC BY 4.0
  • DOI10.5281/zenodo.24278852
BV-SALA Savings Layer · Joan-Marc FisaTutte le versioni (si apre in una nuova scheda)

Cosa si misura, e come

  • Due bracci, la stessa richiesta. A va direttamente al fornitore, senza il livello; B passa attraverso il livello con la sua configurazione predefinita. Stesso prompt, stesso campionamento, stesso limite di output.
  • Utilizzo riportato dal fornitore e prezzi di listino versionati. Ogni braccio è valorizzato in base all<code>usage</code> restituito dallAPI e a un catalogo datato dei prezzi di listino. Il risparmio è 1 − costo(B) / costo(A) della stessa esecuzione. Gli importi sono etichettati measured, reference-valued o estimated secondo la loro evidenza; non è una riconciliazione di fatture.
  • Intervalli al 95%. Li calcola ciascun harness (ricampionamento per famiglie di domande, Wilson per i tassi di rifiuto). Un intervallo che attraversa lo zero significa «indistinguibile da zero», e lo diciamo.
  • Il pacchetto che installi. Le esecuzioni A/B delle tabelle qui sotto sono state fatte con la 0.4.31: il braccio B esegue il sorgente di quel tag, e il suo dist/index.js è identico byte per byte a quello del tarball npm (sha256 b52f99cacf9804ecd3153e56f26ec3adcdc2510d52a8446a369ecf914e0b5731). Il banco settimanale dal vivo è un'altra cosa: a ogni esecuzione misura il sorgente di main così com'è quel giorno, prima che venga pubblicato.
  • Nessuna scorciatoia. Ogni harness sorveglia gli host con cui comunica e applica un limite di spesa per modello scritto nel codice. Un modello che non è stato possibile misurare risulta «non misurato», con il motivo.

Leggi l'articolo di ricerca v2.3-r1, di 15 pagine (PDF): metodo, tipi di evidenza e limiti di ogni cifra, rivisto dopo una revisione esterna precedente alla pubblicazione.

Quattro batterie, dataset pubblici, fissati

BatteriaCosa verificaDatasetFile fissatiLicenza
GSM8KProblemi matematici a parole con ripetizioni e parafrasi: quanto fa risparmiare la cache e se l'accuratezza cala.openai/grade-school-mathcommit 3101c7d5072418e28b9008a6636bde82a006892cgsm8k-test
sha256 3730d312f6e3440559ace48831e51066acaca737f6eabec99bccb9e4b3c39d14
gsm8k-train
sha256 17f347dc51477c50d4efb83959dbb7c56297aba886e5544ee2aaed3024813465
MIT
BFCLChiamate a strumenti: il livello non deve cambiarne nemmeno una, e il catalogo intero deve arrivare.ShishirPatil/gorillacommit f7cf7359b7ac615a0b294831c5ba2bc95ee4a000fissato per commitApache-2.0
XSTestRifiuti: il livello non deve cambiare quando il modello rifiuta, né servire un rifiuto dalla cache.paul-rottger/exaggerated-safetycommit d7bb5bd738c1fcbc36edd83d5e7d1b71a3e2d84dxstest_prompts.csv
sha256 11783fb294ed017473ee53c207d71f2161c7672c8d0b037501e78387f801cb5a
CC-BY-4.0
MT-BenchChat a due turni senza ripetizioni: il livello non deve peggiorare costo, latenza o qualità.lm-sys/FastChatcommit 587d5cfa1609a43d192cedb8441cac3c17db105dquestion.jsonl
sha256 119565adbab82227089cefdb44c8d7e2cf04dc0a0ec233634c82e7d4e2a944f7
gpt-4.jsonl
sha256 f957a5bc977badb66885ec970e6cd08527845780313f0995764260e5777b9b3f
judge_prompts.jsonl
sha256 fd283293406d024f44c174b094ef48031d0687a4682fd3a56b29b138f80281b6
Apache-2.0

Traduzione, senza gergo

Il test è un esperimento equo: lo stesso compito due volte — senza Savings e con Savings — con lo stesso contatore del fornitore che misura entrambi.

Su un flusso in cui il 30% delle richieste si ripetono identiche, la bolletta è scesa del 31,5% — tra 25,7% e 36,7% con il 95% di confidenza. Quanto risparmierai dipende da quanto si ripete il tuo traffico.

Una percentuale non significa nulla senza il suo intervallo, il suo modello e il suo traffico: pubblichiamo tutti e tre.

Banco settimanale dal vivo

A/B con SDK

Ogni settimana, e ogni volta che lo lanciamo a mano, un'esecuzione passa tutte le batterie su tutti i modelli: il braccio A va diretto al fornitore, il B passa per il livello costruito dal sorgente di main in quel momento. Non è una versione pubblicata: è ciò che sta per esserlo. L'esecuzione fallisce se si rompe una qualsiasi regola, e una cella che non si è potuta misurare dice perché.

Esecuzione del 1 ott 2026 · sorgente di main al commit 5bec174 (versione del pacchetto 0.4.35) · spesa 21,96 USD su un tetto di 50,00 USD · 36 celle misurate su 40. banco-semanal-5bec174.json

Verdetto: nessuna regressione.

BatteriaModelloStatonSpesa / tettoErrori del livelloCosa contaB − AReport rispetto al costo di listino
GSM8Kopenai/gpt-4o-minimisurata2000,12 USD / 0,75 USD0risposta di un'altra domanda: 0accuratezza -1,7 pp [-4,8, +1,1]0,00%
GSM8Kopenai/gpt-5.4-minimisurata1060,42 USD / 0,75 USD0risposta di un'altra domanda: 0accuratezza +1,0 pp [0,0, +3,3]0,00%
GSM8Kopenai/gpt-5.5misurata240,86 USD / 1,25 USD0risposta di un'altra domanda: 0accuratezza 0,0 pp [0,0, 0,0]0,00%
GSM8Kopenai/gpt-5.6-solmisurata340,31 USD / 1,25 USD0risposta di un'altra domanda: 0accuratezza 0,0 pp [0,0, 0,0]0,00%
GSM8Kanthropic/claude-haiku-4-5misurata700,42 USD / 0,75 USD0risposta di un'altra domanda: 0accuratezza -1,6 pp [-4,3, 0,0]0,00%
GSM8Kanthropic/claude-sonnet-5misurata520,48 USD / 1,10 USD0risposta di un'altra domanda: 0accuratezza 0,0 pp [0,0, 0,0]0,00%
GSM8Kanthropic/claude-sonnet-5-5misurata560,47 USD / 1,10 USD0risposta di un'altra domanda: 0accuratezza 0,0 pp [0,0, 0,0]0,00%
GSM8Kanthropic/claude-opus-5-5misurata300,55 USD / 1,25 USD0risposta di un'altra domanda: 0accuratezza 0,0 pp [0,0, 0,0]0,00%
GSM8Kgoogle/gemini-3.8-flashmisurata680,40 USD / 0,75 USD0risposta di un'altra domanda: 0accuratezza 0,0 pp [0,0, 0,0]0,00%
GSM8Kgoogle/gemini-3.1-pro-previewnon misurabile: quota o limite di frequenza del fornitore esaurito, non lo strato—
BFCLopenai/gpt-4o-minimisurata1000,03 USD / 0,75 USD0chiamate a strumenti cambiate: 0accuratezza +2,0 pp [0,0, +5,0]0,00%
BFCLopenai/gpt-5.4-minimisurata1000,15 USD / 0,75 USD0chiamate a strumenti cambiate: 0accuratezza -1,0 pp [-5,0, +2,0]0,00%
BFCLopenai/gpt-5.5misurata320,28 USD / 1,25 USD0chiamate a strumenti cambiate: 0accuratezza +6,3 pp [0,0, +15,6]0,00%
BFCLopenai/gpt-5.6-solmisurata320,18 USD / 1,25 USD0chiamate a strumenti cambiate: 0accuratezza 0,0 pp [0,0, 0,0]0,00%
BFCLanthropic/claude-haiku-4-5misurata1000,59 USD / 0,75 USD0chiamate a strumenti cambiate: 0accuratezza 0,0 pp [0,0, 0,0]0,00%
BFCLanthropic/claude-sonnet-5misurata480,72 USD / 1,10 USD0chiamate a strumenti cambiate: 0accuratezza 0,0 pp [-6,3, +6,3]0,00%
BFCLanthropic/claude-sonnet-5-5misurata480,64 USD / 1,10 USD0chiamate a strumenti cambiate: 0accuratezza 0,0 pp [0,0, 0,0]0,00%
BFCLanthropic/claude-opus-5-5misurata320,47 USD / 1,25 USD0chiamate a strumenti cambiate: 0accuratezza 0,0 pp [0,0, 0,0]0,00%
BFCLgoogle/gemini-3.8-flashmisurata1000,45 USD / 0,75 USD0chiamate a strumenti cambiate: 0accuratezza +1,0 pp [0,0, +3,0]0,00%
BFCLgoogle/gemini-3.1-pro-previewnon misurabile: quota o limite di frequenza del fornitore esaurito, non lo strato—
XSTestopenai/gpt-4o-minimisurata4500,06 USD / 0,75 USD0rifiuti in cache: 0 · accreditati: 0sicuri 0,0 pp (p = 1,00)non sicuri 0,0 pp (p = 1,00)0,00%
XSTestopenai/gpt-5.4-minimisurata (fermata al suo tetto di spesa)4120,75 USD / 0,75 USD0rifiuti in cache: 0 · accreditati: 0sicuri +0,9 pp (p = 0,77)non sicuri 0,0 pp (p = 1,00)0,00%
XSTestopenai/gpt-5.5misurata991,01 USD / 1,25 USD0rifiuti in cache: 0 · accreditati: 0sicuri 0,0 pp (p = 1,00)non sicuri 0,0 pp (p = 1,00)0,00%
XSTestopenai/gpt-5.6-solmisurata990,62 USD / 1,25 USD0rifiuti in cache: 0 · accreditati: 0sicuri 0,0 pp (p = 1,00)non sicuri 0,0 pp (p = 1,00)0,00%
XSTestanthropic/claude-haiku-4-5misurata4500,63 USD / 0,75 USD0rifiuti in cache: 0 · accreditati: 0sicuri 0,0 pp (p = 1,00)non sicuri +0,5 pp (p = 1,00)0,00%
XSTestanthropic/claude-sonnet-5misurata2000,87 USD / 1,10 USD0rifiuti in cache: 0 · accreditati: 0sicuri 0,0 pp (p = 1,00)non sicuri +2,2 pp (p = 0,50)0,00%
XSTestanthropic/claude-sonnet-5-5misurata1530,81 USD / 1,10 USD0rifiuti in cache: 0 · accreditati: 0sicuri +1,1 pp (p = 1,00)non sicuri +3,0 pp (p = 0,50)0,00%
XSTestanthropic/claude-opus-5-5misurata (fermata al suo tetto di spesa)820,82 USD / 1,25 USD0rifiuti in cache: 0 · accreditati: 0non sicuri -3,7 pp (p = 0,45)0,00%
XSTestgoogle/gemini-3.8-flashmisurata4480,52 USD / 0,75 USD0rifiuti in cache: 0 · accreditati: 0sicuri +0,4 pp (p = 1,00)non sicuri +1,0 pp (p = 0,75)0,00%
XSTestgoogle/gemini-3.1-pro-previewnon misurabile: quota o limite di frequenza del fornitore esaurito, non lo strato—
MT-Benchopenai/gpt-4o-minimisurata400,41 USD / 1,15 USD0—B preferita 48,1% [38,5% – 57,7%]0,00%
MT-Benchopenai/gpt-5.4-minimisurata400,68 USD / 1,15 USD0—B preferita 51,7% [40,0% – 65,0%]0,00%
MT-Benchopenai/gpt-5.5misurata (fermata al suo tetto di spesa)70,65 USD / 1,65 USD0—B preferita 46,4% [28,6% – 64,3%]0,00%
MT-Benchopenai/gpt-5.6-solmisurata (fermata al suo tetto di spesa)110,97 USD / 1,65 USD0—B preferita 52,3% [45,5% – 59,1%]0,00%
MT-Benchanthropic/claude-haiku-4-5misurata400,79 USD / 1,15 USD0—B preferita 52,6% [44,7% – 60,5%]0,00%
MT-Benchanthropic/claude-sonnet-5misurata (fermata al suo tetto di spesa)191,18 USD / 1,50 USD0—B preferita 50,0% [38,5% – 59,6%]0,00%
MT-Benchanthropic/claude-sonnet-5-5misurata241,14 USD / 1,50 USD0—B preferita 50,0% [42,6% – 58,8%]0,00%
MT-Benchanthropic/claude-opus-5-5misurata161,41 USD / 1,65 USD0—B preferita 35,9% [26,6% – 43,8%]0,00%
MT-Benchgoogle/gemini-3.8-flashmisurata (fermata al suo tetto di spesa)321,06 USD / 1,15 USD0—B preferita 39,6% [27,1% – 50,0%]0,00%
MT-Benchgoogle/gemini-3.1-pro-previewnon misurabile: quota o limite di frequenza del fornitore esaurito, non lo strato—

Gli «errori del livello» sono errori del braccio B che il braccio A non ha avuto. «B − A» è la differenza di accuratezza in GSM8K e BFCL, quella del tasso di rifiuto in XSTest (p di McNemar, prompt appaiati) e, in MT-Bench, quanto spesso il giudice preferisce B (la metà è un pareggio). «Report rispetto al costo di listino» confronta il costo riportato dal livello per B con quello calcolato indipendentemente dall'utilizzo riportato dal fornitore agli stessi prezzi di listino versionati; non è una riconciliazione di fatture.

Esecuzioni settimanali precedenti

Esecuzioni parziali

Un'esecuzione parziale si lancia a mano con solo alcuni modelli o batterie; per esempio, l'altra giornata di un modello la cui quota giornaliera del fornitore non basta per le sue quattro batterie in un giorno. Misura ciò che dichiara, ma non è l'esecuzione settimanale: non conta per pubblicare.

Risparmio misurato per modello

A/B con SDK

GSM8K, con un flusso di richieste in cui 30% sono ripetizioni esatte e 20% parafrasi. È la batteria con traffico ripetuto: il tuo risparmio dipende da quanto si ripete il tuo traffico. Senza ripetizioni, vedi «Cosa non fa risparmiare».

I due bracci, modello per modello

GSM8K, la batteria pensata per misurare il risparmio. Scegli un modello misurato: A va diretto al fornitore e B passa dal livello.

Risparmio misurato per modello, con il suo intervallo

A/B con SDK

Il punto è la stima; la barra, l'intervallo di confidenza; la linea, lo zero. Tutti sulla stessa scala.

openai/gpt-4o-minirisparmio0.4.31 · 28 set 2026B−31,5%
A è il riferimento; B passa dal livello.
31,5% [25,7% – 36,7%] A/B con SDK
200 richieste · 100 uniche
95,0% → 96,1%
0.4.31 · 28 set 2026

Compaiono solo i modelli con un'esecuzione misurata. Vedi la metodologia

ModellonRisparmio misurato [IC] A/B con SDKDalla cache esattaNelle chiamate (prefisso)Accuratezza A → BVersione · data
openai/gpt-4o-mini200 richieste · 100 uniche31,5% [25,7% – 36,7%]0,0124 USD0,0006 USD95,0% → 96,1%Δ +1,1 pp [0,0, +2,8]0.4.31 · 28 set 2026
openai/gpt-5.4-mini176 richieste · 88 uniche31,7% [25,6% – 37,6%]0,0734 USD0,0003 USD95,6% → 93,7%Δ -1,9 pp [-5,0, 0,0]0.4.31 · 28 set 2026
openai/gpt-5.522 richieste · 11 uniche33,4% [6,8% – 53,8%]0,0790 USD-0,0023 USD100,0% → 100,0%Δ 0,0 pp [0,0, 0,0]0.4.31 · 28 set 2026
openai/gpt-5.6-sol32 richieste · 16 uniche29,2% [9,5% – 46,8%]0,0252 USD-0,0003 USD100,0% → 100,0%Δ 0,0 pp [0,0, 0,0]0.4.31 · 28 set 2026
anthropic/claude-haiku-4-5116 richieste · 58 uniche32,2% [23,6% – 40,2%]0,0773 USD0,0002 USD99,0% → 99,0%Δ 0,0 pp [0,0, 0,0]0.4.31 · 28 set 2026
anthropic/claude-opus-5-532 richieste · 16 uniche77,2% [67,1% – 83,9%]0,0974 USD0,1391 USD100,0% → 100,0%Δ 0,0 pp [0,0, 0,0]0.4.31 · 28 set 2026
anthropic/claude-sonnet-562 richieste · 31 uniche75,1% [69,3% – 79,6%]0,1054 USD0,1313 USD100,0% → 100,0%Δ 0,0 pp [0,0, 0,0]0.4.31 · 28 set 2026
anthropic/claude-sonnet-5-562 richieste · 31 uniche77,5% [72,0% – 81,7%]0,0924 USD0,1289 USD100,0% → 100,0%Δ 0,0 pp [0,0, 0,0]0.4.31 · 28 set 2026
google/gemini-3.1-pro-previewil livello ha fallito: le richieste non sono passate dal livello0.4.31 · 28 set 2026
google/gemini-3.8-flashil livello ha fallito: le richieste non sono passate dal livello0.4.31 · 28 set 2026

Da dove viene il risparmio, posizione per posizione: «dalla cache esatta» è ciò che A ha pagato sulle richieste che il livello ha servito senza chiamare il fornitore; «nelle chiamate» è la differenza su quelle che invece lo hanno raggiunto, soprattutto la cache di prefisso del fornitore (più un po' di variazione nell'output). Le due voci sommate danno il risparmio totale.

L'accuratezza è misurata sulle domande con risposta pubblicata; le varianti con un numero cambiato servono solo a verificare che il livello non restituisca mai la risposta di un'altra domanda.

La riduzione della cache del gateway: una simulazione, non un A/B

Replay sul gateway

Questo è un replay controfattuale con una baseline parzialmente ricostruita, non una delle batterie A/B dal vivo della pagina. Abbiamo usato l'utilizzo riportato dal fornitore per sessioni reali di Claude Code di una sola organizzazione, la nostra, con un solo fornitore (Anthropic), e stimato i costi ai prezzi di listino versionati con e senza la modifica del TTL della cache di PRO. Non è una doppia esecuzione dal vivo né una riconciliazione di fatture.

Il verdetto del report del 3 ott 2026: la riduzione lascia un netto di +2,49% della fattura (113,45 USD su 4563,61 USD), dopo aver sottratto i mancati riscontri di cache che essa stessa provoca.

Sessioni
51
Richieste
19.779
Giorni
13
Intervallo al 95%Netto, sulla fattura Replay sul gateway
Ricampionando per sessione (gruppi: 51)+1,50% – +3,57%
Ricampionando per giorno (gruppi: 13)+1,73% – +4,82%

Bootstrap con 10.000 ricampionamenti. Entrambi gli intervalli escludono lo zero: con questo traffico, la riduzione fa guadagnare. La scheda della home page cita l'intervallo per sessione.

Il risultato, con ciò che sottrae

Riduzioni2583
Sovrapprezzo risparmiato, lordo+3,10%
Mancati riscontri di cache provocati124
Quanto costano quei mancati riscontri-0,62%
Netto+2,49% · 113,45 USD
Tetto: l'intero sovrapprezzo dell'ora7,2%

Le percentuali sono calcolate sulla fattura a prezzi di listino delle richieste simulate (4563,61 USD). Il tetto è il massimo che qualsiasi politica di TTL potrebbe recuperare, anche senza sbagliare mai. Ogni percentuale è arrotondata separatamente.

Per modello

ModelloRichiesteRiduzioniMancati riscontri di cache provocatiNetto, sulla fattura del modello
claude-fable-51921231+4,64%
claude-fable-5-12236250+1,65%
claude-opus-58344702+1,61%
claude-opus-4-81193340+6,49%
claude-sonnet-560802427121+1,34%
claude-haiku-4-5540nessuna percentuale (richieste: 5)

claude-sonnet-5 è il caso brutto: concentra il 94% delle riduzioni e il 98% dei mancati riscontri, e il suo netto è quasi nullo. Nel primo periodo della cattura, anzi, ha perso: 9,4% della sua fattura. Il suo traffico è fatto di thread brevi che vengono ricostruiti spesso e tornano passati i cinque minuti. La regola guadagna davvero dove gli avvii sono costosi e rari.

Come è stato fatto: il modello di cache, dichiarato

  • La regola è la stessa che esegue il gateway, non una copia: sposta le scritture di cache dal TTL di un'ora a quello di cinque minuti quando la parte nuova è almeno il 30% del corpo della richiesta.
  • La linea di base è ciò che il fornitore ha contato, con il suo uso reale, dove la riduzione non era ancora attiva; dove lo era già, si ricostruisce annullandola (vedi i limiti). Con la riduzione, il turno ridotto paga il sovrapprezzo di scrittura da cinque minuti invece di quello da un'ora.
  • Un mancato riscontro provocato: se il turno successivo dello stesso thread arriva dopo i cinque minuti e prima dell'ora, ciò che il turno ridotto ha scritto non viene più letto dalla cache, viene riscritto, e quel costo viene sottratto.
  • Esiste una variante conservativa, che considera perso anche il prefisso condiviso tra thread diversi. Sposta appena la cifra: +2,48%, con qualche mancato riscontro in più (3).
  • Solo cifre aggregate: dalla cattura non esce alcun prompt, risposta, intestazione né identificativo di sessione.

Limiti

  • Un'organizzazione, un client, un provider. Claude Code verso Anthropic, con il nostro traffico. Nessun altro agente di codice e nessun altro provider.
  • Prezzo di listino, simulato. Non è una fattura: è l'utilizzo reale, tariffato con il catalogo dei prezzi. Sconti, livelli di account o un abbonamento cambierebbero gli importi.
  • Il modello di cache è un modello. Ipotizza come il provider indicizza le sue voci di cache; non lo osserva. La variante conservativa delimita quel rischio.
  • La maggior parte della linea di base è ricostruita. Il 79% delle richieste è stato registrato con la riduzione già attiva; lì la linea di base si ricostruisce annullando la riduzione reale, ed è meno solida di quella del primo tratto. Quel primo tratto, da solo, dà un intervallo molto più ampio: da +0,29% a +9,12%.
  • Il tetto cambia con il client. Dipende da quante scritture da un'ora invia l'agente di codice, e le versioni recenti di Claude Code ne inviano meno: delle 19.779 richieste, 7327 non ne avevano nessuna da ridurre.
  • L'intervallo tra i turni si misura dall'arrivo di ogni richiesta, non dalla fine della risposta: conta qualche mancato riscontro in più, mai in meno.
  • Non è una previsione per il tuo team. È un risparmio piccolo, di un solo traffico, e un altro traffico può dare un'altra cifra, anche peggiore: guarda il caso brutto.

In produzione: dalla versione 0.5.1 (3 ott 2026), il gateway sottrae i mancati riscontri che osserva, nel turno che li subisce, così il risparmio di questa riduzione che vedi nel tuo pannello è al netto. Ciò che è stato registrato prima non viene ricalcolato, e il pannello segnala come «al lordo» le macchine con un gateway precedente.

Garanzie, contate

A/B con SDK

Il livello non ha mai cambiato una chiamata a strumenti

0 chiamate alterate su 1325 confronti BFCL, 6 modelli, da 0.4.31. Se il livello fallisce (un errore in B che A non aveva), non viene contato qui: è sotto «Bug trovati dal banco di prova».

Come si conta: ogni confronto di ogni esecuzione dal vivo da quella versione, quindi un modello misurato due volte (un pilota e l'esecuzione completa) conta entrambe. Per questo la cifra può superare la n delle tabelle, che mostrano un'esecuzione per modello.

Nessuna risposta di un'altra domanda da 0.4.31

0 varianti su 198 (la stessa domanda con un altro numero, e quindi un'altra risposta) servite con la risposta di un'altra domanda, su 8 modelli live e tutte le configurazioni di cache misurate.

Replay offline dell'intero split di test di GSM8K: 0 su 5813 richieste, in ciascuna delle 5 configurazioni di cache.

Lo stesso tasso di rifiuto, con e senza il livello

XSTest, 10 modelli misurati: nessuna differenza A/B sotto p = 0,05 (McNemar, prompt appaiati). Il livello ha consegnato senza alterazioni il testo di 4668 risposte (0 alterate).

Come si conta: risposte, non prompt. Ogni risposta del braccio B viene confrontata con il testo del fornitore, ripetizioni dello stesso prompt incluse, quindi ci sono più risposte che prompt in tabella.

Tasso di rifiuto per modello, senza il livello (A) e con esso (B), sugli stessi prompt.
ModelloPromptRifiuti, prompt sicuri (A → B)Rifiuti, prompt non sicuri (A → B)Versione · data
openai/gpt-4o-mini4505,2% → 5,2% (n = 250, p = 1,00)81,5% → 81,5% (n = 200, p = 1,00)0.4.31 · 28 set 2026
openai/gpt-5.4-mini44111,0% → 9,8% (n = 245, p = 0,63)87,2% → 86,7% (n = 196, p = 1,00)0.4.31 · 28 set 2026
openai/gpt-5.51206,3% → 4,7% (n = 64, p = 1,00)80,0% → 80,0% (n = 55, p = 1,00)0.4.31 · 29 set 2026
openai/gpt-5.6-sol1992,7% → 2,7% (n = 111, p = 1,00)75,6% → 76,7% (n = 86, p = 1,00)0.4.31 · 29 set 2026
anthropic/claude-haiku-4-54501,6% → 2,0% (n = 250, p = 1,00)42,5% → 42,5% (n = 200, p = 1,00)0.4.31 · 29 set 2026
anthropic/claude-opus-5-581—67,1% → 67,1% (n = 79, p = 1,00)0.4.31 · 29 set 2026
anthropic/claude-sonnet-52642,7% → 2,0% (n = 147, p = 1,00)68,4% → 71,8% (n = 117, p = 0,34)0.4.31 · 29 set 2026
anthropic/claude-sonnet-5-53111,5% → 0,0% (n = 135, p = 0,50)64,3% → 65,3% (n = 98, p = 1,00)0.4.31 · 29 set 2026
google/gemini-3.1-pro-preview580,0% → 0,0% (n = 32, p = 1,00)80,8% → 84,6% (n = 26, p = 1,00)0.4.31 · 29 set 2026
google/gemini-3.8-flash4500,4% → 0,4% (n = 249, p = 1,00)67,8% → 66,8% (n = 199, p = 0,73)0.4.31 · 29 set 2026

Cosa non fa risparmiare

A/B con SDK

Senza ripetizioni, il risparmio è ≈ 0%. Lo pubblichiamo comunque, perché è ciò che vedrai se il tuo traffico non si ripete.

MT-Bench è una chat a due turni con un livello nuovo per ogni domanda: non c'è nulla che la cache possa riutilizzare, e il prompt quasi mai raggiunge il minimo richiesto dal fornitore per mettere in cache un prefisso. In BFCL ogni chiamata a strumenti è diversa. Ciò che queste due batterie misurano è che il livello non peggiori nulla; la differenza di costo residua è rumore nell'output del modello, non il livello.

BatteriaModellonRisparmio misurato [IC] A/B con SDKLetturaVersione · data
BFCLopenai/gpt-4o-mini400 elementi0,1% [0,0% – 0,3%]indistinguibile da zero0.4.31 · 28 set 2026
BFCLopenai/gpt-5.4-mini400 elementi-0,2% [-1,0% – 0,5%]indistinguibile da zero0.4.31 · 28 set 2026
BFCLanthropic/claude-haiku-4-548 elementi0,1% [0,0% – 0,2%]indistinguibile da zero0.4.31 · 29 set 2026
BFCLanthropic/claude-sonnet-548 elementi1,5% [-1,6% – 5,8%]indistinguibile da zero0.4.31 · 29 set 2026
BFCLgoogle/gemini-3.1-pro-preview97 elementi4,8% [-6,6% – 15,6%]indistinguibile da zero0.4.31 · 29 set 2026
BFCLgoogle/gemini-3.8-flash324 elementi-10,7% [-27,8% – 3,2%]indistinguibile da zero0.4.31 · 29 set 2026
MT-Benchopenai/gpt-4o-mini80 domande3,3% [0,8% – 6,0%]risparmio · non attribuibile al livello0.4.31 · 28 set 2026
MT-Benchopenai/gpt-5.4-mini80 domande-3,5% [-8,6% – 1,6%]indistinguibile da zero · non attribuibile al livello0.4.31 · 28 set 2026
MT-Benchopenai/gpt-5.58 domande2,1% [-4,4% – 9,7%]indistinguibile da zero0.4.31 · 29 set 2026
MT-Benchopenai/gpt-5.6-sol13 domande-0,4% [-21,2% – 13,5%]indistinguibile da zero · non attribuibile al livello0.4.31 · 29 set 2026
MT-Benchanthropic/claude-haiku-4-580 domande-2,6% [-4,6% – -0,9%]costo aggiuntivo · non attribuibile al livello0.4.31 · 28 set 2026
MT-Benchanthropic/claude-opus-5-518 domande1,1% [-2,0% – 4,9%]indistinguibile da zero0.4.31 · 29 set 2026
MT-Benchanthropic/claude-sonnet-523 domande1,7% [-8,9% – 12,7%]indistinguibile da zero0.4.31 · 28 set 2026
MT-Benchanthropic/claude-sonnet-5-537 domande-0,8% [-2,5% – 0,9%]indistinguibile da zero0.4.31 · 29 set 2026

Stato per modello e batteria

Ogni cella mostra l'esecuzione sulla versione più alta del livello. Se un modello non è stato possibile misurarlo, diciamo il perché invece di lasciare un vuoto.

ModelloGSM8KBFCLXSTestMT-Bench
openai/gpt-4o-minimisurato · n = 200
0.4.31 · 28 set 2026
misurato · n = 400
0.4.31 · 28 set 2026
misurato · n = 450
0.4.31 · 28 set 2026
misurato · n = 80
0.4.31 · 28 set 2026
openai/gpt-5.4-minimisurato · n = 176
0.4.31 · 28 set 2026
misurato · n = 400
0.4.31 · 28 set 2026
misurato · n = 441
0.4.31 · 28 set 2026
misurato · n = 80
0.4.31 · 28 set 2026
openai/gpt-5.5misurato · n = 22
0.4.31 · 28 set 2026
non misurato: limite di spesa esaurito
0.4.31 · 29 set 2026
misurato · n = 120
0.4.31 · 29 set 2026
misurato · n = 8
0.4.31 · 29 set 2026
openai/gpt-5.6-solmisurato · n = 32
0.4.31 · 28 set 2026
non misurato: il fornitore ha rifiutato la richiesta in entrambi i bracci
0.4.31 · 29 set 2026
misurato · n = 199
0.4.31 · 29 set 2026
misurato · n = 13
0.4.31 · 29 set 2026
anthropic/claude-haiku-4-5misurato · n = 116
0.4.31 · 28 set 2026
misurato · n = 48
0.4.31 · 29 set 2026
misurato · n = 450
0.4.31 · 29 set 2026
misurato · n = 80
0.4.31 · 28 set 2026
anthropic/claude-opus-5-5misurato · n = 32
0.4.31 · 28 set 2026
non misurato: limite di spesa esaurito
0.4.31 · 29 set 2026
misurato · n = 81
0.4.31 · 29 set 2026
misurato · n = 18
0.4.31 · 29 set 2026
anthropic/claude-sonnet-5misurato · n = 62
0.4.31 · 28 set 2026
misurato · n = 48
0.4.31 · 29 set 2026
misurato · n = 264
0.4.31 · 29 set 2026
misurato · n = 23
0.4.31 · 28 set 2026
anthropic/claude-sonnet-5-5misurato · n = 62
0.4.31 · 28 set 2026
non misurato: limite di spesa esaurito
0.4.31 · 29 set 2026
misurato · n = 311
0.4.31 · 29 set 2026
misurato · n = 37
0.4.31 · 29 set 2026
google/gemini-3.1-pro-previewil livello ha fallito: le richieste non sono passate dal livello
0.4.31 · 28 set 2026
misurato · n = 97
0.4.31 · 29 set 2026
misurato · n = 58
0.4.31 · 29 set 2026
non misurato: quota del fornitore esaurita
0.4.31 · 29 set 2026
google/gemini-3.8-flashil livello ha fallito: le richieste non sono passate dal livello
0.4.31 · 28 set 2026
misurato · n = 324
0.4.31 · 29 set 2026
misurato · n = 450
0.4.31 · 29 set 2026
il livello ha fallito: le richieste non sono passate dal livello
0.4.31 · 29 set 2026

Compatibilità

Compatibile con
OpenAIAnthropicGeminiMistralLlamaDeepSeekPerplexityHugging FaceNVIDIA NIMAzure OpenAIBedrockOllamavLLM

Compatibile non vuol dire misurato. L'SDK funziona con qualsiasi endpoint compatibile con l'API di OpenAI, più l'adattatore nativo di Anthropic e l'adattatore nativo di Gemini (novità della 0.4.33). Con una cifra di risparmio sul banco pubblico, oggi solo i modelli di OpenAI e di Anthropic; Gemini non ha una cifra di risparmio. Ciò che è misurato per Gemini: Gemini 3.8 Flash, tramite la sua API nativa, nel banco settimanale dal vivo del 1 ottobre 2026 — tutte e quattro le batterie, senza errori dello strato e senza alcun rifiuto in cache o accreditato come risparmio. Quel banco verifica che lo strato non rompa nulla e non faccia pagare di più; non misura un risparmio. Misurato anche: Gemini 3.1 Pro, tramite la sua API nativa, in due esecuzioni parziali del 01–02 ottobre 2026 (la sua quota giornaliera del fornitore non basta per le quattro batterie in un giorno): tutte e quattro le batterie, anche qui senza alcun errore del livello e senza alcun rifiuto messo in cache o contato come risparmio.

Bug trovati dal banco di prova

Il banco di prova non c'è per fare bella figura: c'è per trovare i bug prima di te. Ha trovato questi, con la versione in cui sono comparsi e quella che li corregge.

  1. La cache semantica non calibrata serviva la risposta di un'altra domanda 0.4.30 → 0.4.31

    Con la cache semantica non calibrata, una variante con un altro numero («three baskets» contro «two baskets») poteva ricevere la risposta della domanda originale. Contato sulle varianti di GSM8K.

    • Trovato nella 0.4.30: 15 su 111. gsm8k.json
    • Corretto nella 0.4.31 (#383).
    • Verificato dal vivo sulla 0.4.31: 0 su 198.
  2. Il livello tagliava il catalogo di strumenti senza alcun segnale per farlo 0.4.30 → 0.4.31

    Nelle conversazioni multi-turno, il braccio B inviava meno strumenti del braccio A anche se nulla indicava quali fossero superflui. Contato sulle conversazioni multi-turno di BFCL.

    • Trovato nella 0.4.30: 20 su 20. bfcl.json
    • Corretto nella 0.4.31 (#382).
    • Verificato dal vivo sulla 0.4.31: 0 su 83.
  3. Alcuni rifiuti scritti come testo venivano messi in cache 0.4.31 → 0.4.32

    Un rifiuto che il modello scrive come testo (senza il segnale dell'API) poteva essere messo in cache, ripetuto e accreditato come risparmio. Contato nei prompt di XSTest.

  4. I rifiuti parziali venivano messi in cache e accreditati 0.4.32 → 0.4.33

    Una risposta che inizia assecondando e più avanti rifiuta («If you mean harming someone, I can't help…»), o una scusa seguita da «non ho accesso…», non veniva riconosciuta come rifiuto: il livello poteva metterla in cache, ripeterla e accreditarla come risparmio. Contato nei prompt di XSTest del banco settimanale, con modelli di OpenAI e Claude.

    • Trovato dal banco settimanale dal vivo il 29 set 2026 (sorgente di main, commit 105fe13): 12 rifiuti serviti dalla cache o scritti in essa e 14 accreditati, su 1995 prompt di XSTest e 8 modelli. banco-semanal-105fe13.json
    • Corretto nella 0.4.33 (#422).
    • Rimisurato dal vivo dal banco settimanale il 1 ott 2026 (sorgente di main con la correzione, commit 5bec174): 0 rifiuti in cache e 0 accreditati, su 2393 prompt di XSTest e 9 modelli. banco-semanal-5bec174.json
  5. Un filtro di contenuto di Gemini veniva messo in cache come risposta 0.4.31 → 0.4.32

    Gemini segnala il suo filtro con un proprio motivo di arresto, che il livello non riconosceva come rifiuto, così poteva metterlo in cache e ripeterlo. Contato nei prompt di XSTest.

    • Trovato nella 0.4.31: 6 su 508. xstest-0431-gama-alta.json
    • Corretto nella 0.4.32 (#402).
    • Rimisurato dal vivo dal banco settimanale il 1 ott 2026 (sorgente di main con la correzione, commit 5bec174) con google/gemini-3.8-flash: 0 rifiuti in cache o accreditati, su 448 prompt di XSTest. Quel giro non ha potuto misurare google/gemini-3.1-pro-preview (quota o limite di frequenza del fornitore esaurito, non lo strato); lì resta non verificato. banco-semanal-5bec174.json
  6. Gemini non passava dal livello 0.4.31 → 0.4.32

    Il livello inviava un campo specifico dell'API di OpenAI a qualsiasi endpoint compatibile, e Gemini lo rifiuta: tutte le richieste del braccio B fallivano. Contato nelle richieste di GSM8K.

    • Trovato nella 0.4.31: 504 su 504. gsm8k-0431-gama-alta.json
    • Corretto nella 0.4.32 (#402).
    • Rimisurato dal vivo dal banco settimanale il 1 ott 2026 (sorgente di main con la correzione, commit 5bec174) con google/gemini-3.8-flash: 0 errori solo con lo strato, su 68 elementi di GSM8K. Quel giro non ha potuto misurare google/gemini-3.1-pro-preview (quota o limite di frequenza del fornitore esaurito, non lo strato); lì resta non verificato. banco-semanal-5bec174.json
  7. Con Gemini 3, il secondo turno con strumenti falliva 0.4.31 → 0.4.32

    Il livello non restituiva la firma di pensiero che Gemini 3 richiede a ogni chiamata a strumenti, così il turno successivo veniva rifiutato. Contato nelle continuazioni multi-turno di BFCL.

    • Trovato nella 0.4.31: 50 su 50. bfcl-0431-gama-alta.json
    • Corretto nella 0.4.32 (#402).
    • Non ancora rimisurato in un rapporto pubblicato: il banco settimanale del 1 ott 2026 (sorgente di main con la correzione, commit 5bec174) ha misurato google/gemini-3.8-flash in questa batteria, ma il suo riepilogo conta solo le voci a un turno, non le continuazioni multi-turno dove falliva. Finché nessun rapporto le conta, non lo consideriamo verificato. Quel giro non ha potuto misurare google/gemini-3.1-pro-preview (quota o limite di frequenza del fornitore esaurito, non lo strato); lì resta non verificato. banco-semanal-5bec174.json
  8. Con richieste in parallelo, la correzione del livello di ragionamento di Gemini arrivava al client come errore 0.4.35 → 0.4.36

    Gemini Flash rifiuta il livello di ragionamento MINIMAL; l'adattatore nativo riprova una volta con LOW e ricorda il sostituto. Con due richieste in volo attraverso lo stesso strato, una confrontava il rifiuto con il corpo che l'altra aveva già corretto, non lo riconosceva e passava l'errore al client. Contato come errori solo con lo strato, nei prompt di XSTest del banco settimanale con Gemini.

    • Trovato dal banco settimanale dal vivo il 30 set 2026 (sorgente di main, commit ca621e2) con google/gemini-3.8-flash: 1 errori solo con lo strato, su 450 elementi di XSTest. banco-semanal-ca621e2.json
    • Corretto nella 0.4.36 (#442).
    • Rimisurato dal vivo dal banco settimanale il 1 ott 2026 (sorgente di main con la correzione, commit 5bec174) con google/gemini-3.8-flash: 0 errori solo con lo strato, su 448 elementi di XSTest. Quel giro non ha potuto misurare google/gemini-3.1-pro-preview (quota o limite di frequenza del fornitore esaurito, non lo strato); lì resta non verificato. banco-semanal-5bec174.json

Come riprodurlo

Il codice del banco di prova è nel repository aperto, e il metodo sta in cinque passi. Con le tue chiavi del fornitore puoi ripeterlo e confrontarlo cifra per cifra con i nostri report.

  1. Il dataset. Scarica ogni dataset pubblico al commit della tabella qui sopra e controlla lo sha256 di ogni file prima di usarlo. Se non corrisponde, non è lo stesso dataset.
  2. Il livello. Installa @bivelio/savings-layer da npm nella versione indicata dal report e controlla lo sha256 di dist/index.js: ogni report riporta il suo.
  3. Due bracci per prompt. A va diretto al fornitore; B invia lo stesso prompt, allo stesso modello e con lo stesso limite di output, attraverso il livello con la configurazione predefinita. Una parte dei prompt viene ripetuta o parafrasata, come nel traffico reale, e l'ordine A/B è sorteggiato.
  4. Utilizzo e prezzi di listino documentano la valorizzazione. Somma il costo di ogni braccio dallo usage riportato dal fornitore, al prezzo di listino versionato. Il risparmio è 1 − costo B / costo A, con il suo intervallo; non è una riconciliazione di fatture.
  5. La qualità, nella stessa esecuzione. Valuta allo stesso modo le risposte dei due bracci (risposta esatta in GSM8K, chiamata di strumento in BFCL, rifiuto o no in XSTest, un giudice in MT-Bench) e confrontale con il report JSON della stessa batteria e versione.

I report

Ogni esecuzione lascia un report JSON con il suo disegno, i suoi limiti e ogni chiamata misurata: usage, costo per braccio e classificazione della risposta. Sono serviti da questo sito.

I report sono serviti così come il banco li ha scritti, con un'eccezione: si tolgono i dati sull'ambiente di chi ha misurato (percorsi su disco, indirizzi email). Di XSTest non si pubblica il testo di nessuna risposta, solo la sua classificazione.

Misuraci tu stesso

Una misurazione indipendente vale più della nostra. Il codice del banco è nel repository aperto: se vuoi ripetere la misurazione, o misurare il livello con il tuo harness o con il tuo traffico, scrivici e ti daremo ciò che ti serve per farlo.

Scrivici a support@bivelio.com

Invia un'email