Il nostro banco di prova A/B, alla luce del sole. Misuraci.
Pubblichiamo ogni esecuzione: quattro batterie su dataset pubblici, 10 modelli, ed entrambi i bracci misurati con il contatore di utilizzo del fornitore stesso. Ogni cifra porta il suo n, il suo intervallo e la sua data. Anche ciò che non fa risparmiare è qui.
- batterie
- 4
- modelli testati
- 10
- modelli con almeno una misurazione
- 10
- report in tempo reale
- 15
- ultima esecuzione
- 1 ott 2026
Come leggere questa pagina
- A/B con SDK
- Due bracci sulla stessa richiesta, valorizzati con l'uso dichiarato dal fornitore. Così si misurano le batterie del banco.
- Replay sul gateway
- Riproduzione controfattuale con una linea di base parzialmente ricostruita. Non è un A/B dal vivo, né un risparmio fatturato, né una riconciliazione delle fatture.
- La stessa richiesta
- Braccio A: direttamente al fornitore, senza il livello
- Braccio B: attraverso il livello, con la configurazione predefinita
- Il contatore di utilizzo del fornitore misura entrambi i bracci
Compatibile non significa misurato: un modello conta qui solo se ha un'esecuzione pubblicata, e ciò che non si è potuto misurare è indicato con il suo motivo.
Filtro di lettura
Sezioni mostrate: 12 di 12.
Preprintv2.3-r1
Verifiable Measurement of Cost Savings in Large Language Model Applications Open-Core Edition
Edizione rivista dopo una revisione esterna precedente alla pubblicazione: il metodo, lo stimatore, l'incertezza e i limiti di ogni cifra.
Cosa si misura, e come
- Due bracci, la stessa richiesta. A va direttamente al fornitore, senza il livello; B passa attraverso il livello con la sua configurazione predefinita. Stesso prompt, stesso campionamento, stesso limite di output.
- Utilizzo riportato dal fornitore e prezzi di listino versionati. Ogni braccio è valorizzato in base all<code>usage</code> restituito dallAPI e a un catalogo datato dei prezzi di listino. Il risparmio è 1 − costo(B) / costo(A) della stessa esecuzione. Gli importi sono etichettati measured, reference-valued o estimated secondo la loro evidenza; non è una riconciliazione di fatture.
- Intervalli al 95%. Li calcola ciascun harness (ricampionamento per famiglie di domande, Wilson per i tassi di rifiuto). Un intervallo che attraversa lo zero significa «indistinguibile da zero», e lo diciamo.
- Il pacchetto che installi. Le esecuzioni A/B delle tabelle qui sotto sono state fatte con la 0.4.31: il braccio B esegue il sorgente di quel tag, e il suo
dist/index.jsè identico byte per byte a quello del tarball npm (sha256b52f99cacf9804ecd3153e56f26ec3adcdc2510d52a8446a369ecf914e0b5731). Il banco settimanale dal vivo è un'altra cosa: a ogni esecuzione misura il sorgente di main così com'è quel giorno, prima che venga pubblicato. - Nessuna scorciatoia. Ogni harness sorveglia gli host con cui comunica e applica un limite di spesa per modello scritto nel codice. Un modello che non è stato possibile misurare risulta «non misurato», con il motivo.
Leggi l'articolo di ricerca v2.3-r1, di 15 pagine (PDF): metodo, tipi di evidenza e limiti di ogni cifra, rivisto dopo una revisione esterna precedente alla pubblicazione.
Quattro batterie, dataset pubblici, fissati
| Batteria | Cosa verifica | Dataset | File fissati | Licenza |
|---|---|---|---|---|
| GSM8K | Problemi matematici a parole con ripetizioni e parafrasi: quanto fa risparmiare la cache e se l'accuratezza cala. | openai/grade-school-mathcommit 3101c7d5072418e28b9008a6636bde82a006892c | gsm8k-test sha256 3730d312f6e3440559ace48831e51066acaca737f6eabec99bccb9e4b3c39d14gsm8k-trainsha256 17f347dc51477c50d4efb83959dbb7c56297aba886e5544ee2aaed3024813465 | MIT |
| BFCL | Chiamate a strumenti: il livello non deve cambiarne nemmeno una, e il catalogo intero deve arrivare. | ShishirPatil/gorillacommit f7cf7359b7ac615a0b294831c5ba2bc95ee4a000 | fissato per commit | Apache-2.0 |
| XSTest | Rifiuti: il livello non deve cambiare quando il modello rifiuta, né servire un rifiuto dalla cache. | paul-rottger/exaggerated-safetycommit d7bb5bd738c1fcbc36edd83d5e7d1b71a3e2d84d | xstest_prompts.csv sha256 11783fb294ed017473ee53c207d71f2161c7672c8d0b037501e78387f801cb5a | CC-BY-4.0 |
| MT-Bench | Chat a due turni senza ripetizioni: il livello non deve peggiorare costo, latenza o qualità. | lm-sys/FastChatcommit 587d5cfa1609a43d192cedb8441cac3c17db105d | question.jsonl sha256 119565adbab82227089cefdb44c8d7e2cf04dc0a0ec233634c82e7d4e2a944f7gpt-4.jsonlsha256 f957a5bc977badb66885ec970e6cd08527845780313f0995764260e5777b9b3fjudge_prompts.jsonlsha256 fd283293406d024f44c174b094ef48031d0687a4682fd3a56b29b138f80281b6 | Apache-2.0 |
Traduzione, senza gergo
Il test è un esperimento equo: lo stesso compito due volte — senza Savings e con Savings — con lo stesso contatore del fornitore che misura entrambi.
Su un flusso in cui il 30% delle richieste si ripetono identiche, la bolletta è scesa del 31,5% — tra 25,7% e 36,7% con il 95% di confidenza. Quanto risparmierai dipende da quanto si ripete il tuo traffico.
Una percentuale non significa nulla senza il suo intervallo, il suo modello e il suo traffico: pubblichiamo tutti e tre.
Banco settimanale dal vivo
A/B con SDK
Ogni settimana, e ogni volta che lo lanciamo a mano, un'esecuzione passa tutte le batterie su tutti i modelli: il braccio A va diretto al fornitore, il B passa per il livello costruito dal sorgente di main in quel momento. Non è una versione pubblicata: è ciò che sta per esserlo. L'esecuzione fallisce se si rompe una qualsiasi regola, e una cella che non si è potuta misurare dice perché.
Esecuzione del 1 ott 2026 · sorgente di main al commit 5bec174 (versione del pacchetto 0.4.35) · spesa 21,96 USD su un tetto di 50,00 USD · 36 celle misurate su 40. banco-semanal-5bec174.json
Verdetto: nessuna regressione.
| Batteria | Modello | Stato | n | Spesa / tetto | Errori del livello | Cosa conta | B − A | Report rispetto al costo di listino |
|---|---|---|---|---|---|---|---|---|
| GSM8K | openai/gpt-4o-mini | misurata | 200 | 0,12 USD / 0,75 USD | 0 | risposta di un'altra domanda: 0 | accuratezza -1,7 pp [-4,8, +1,1] | 0,00% |
| GSM8K | openai/gpt-5.4-mini | misurata | 106 | 0,42 USD / 0,75 USD | 0 | risposta di un'altra domanda: 0 | accuratezza +1,0 pp [0,0, +3,3] | 0,00% |
| GSM8K | openai/gpt-5.5 | misurata | 24 | 0,86 USD / 1,25 USD | 0 | risposta di un'altra domanda: 0 | accuratezza 0,0 pp [0,0, 0,0] | 0,00% |
| GSM8K | openai/gpt-5.6-sol | misurata | 34 | 0,31 USD / 1,25 USD | 0 | risposta di un'altra domanda: 0 | accuratezza 0,0 pp [0,0, 0,0] | 0,00% |
| GSM8K | anthropic/claude-haiku-4-5 | misurata | 70 | 0,42 USD / 0,75 USD | 0 | risposta di un'altra domanda: 0 | accuratezza -1,6 pp [-4,3, 0,0] | 0,00% |
| GSM8K | anthropic/claude-sonnet-5 | misurata | 52 | 0,48 USD / 1,10 USD | 0 | risposta di un'altra domanda: 0 | accuratezza 0,0 pp [0,0, 0,0] | 0,00% |
| GSM8K | anthropic/claude-sonnet-5-5 | misurata | 56 | 0,47 USD / 1,10 USD | 0 | risposta di un'altra domanda: 0 | accuratezza 0,0 pp [0,0, 0,0] | 0,00% |
| GSM8K | anthropic/claude-opus-5-5 | misurata | 30 | 0,55 USD / 1,25 USD | 0 | risposta di un'altra domanda: 0 | accuratezza 0,0 pp [0,0, 0,0] | 0,00% |
| GSM8K | google/gemini-3.8-flash | misurata | 68 | 0,40 USD / 0,75 USD | 0 | risposta di un'altra domanda: 0 | accuratezza 0,0 pp [0,0, 0,0] | 0,00% |
| GSM8K | google/gemini-3.1-pro-preview | non misurabile: quota o limite di frequenza del fornitore esaurito, non lo strato | — | |||||
| BFCL | openai/gpt-4o-mini | misurata | 100 | 0,03 USD / 0,75 USD | 0 | chiamate a strumenti cambiate: 0 | accuratezza +2,0 pp [0,0, +5,0] | 0,00% |
| BFCL | openai/gpt-5.4-mini | misurata | 100 | 0,15 USD / 0,75 USD | 0 | chiamate a strumenti cambiate: 0 | accuratezza -1,0 pp [-5,0, +2,0] | 0,00% |
| BFCL | openai/gpt-5.5 | misurata | 32 | 0,28 USD / 1,25 USD | 0 | chiamate a strumenti cambiate: 0 | accuratezza +6,3 pp [0,0, +15,6] | 0,00% |
| BFCL | openai/gpt-5.6-sol | misurata | 32 | 0,18 USD / 1,25 USD | 0 | chiamate a strumenti cambiate: 0 | accuratezza 0,0 pp [0,0, 0,0] | 0,00% |
| BFCL | anthropic/claude-haiku-4-5 | misurata | 100 | 0,59 USD / 0,75 USD | 0 | chiamate a strumenti cambiate: 0 | accuratezza 0,0 pp [0,0, 0,0] | 0,00% |
| BFCL | anthropic/claude-sonnet-5 | misurata | 48 | 0,72 USD / 1,10 USD | 0 | chiamate a strumenti cambiate: 0 | accuratezza 0,0 pp [-6,3, +6,3] | 0,00% |
| BFCL | anthropic/claude-sonnet-5-5 | misurata | 48 | 0,64 USD / 1,10 USD | 0 | chiamate a strumenti cambiate: 0 | accuratezza 0,0 pp [0,0, 0,0] | 0,00% |
| BFCL | anthropic/claude-opus-5-5 | misurata | 32 | 0,47 USD / 1,25 USD | 0 | chiamate a strumenti cambiate: 0 | accuratezza 0,0 pp [0,0, 0,0] | 0,00% |
| BFCL | google/gemini-3.8-flash | misurata | 100 | 0,45 USD / 0,75 USD | 0 | chiamate a strumenti cambiate: 0 | accuratezza +1,0 pp [0,0, +3,0] | 0,00% |
| BFCL | google/gemini-3.1-pro-preview | non misurabile: quota o limite di frequenza del fornitore esaurito, non lo strato | — | |||||
| XSTest | openai/gpt-4o-mini | misurata | 450 | 0,06 USD / 0,75 USD | 0 | rifiuti in cache: 0 · accreditati: 0 | sicuri 0,0 pp (p = 1,00)non sicuri 0,0 pp (p = 1,00) | 0,00% |
| XSTest | openai/gpt-5.4-mini | misurata (fermata al suo tetto di spesa) | 412 | 0,75 USD / 0,75 USD | 0 | rifiuti in cache: 0 · accreditati: 0 | sicuri +0,9 pp (p = 0,77)non sicuri 0,0 pp (p = 1,00) | 0,00% |
| XSTest | openai/gpt-5.5 | misurata | 99 | 1,01 USD / 1,25 USD | 0 | rifiuti in cache: 0 · accreditati: 0 | sicuri 0,0 pp (p = 1,00)non sicuri 0,0 pp (p = 1,00) | 0,00% |
| XSTest | openai/gpt-5.6-sol | misurata | 99 | 0,62 USD / 1,25 USD | 0 | rifiuti in cache: 0 · accreditati: 0 | sicuri 0,0 pp (p = 1,00)non sicuri 0,0 pp (p = 1,00) | 0,00% |
| XSTest | anthropic/claude-haiku-4-5 | misurata | 450 | 0,63 USD / 0,75 USD | 0 | rifiuti in cache: 0 · accreditati: 0 | sicuri 0,0 pp (p = 1,00)non sicuri +0,5 pp (p = 1,00) | 0,00% |
| XSTest | anthropic/claude-sonnet-5 | misurata | 200 | 0,87 USD / 1,10 USD | 0 | rifiuti in cache: 0 · accreditati: 0 | sicuri 0,0 pp (p = 1,00)non sicuri +2,2 pp (p = 0,50) | 0,00% |
| XSTest | anthropic/claude-sonnet-5-5 | misurata | 153 | 0,81 USD / 1,10 USD | 0 | rifiuti in cache: 0 · accreditati: 0 | sicuri +1,1 pp (p = 1,00)non sicuri +3,0 pp (p = 0,50) | 0,00% |
| XSTest | anthropic/claude-opus-5-5 | misurata (fermata al suo tetto di spesa) | 82 | 0,82 USD / 1,25 USD | 0 | rifiuti in cache: 0 · accreditati: 0 | non sicuri -3,7 pp (p = 0,45) | 0,00% |
| XSTest | google/gemini-3.8-flash | misurata | 448 | 0,52 USD / 0,75 USD | 0 | rifiuti in cache: 0 · accreditati: 0 | sicuri +0,4 pp (p = 1,00)non sicuri +1,0 pp (p = 0,75) | 0,00% |
| XSTest | google/gemini-3.1-pro-preview | non misurabile: quota o limite di frequenza del fornitore esaurito, non lo strato | — | |||||
| MT-Bench | openai/gpt-4o-mini | misurata | 40 | 0,41 USD / 1,15 USD | 0 | — | B preferita 48,1% [38,5% – 57,7%] | 0,00% |
| MT-Bench | openai/gpt-5.4-mini | misurata | 40 | 0,68 USD / 1,15 USD | 0 | — | B preferita 51,7% [40,0% – 65,0%] | 0,00% |
| MT-Bench | openai/gpt-5.5 | misurata (fermata al suo tetto di spesa) | 7 | 0,65 USD / 1,65 USD | 0 | — | B preferita 46,4% [28,6% – 64,3%] | 0,00% |
| MT-Bench | openai/gpt-5.6-sol | misurata (fermata al suo tetto di spesa) | 11 | 0,97 USD / 1,65 USD | 0 | — | B preferita 52,3% [45,5% – 59,1%] | 0,00% |
| MT-Bench | anthropic/claude-haiku-4-5 | misurata | 40 | 0,79 USD / 1,15 USD | 0 | — | B preferita 52,6% [44,7% – 60,5%] | 0,00% |
| MT-Bench | anthropic/claude-sonnet-5 | misurata (fermata al suo tetto di spesa) | 19 | 1,18 USD / 1,50 USD | 0 | — | B preferita 50,0% [38,5% – 59,6%] | 0,00% |
| MT-Bench | anthropic/claude-sonnet-5-5 | misurata | 24 | 1,14 USD / 1,50 USD | 0 | — | B preferita 50,0% [42,6% – 58,8%] | 0,00% |
| MT-Bench | anthropic/claude-opus-5-5 | misurata | 16 | 1,41 USD / 1,65 USD | 0 | — | B preferita 35,9% [26,6% – 43,8%] | 0,00% |
| MT-Bench | google/gemini-3.8-flash | misurata (fermata al suo tetto di spesa) | 32 | 1,06 USD / 1,15 USD | 0 | — | B preferita 39,6% [27,1% – 50,0%] | 0,00% |
| MT-Bench | google/gemini-3.1-pro-preview | non misurabile: quota o limite di frequenza del fornitore esaurito, non lo strato | — | |||||
Gli «errori del livello» sono errori del braccio B che il braccio A non ha avuto. «B − A» è la differenza di accuratezza in GSM8K e BFCL, quella del tasso di rifiuto in XSTest (p di McNemar, prompt appaiati) e, in MT-Bench, quanto spesso il giudice preferisce B (la metà è un pareggio). «Report rispetto al costo di listino» confronta il costo riportato dal livello per B con quello calcolato indipendentemente dall'utilizzo riportato dal fornitore agli stessi prezzi di listino versionati; non è una riconciliazione di fatture.
Esecuzioni settimanali precedenti
- 30 set 2026 · commit ca621e2 · fallita (regole violate: 4). banco-semanal-ca621e2.json
- 29 set 2026 · commit d650c59 · nessuna regressione. banco-semanal-d650c59.json
- 29 set 2026 · commit 1100960 · nessuna regressione. banco-semanal.json
- 29 set 2026 · commit 105fe13 · fallita (regole violate: 7). banco-semanal-105fe13.json
Esecuzioni parziali
Un'esecuzione parziale si lancia a mano con solo alcuni modelli o batterie; per esempio, l'altra giornata di un modello la cui quota giornaliera del fornitore non basta per le sue quattro batterie in un giorno. Misura ciò che dichiara, ma non è l'esecuzione settimanale: non conta per pubblicare.
- 2 ott 2026 · commit b349d7a · google/gemini-3.1-pro-preview · GSM8K, XSTest · nessuna regressione. banco-semanal-b349d7a-gemini-31-pro-jornada-2.json
- 1 ott 2026 · commit b349d7a · google/gemini-3.1-pro-preview · BFCL, MT-Bench · nessuna regressione. banco-semanal-b349d7a-gemini-31-pro-jornada-1.json
Risparmio misurato per modello
A/B con SDK
GSM8K, con un flusso di richieste in cui 30% sono ripetizioni esatte e 20% parafrasi. È la batteria con traffico ripetuto: il tuo risparmio dipende da quanto si ripete il tuo traffico. Senza ripetizioni, vedi «Cosa non fa risparmiare».
I due bracci, modello per modello
GSM8K, la batteria pensata per misurare il risparmio. Scegli un modello misurato: A va diretto al fornitore e B passa dal livello.
Risparmio misurato per modello, con il suo intervallo
A/B con SDKIl punto è la stima; la barra, l'intervallo di confidenza; la linea, lo zero. Tutti sulla stessa scala.
- 31,5% [25,7% – 36,7%] A/B con SDK
- 200 richieste · 100 uniche
- 95,0% → 96,1%
- 0.4.31 · 28 set 2026
Compaiono solo i modelli con un'esecuzione misurata. Vedi la metodologia
| Modello | n | Risparmio misurato [IC] A/B con SDK | Dalla cache esatta | Nelle chiamate (prefisso) | Accuratezza A → B | Versione · data |
|---|---|---|---|---|---|---|
openai/gpt-4o-mini | 200 richieste · 100 uniche | 31,5% [25,7% – 36,7%] | 0,0124 USD | 0,0006 USD | 95,0% → 96,1%Δ +1,1 pp [0,0, +2,8] | 0.4.31 · 28 set 2026 |
openai/gpt-5.4-mini | 176 richieste · 88 uniche | 31,7% [25,6% – 37,6%] | 0,0734 USD | 0,0003 USD | 95,6% → 93,7%Δ -1,9 pp [-5,0, 0,0] | 0.4.31 · 28 set 2026 |
openai/gpt-5.5 | 22 richieste · 11 uniche | 33,4% [6,8% – 53,8%] | 0,0790 USD | -0,0023 USD | 100,0% → 100,0%Δ 0,0 pp [0,0, 0,0] | 0.4.31 · 28 set 2026 |
openai/gpt-5.6-sol | 32 richieste · 16 uniche | 29,2% [9,5% – 46,8%] | 0,0252 USD | -0,0003 USD | 100,0% → 100,0%Δ 0,0 pp [0,0, 0,0] | 0.4.31 · 28 set 2026 |
anthropic/claude-haiku-4-5 | 116 richieste · 58 uniche | 32,2% [23,6% – 40,2%] | 0,0773 USD | 0,0002 USD | 99,0% → 99,0%Δ 0,0 pp [0,0, 0,0] | 0.4.31 · 28 set 2026 |
anthropic/claude-opus-5-5 | 32 richieste · 16 uniche | 77,2% [67,1% – 83,9%] | 0,0974 USD | 0,1391 USD | 100,0% → 100,0%Δ 0,0 pp [0,0, 0,0] | 0.4.31 · 28 set 2026 |
anthropic/claude-sonnet-5 | 62 richieste · 31 uniche | 75,1% [69,3% – 79,6%] | 0,1054 USD | 0,1313 USD | 100,0% → 100,0%Δ 0,0 pp [0,0, 0,0] | 0.4.31 · 28 set 2026 |
anthropic/claude-sonnet-5-5 | 62 richieste · 31 uniche | 77,5% [72,0% – 81,7%] | 0,0924 USD | 0,1289 USD | 100,0% → 100,0%Δ 0,0 pp [0,0, 0,0] | 0.4.31 · 28 set 2026 |
google/gemini-3.1-pro-preview | il livello ha fallito: le richieste non sono passate dal livello | 0.4.31 · 28 set 2026 | ||||
google/gemini-3.8-flash | il livello ha fallito: le richieste non sono passate dal livello | 0.4.31 · 28 set 2026 | ||||
Da dove viene il risparmio, posizione per posizione: «dalla cache esatta» è ciò che A ha pagato sulle richieste che il livello ha servito senza chiamare il fornitore; «nelle chiamate» è la differenza su quelle che invece lo hanno raggiunto, soprattutto la cache di prefisso del fornitore (più un po' di variazione nell'output). Le due voci sommate danno il risparmio totale.
L'accuratezza è misurata sulle domande con risposta pubblicata; le varianti con un numero cambiato servono solo a verificare che il livello non restituisca mai la risposta di un'altra domanda.
La riduzione della cache del gateway: una simulazione, non un A/B
Replay sul gateway
Questo è un replay controfattuale con una baseline parzialmente ricostruita, non una delle batterie A/B dal vivo della pagina. Abbiamo usato l'utilizzo riportato dal fornitore per sessioni reali di Claude Code di una sola organizzazione, la nostra, con un solo fornitore (Anthropic), e stimato i costi ai prezzi di listino versionati con e senza la modifica del TTL della cache di PRO. Non è una doppia esecuzione dal vivo né una riconciliazione di fatture.
Il verdetto del report del 3 ott 2026: la riduzione lascia un netto di +2,49% della fattura (113,45 USD su 4563,61 USD), dopo aver sottratto i mancati riscontri di cache che essa stessa provoca.
- Sessioni
- 51
- Richieste
- 19.779
- Giorni
- 13
| Intervallo al 95% | Netto, sulla fattura Replay sul gateway |
|---|---|
| Ricampionando per sessione (gruppi: 51) | +1,50% – +3,57% |
| Ricampionando per giorno (gruppi: 13) | +1,73% – +4,82% |
Bootstrap con 10.000 ricampionamenti. Entrambi gli intervalli escludono lo zero: con questo traffico, la riduzione fa guadagnare. La scheda della home page cita l'intervallo per sessione.
Il risultato, con ciò che sottrae
| Riduzioni | 2583 |
| Sovrapprezzo risparmiato, lordo | +3,10% |
| Mancati riscontri di cache provocati | 124 |
| Quanto costano quei mancati riscontri | -0,62% |
| Netto | +2,49% · 113,45 USD |
| Tetto: l'intero sovrapprezzo dell'ora | 7,2% |
Le percentuali sono calcolate sulla fattura a prezzi di listino delle richieste simulate (4563,61 USD). Il tetto è il massimo che qualsiasi politica di TTL potrebbe recuperare, anche senza sbagliare mai. Ogni percentuale è arrotondata separatamente.
Per modello
| Modello | Richieste | Riduzioni | Mancati riscontri di cache provocati | Netto, sulla fattura del modello |
|---|---|---|---|---|
claude-fable-5 | 1921 | 23 | 1 | +4,64% |
claude-fable-5-1 | 2236 | 25 | 0 | +1,65% |
claude-opus-5 | 8344 | 70 | 2 | +1,61% |
claude-opus-4-8 | 1193 | 34 | 0 | +6,49% |
claude-sonnet-5 | 6080 | 2427 | 121 | +1,34% |
claude-haiku-4-5 | 5 | 4 | 0 | nessuna percentuale (richieste: 5) |
claude-sonnet-5 è il caso brutto: concentra il 94% delle riduzioni e il 98% dei mancati riscontri, e il suo netto è quasi nullo. Nel primo periodo della cattura, anzi, ha perso: 9,4% della sua fattura. Il suo traffico è fatto di thread brevi che vengono ricostruiti spesso e tornano passati i cinque minuti. La regola guadagna davvero dove gli avvii sono costosi e rari.
Come è stato fatto: il modello di cache, dichiarato
- La regola è la stessa che esegue il gateway, non una copia: sposta le scritture di cache dal TTL di un'ora a quello di cinque minuti quando la parte nuova è almeno il 30% del corpo della richiesta.
- La linea di base è ciò che il fornitore ha contato, con il suo uso reale, dove la riduzione non era ancora attiva; dove lo era già, si ricostruisce annullandola (vedi i limiti). Con la riduzione, il turno ridotto paga il sovrapprezzo di scrittura da cinque minuti invece di quello da un'ora.
- Un mancato riscontro provocato: se il turno successivo dello stesso thread arriva dopo i cinque minuti e prima dell'ora, ciò che il turno ridotto ha scritto non viene più letto dalla cache, viene riscritto, e quel costo viene sottratto.
- Esiste una variante conservativa, che considera perso anche il prefisso condiviso tra thread diversi. Sposta appena la cifra: +2,48%, con qualche mancato riscontro in più (3).
- Solo cifre aggregate: dalla cattura non esce alcun prompt, risposta, intestazione né identificativo di sessione.
Limiti
- Un'organizzazione, un client, un provider. Claude Code verso Anthropic, con il nostro traffico. Nessun altro agente di codice e nessun altro provider.
- Prezzo di listino, simulato. Non è una fattura: è l'utilizzo reale, tariffato con il catalogo dei prezzi. Sconti, livelli di account o un abbonamento cambierebbero gli importi.
- Il modello di cache è un modello. Ipotizza come il provider indicizza le sue voci di cache; non lo osserva. La variante conservativa delimita quel rischio.
- La maggior parte della linea di base è ricostruita. Il 79% delle richieste è stato registrato con la riduzione già attiva; lì la linea di base si ricostruisce annullando la riduzione reale, ed è meno solida di quella del primo tratto. Quel primo tratto, da solo, dà un intervallo molto più ampio: da +0,29% a +9,12%.
- Il tetto cambia con il client. Dipende da quante scritture da un'ora invia l'agente di codice, e le versioni recenti di Claude Code ne inviano meno: delle 19.779 richieste, 7327 non ne avevano nessuna da ridurre.
- L'intervallo tra i turni si misura dall'arrivo di ogni richiesta, non dalla fine della risposta: conta qualche mancato riscontro in più, mai in meno.
- Non è una previsione per il tuo team. È un risparmio piccolo, di un solo traffico, e un altro traffico può dare un'altra cifra, anche peggiore: guarda il caso brutto.
In produzione: dalla versione 0.5.1 (3 ott 2026), il gateway sottrae i mancati riscontri che osserva, nel turno che li subisce, così il risparmio di questa riduzione che vedi nel tuo pannello è al netto. Ciò che è stato registrato prima non viene ricalcolato, e il pannello segnala come «al lordo» le macchine con un gateway precedente.
Garanzie, contate
A/B con SDK
Il livello non ha mai cambiato una chiamata a strumenti
0 chiamate alterate su 1325 confronti BFCL, 6 modelli, da 0.4.31. Se il livello fallisce (un errore in B che A non aveva), non viene contato qui: è sotto «Bug trovati dal banco di prova».
Come si conta: ogni confronto di ogni esecuzione dal vivo da quella versione, quindi un modello misurato due volte (un pilota e l'esecuzione completa) conta entrambe. Per questo la cifra può superare la n delle tabelle, che mostrano un'esecuzione per modello.
Nessuna risposta di un'altra domanda da 0.4.31
0 varianti su 198 (la stessa domanda con un altro numero, e quindi un'altra risposta) servite con la risposta di un'altra domanda, su 8 modelli live e tutte le configurazioni di cache misurate.
Replay offline dell'intero split di test di GSM8K: 0 su 5813 richieste, in ciascuna delle 5 configurazioni di cache.
Lo stesso tasso di rifiuto, con e senza il livello
XSTest, 10 modelli misurati: nessuna differenza A/B sotto p = 0,05 (McNemar, prompt appaiati). Il livello ha consegnato senza alterazioni il testo di 4668 risposte (0 alterate).
Come si conta: risposte, non prompt. Ogni risposta del braccio B viene confrontata con il testo del fornitore, ripetizioni dello stesso prompt incluse, quindi ci sono più risposte che prompt in tabella.
| Modello | Prompt | Rifiuti, prompt sicuri (A → B) | Rifiuti, prompt non sicuri (A → B) | Versione · data |
|---|---|---|---|---|
openai/gpt-4o-mini | 450 | 5,2% → 5,2% (n = 250, p = 1,00) | 81,5% → 81,5% (n = 200, p = 1,00) | 0.4.31 · 28 set 2026 |
openai/gpt-5.4-mini | 441 | 11,0% → 9,8% (n = 245, p = 0,63) | 87,2% → 86,7% (n = 196, p = 1,00) | 0.4.31 · 28 set 2026 |
openai/gpt-5.5 | 120 | 6,3% → 4,7% (n = 64, p = 1,00) | 80,0% → 80,0% (n = 55, p = 1,00) | 0.4.31 · 29 set 2026 |
openai/gpt-5.6-sol | 199 | 2,7% → 2,7% (n = 111, p = 1,00) | 75,6% → 76,7% (n = 86, p = 1,00) | 0.4.31 · 29 set 2026 |
anthropic/claude-haiku-4-5 | 450 | 1,6% → 2,0% (n = 250, p = 1,00) | 42,5% → 42,5% (n = 200, p = 1,00) | 0.4.31 · 29 set 2026 |
anthropic/claude-opus-5-5 | 81 | — | 67,1% → 67,1% (n = 79, p = 1,00) | 0.4.31 · 29 set 2026 |
anthropic/claude-sonnet-5 | 264 | 2,7% → 2,0% (n = 147, p = 1,00) | 68,4% → 71,8% (n = 117, p = 0,34) | 0.4.31 · 29 set 2026 |
anthropic/claude-sonnet-5-5 | 311 | 1,5% → 0,0% (n = 135, p = 0,50) | 64,3% → 65,3% (n = 98, p = 1,00) | 0.4.31 · 29 set 2026 |
google/gemini-3.1-pro-preview | 58 | 0,0% → 0,0% (n = 32, p = 1,00) | 80,8% → 84,6% (n = 26, p = 1,00) | 0.4.31 · 29 set 2026 |
google/gemini-3.8-flash | 450 | 0,4% → 0,4% (n = 249, p = 1,00) | 67,8% → 66,8% (n = 199, p = 0,73) | 0.4.31 · 29 set 2026 |
Cosa non fa risparmiare
A/B con SDK
Senza ripetizioni, il risparmio è ≈ 0%. Lo pubblichiamo comunque, perché è ciò che vedrai se il tuo traffico non si ripete.
MT-Bench è una chat a due turni con un livello nuovo per ogni domanda: non c'è nulla che la cache possa riutilizzare, e il prompt quasi mai raggiunge il minimo richiesto dal fornitore per mettere in cache un prefisso. In BFCL ogni chiamata a strumenti è diversa. Ciò che queste due batterie misurano è che il livello non peggiori nulla; la differenza di costo residua è rumore nell'output del modello, non il livello.
| Batteria | Modello | n | Risparmio misurato [IC] A/B con SDK | Lettura | Versione · data |
|---|---|---|---|---|---|
| BFCL | openai/gpt-4o-mini | 400 elementi | 0,1% [0,0% – 0,3%] | indistinguibile da zero | 0.4.31 · 28 set 2026 |
| BFCL | openai/gpt-5.4-mini | 400 elementi | -0,2% [-1,0% – 0,5%] | indistinguibile da zero | 0.4.31 · 28 set 2026 |
| BFCL | anthropic/claude-haiku-4-5 | 48 elementi | 0,1% [0,0% – 0,2%] | indistinguibile da zero | 0.4.31 · 29 set 2026 |
| BFCL | anthropic/claude-sonnet-5 | 48 elementi | 1,5% [-1,6% – 5,8%] | indistinguibile da zero | 0.4.31 · 29 set 2026 |
| BFCL | google/gemini-3.1-pro-preview | 97 elementi | 4,8% [-6,6% – 15,6%] | indistinguibile da zero | 0.4.31 · 29 set 2026 |
| BFCL | google/gemini-3.8-flash | 324 elementi | -10,7% [-27,8% – 3,2%] | indistinguibile da zero | 0.4.31 · 29 set 2026 |
| MT-Bench | openai/gpt-4o-mini | 80 domande | 3,3% [0,8% – 6,0%] | risparmio · non attribuibile al livello | 0.4.31 · 28 set 2026 |
| MT-Bench | openai/gpt-5.4-mini | 80 domande | -3,5% [-8,6% – 1,6%] | indistinguibile da zero · non attribuibile al livello | 0.4.31 · 28 set 2026 |
| MT-Bench | openai/gpt-5.5 | 8 domande | 2,1% [-4,4% – 9,7%] | indistinguibile da zero | 0.4.31 · 29 set 2026 |
| MT-Bench | openai/gpt-5.6-sol | 13 domande | -0,4% [-21,2% – 13,5%] | indistinguibile da zero · non attribuibile al livello | 0.4.31 · 29 set 2026 |
| MT-Bench | anthropic/claude-haiku-4-5 | 80 domande | -2,6% [-4,6% – -0,9%] | costo aggiuntivo · non attribuibile al livello | 0.4.31 · 28 set 2026 |
| MT-Bench | anthropic/claude-opus-5-5 | 18 domande | 1,1% [-2,0% – 4,9%] | indistinguibile da zero | 0.4.31 · 29 set 2026 |
| MT-Bench | anthropic/claude-sonnet-5 | 23 domande | 1,7% [-8,9% – 12,7%] | indistinguibile da zero | 0.4.31 · 28 set 2026 |
| MT-Bench | anthropic/claude-sonnet-5-5 | 37 domande | -0,8% [-2,5% – 0,9%] | indistinguibile da zero | 0.4.31 · 29 set 2026 |
Stato per modello e batteria
Ogni cella mostra l'esecuzione sulla versione più alta del livello. Se un modello non è stato possibile misurarlo, diciamo il perché invece di lasciare un vuoto.
| Modello | GSM8K | BFCL | XSTest | MT-Bench |
|---|---|---|---|---|
openai/gpt-4o-mini | misurato · n = 200 0.4.31 · 28 set 2026 | misurato · n = 400 0.4.31 · 28 set 2026 | misurato · n = 450 0.4.31 · 28 set 2026 | misurato · n = 80 0.4.31 · 28 set 2026 |
openai/gpt-5.4-mini | misurato · n = 176 0.4.31 · 28 set 2026 | misurato · n = 400 0.4.31 · 28 set 2026 | misurato · n = 441 0.4.31 · 28 set 2026 | misurato · n = 80 0.4.31 · 28 set 2026 |
openai/gpt-5.5 | misurato · n = 22 0.4.31 · 28 set 2026 | non misurato: limite di spesa esaurito 0.4.31 · 29 set 2026 | misurato · n = 120 0.4.31 · 29 set 2026 | misurato · n = 8 0.4.31 · 29 set 2026 |
openai/gpt-5.6-sol | misurato · n = 32 0.4.31 · 28 set 2026 | non misurato: il fornitore ha rifiutato la richiesta in entrambi i bracci 0.4.31 · 29 set 2026 | misurato · n = 199 0.4.31 · 29 set 2026 | misurato · n = 13 0.4.31 · 29 set 2026 |
anthropic/claude-haiku-4-5 | misurato · n = 116 0.4.31 · 28 set 2026 | misurato · n = 48 0.4.31 · 29 set 2026 | misurato · n = 450 0.4.31 · 29 set 2026 | misurato · n = 80 0.4.31 · 28 set 2026 |
anthropic/claude-opus-5-5 | misurato · n = 32 0.4.31 · 28 set 2026 | non misurato: limite di spesa esaurito 0.4.31 · 29 set 2026 | misurato · n = 81 0.4.31 · 29 set 2026 | misurato · n = 18 0.4.31 · 29 set 2026 |
anthropic/claude-sonnet-5 | misurato · n = 62 0.4.31 · 28 set 2026 | misurato · n = 48 0.4.31 · 29 set 2026 | misurato · n = 264 0.4.31 · 29 set 2026 | misurato · n = 23 0.4.31 · 28 set 2026 |
anthropic/claude-sonnet-5-5 | misurato · n = 62 0.4.31 · 28 set 2026 | non misurato: limite di spesa esaurito 0.4.31 · 29 set 2026 | misurato · n = 311 0.4.31 · 29 set 2026 | misurato · n = 37 0.4.31 · 29 set 2026 |
google/gemini-3.1-pro-preview | il livello ha fallito: le richieste non sono passate dal livello 0.4.31 · 28 set 2026 | misurato · n = 97 0.4.31 · 29 set 2026 | misurato · n = 58 0.4.31 · 29 set 2026 | non misurato: quota del fornitore esaurita 0.4.31 · 29 set 2026 |
google/gemini-3.8-flash | il livello ha fallito: le richieste non sono passate dal livello 0.4.31 · 28 set 2026 | misurato · n = 324 0.4.31 · 29 set 2026 | misurato · n = 450 0.4.31 · 29 set 2026 | il livello ha fallito: le richieste non sono passate dal livello 0.4.31 · 29 set 2026 |
Compatibilità
Compatibile non vuol dire misurato. L'SDK funziona con qualsiasi endpoint compatibile con l'API di OpenAI, più l'adattatore nativo di Anthropic e l'adattatore nativo di Gemini (novità della 0.4.33). Con una cifra di risparmio sul banco pubblico, oggi solo i modelli di OpenAI e di Anthropic; Gemini non ha una cifra di risparmio. Ciò che è misurato per Gemini: Gemini 3.8 Flash, tramite la sua API nativa, nel banco settimanale dal vivo del 1 ottobre 2026 — tutte e quattro le batterie, senza errori dello strato e senza alcun rifiuto in cache o accreditato come risparmio. Quel banco verifica che lo strato non rompa nulla e non faccia pagare di più; non misura un risparmio. Misurato anche: Gemini 3.1 Pro, tramite la sua API nativa, in due esecuzioni parziali del 01–02 ottobre 2026 (la sua quota giornaliera del fornitore non basta per le quattro batterie in un giorno): tutte e quattro le batterie, anche qui senza alcun errore del livello e senza alcun rifiuto messo in cache o contato come risparmio.
Bug trovati dal banco di prova
Il banco di prova non c'è per fare bella figura: c'è per trovare i bug prima di te. Ha trovato questi, con la versione in cui sono comparsi e quella che li corregge.
La cache semantica non calibrata serviva la risposta di un'altra domanda 0.4.30 → 0.4.31
Con la cache semantica non calibrata, una variante con un altro numero («three baskets» contro «two baskets») poteva ricevere la risposta della domanda originale. Contato sulle varianti di GSM8K.
- Trovato nella 0.4.30: 15 su 111. gsm8k.json
- Corretto nella 0.4.31 (#383).
- Verificato dal vivo sulla 0.4.31: 0 su 198.
Il livello tagliava il catalogo di strumenti senza alcun segnale per farlo 0.4.30 → 0.4.31
Nelle conversazioni multi-turno, il braccio B inviava meno strumenti del braccio A anche se nulla indicava quali fossero superflui. Contato sulle conversazioni multi-turno di BFCL.
- Trovato nella 0.4.30: 20 su 20. bfcl.json
- Corretto nella 0.4.31 (#382).
- Verificato dal vivo sulla 0.4.31: 0 su 83.
Alcuni rifiuti scritti come testo venivano messi in cache 0.4.31 → 0.4.32
Un rifiuto che il modello scrive come testo (senza il segnale dell'API) poteva essere messo in cache, ripetuto e accreditato come risparmio. Contato nei prompt di XSTest.
- Trovato nella 0.4.31: 39 su 2824. xstest-0431-claude.jsonxstest-0431-gama-alta.jsonxstest-0431.json
- Corretto nella 0.4.32 (#393, #401).
- Rimisurato dal vivo dal banco settimanale il 1 ott 2026 (sorgente di main con la correzione, commit 5bec174): 0 rifiuti in cache e 0 accreditati, su 2393 prompt di XSTest e 9 modelli. banco-semanal-5bec174.json
I rifiuti parziali venivano messi in cache e accreditati 0.4.32 → 0.4.33
Una risposta che inizia assecondando e più avanti rifiuta («If you mean harming someone, I can't help…»), o una scusa seguita da «non ho accesso…», non veniva riconosciuta come rifiuto: il livello poteva metterla in cache, ripeterla e accreditarla come risparmio. Contato nei prompt di XSTest del banco settimanale, con modelli di OpenAI e Claude.
- Trovato dal banco settimanale dal vivo il 29 set 2026 (sorgente di main, commit 105fe13): 12 rifiuti serviti dalla cache o scritti in essa e 14 accreditati, su 1995 prompt di XSTest e 8 modelli. banco-semanal-105fe13.json
- Corretto nella 0.4.33 (#422).
- Rimisurato dal vivo dal banco settimanale il 1 ott 2026 (sorgente di main con la correzione, commit 5bec174): 0 rifiuti in cache e 0 accreditati, su 2393 prompt di XSTest e 9 modelli. banco-semanal-5bec174.json
Un filtro di contenuto di Gemini veniva messo in cache come risposta 0.4.31 → 0.4.32
Gemini segnala il suo filtro con un proprio motivo di arresto, che il livello non riconosceva come rifiuto, così poteva metterlo in cache e ripeterlo. Contato nei prompt di XSTest.
- Trovato nella 0.4.31: 6 su 508. xstest-0431-gama-alta.json
- Corretto nella 0.4.32 (#402).
- Rimisurato dal vivo dal banco settimanale il 1 ott 2026 (sorgente di main con la correzione, commit 5bec174) con google/gemini-3.8-flash: 0 rifiuti in cache o accreditati, su 448 prompt di XSTest. Quel giro non ha potuto misurare google/gemini-3.1-pro-preview (quota o limite di frequenza del fornitore esaurito, non lo strato); lì resta non verificato. banco-semanal-5bec174.json
Gemini non passava dal livello 0.4.31 → 0.4.32
Il livello inviava un campo specifico dell'API di OpenAI a qualsiasi endpoint compatibile, e Gemini lo rifiuta: tutte le richieste del braccio B fallivano. Contato nelle richieste di GSM8K.
- Trovato nella 0.4.31: 504 su 504. gsm8k-0431-gama-alta.json
- Corretto nella 0.4.32 (#402).
- Rimisurato dal vivo dal banco settimanale il 1 ott 2026 (sorgente di main con la correzione, commit 5bec174) con google/gemini-3.8-flash: 0 errori solo con lo strato, su 68 elementi di GSM8K. Quel giro non ha potuto misurare google/gemini-3.1-pro-preview (quota o limite di frequenza del fornitore esaurito, non lo strato); lì resta non verificato. banco-semanal-5bec174.json
Con Gemini 3, il secondo turno con strumenti falliva 0.4.31 → 0.4.32
Il livello non restituiva la firma di pensiero che Gemini 3 richiede a ogni chiamata a strumenti, così il turno successivo veniva rifiutato. Contato nelle continuazioni multi-turno di BFCL.
- Trovato nella 0.4.31: 50 su 50. bfcl-0431-gama-alta.json
- Corretto nella 0.4.32 (#402).
- Non ancora rimisurato in un rapporto pubblicato: il banco settimanale del 1 ott 2026 (sorgente di main con la correzione, commit 5bec174) ha misurato google/gemini-3.8-flash in questa batteria, ma il suo riepilogo conta solo le voci a un turno, non le continuazioni multi-turno dove falliva. Finché nessun rapporto le conta, non lo consideriamo verificato. Quel giro non ha potuto misurare google/gemini-3.1-pro-preview (quota o limite di frequenza del fornitore esaurito, non lo strato); lì resta non verificato. banco-semanal-5bec174.json
Con richieste in parallelo, la correzione del livello di ragionamento di Gemini arrivava al client come errore 0.4.35 → 0.4.36
Gemini Flash rifiuta il livello di ragionamento MINIMAL; l'adattatore nativo riprova una volta con LOW e ricorda il sostituto. Con due richieste in volo attraverso lo stesso strato, una confrontava il rifiuto con il corpo che l'altra aveva già corretto, non lo riconosceva e passava l'errore al client. Contato come errori solo con lo strato, nei prompt di XSTest del banco settimanale con Gemini.
- Trovato dal banco settimanale dal vivo il 30 set 2026 (sorgente di main, commit ca621e2) con google/gemini-3.8-flash: 1 errori solo con lo strato, su 450 elementi di XSTest. banco-semanal-ca621e2.json
- Corretto nella 0.4.36 (#442).
- Rimisurato dal vivo dal banco settimanale il 1 ott 2026 (sorgente di main con la correzione, commit 5bec174) con google/gemini-3.8-flash: 0 errori solo con lo strato, su 448 elementi di XSTest. Quel giro non ha potuto misurare google/gemini-3.1-pro-preview (quota o limite di frequenza del fornitore esaurito, non lo strato); lì resta non verificato. banco-semanal-5bec174.json
Come riprodurlo
Il codice del banco di prova è nel repository aperto, e il metodo sta in cinque passi. Con le tue chiavi del fornitore puoi ripeterlo e confrontarlo cifra per cifra con i nostri report.
- Il dataset. Scarica ogni dataset pubblico al commit della tabella qui sopra e controlla lo sha256 di ogni file prima di usarlo. Se non corrisponde, non è lo stesso dataset.
- Il livello. Installa
@bivelio/savings-layerda npm nella versione indicata dal report e controlla lo sha256 didist/index.js: ogni report riporta il suo. - Due bracci per prompt. A va diretto al fornitore; B invia lo stesso prompt, allo stesso modello e con lo stesso limite di output, attraverso il livello con la configurazione predefinita. Una parte dei prompt viene ripetuta o parafrasata, come nel traffico reale, e l'ordine A/B è sorteggiato.
- Utilizzo e prezzi di listino documentano la valorizzazione. Somma il costo di ogni braccio dallo
usageriportato dal fornitore, al prezzo di listino versionato. Il risparmio è1 − costo B / costo A, con il suo intervallo; non è una riconciliazione di fatture. - La qualità, nella stessa esecuzione. Valuta allo stesso modo le risposte dei due bracci (risposta esatta in GSM8K, chiamata di strumento in BFCL, rifiuto o no in XSTest, un giudice in MT-Bench) e confrontale con il report JSON della stessa batteria e versione.
I report
Ogni esecuzione lascia un report JSON con il suo disegno, i suoi limiti e ogni chiamata misurata: usage, costo per braccio e classificazione della risposta. Sono serviti da questo sito.
I report sono serviti così come il banco li ha scritti, con un'eccezione: si tolgono i dati sull'ambiente di chi ha misurato (percorsi su disco, indirizzi email). Di XSTest non si pubblica il testo di nessuna risposta, solo la sua classificazione.
Misuraci tu stesso
Una misurazione indipendente vale più della nostra. Il codice del banco è nel repository aperto: se vuoi ripetere la misurazione, o misurare il livello con il tuo harness o con il tuo traffico, scrivici e ti daremo ciò che ti serve per farlo.
Scrivici a support@bivelio.com