Savings Layer fait partie de la plateforme BiVelio
Banc public · reproductible

Notre banc A/B, en public. Mesurez-nous.

Nous publions chaque exécution : quatre batteries sur des jeux de données publics, 10 modèles, et les deux bras mesurés avec le compteur d'usage du fournisseur lui-même. Chaque chiffre porte son n, son intervalle et sa date. Ce qui ne fait pas économiser est là aussi.

batteries
4
modèles testés
10
modèles avec une mesure
10
rapports en direct
15
dernière exécution
1 oct. 2026

Comment lire cette page

A/B avec SDK
Deux bras sur la même requête, valorisés avec l'usage que déclare le fournisseur. C'est ainsi que sont mesurées les batteries du banc.
Replay sur gateway
Rejeu contrefactuel avec une ligne de base partiellement reconstruite. Ce n'est ni un A/B en direct, ni une économie facturée, ni un rapprochement de factures.
  1. La même requête
  2. Bras A : directement au fournisseur, sans la couche
  3. Bras B : à travers la couche, avec sa configuration par défaut
  4. Le compteur d'usage du fournisseur mesure les deux bras

Compatible ne veut pas dire mesuré : un modèle ne compte ici que s'il a une exécution publiée, et ce qui n'a pas pu être mesuré est indiqué avec son motif.

Filtre de lecture

Affichage de 12 sections sur 12.

Prépublicationv2.3-r1

Verifiable Measurement of Cost Savings in Large Language Model Applications Open-Core Edition

Édition révisée à la suite d'une relecture externe avant publication : la méthode, l'estimateur, l'incertitude et les limites de chaque chiffre.

  • 15 pages
  • CC BY 4.0
  • DOI10.5281/zenodo.24278852
BV-SALA Savings Layer · Joan-Marc FisaToutes les versions (s'ouvre dans un nouvel onglet)

Ce qui est mesuré, et comment

  • Deux bras, la même requête. A va directement au fournisseur, sans la couche ; B passe par la couche avec sa configuration par défaut. Même prompt, même échantillonnage, même plafond de sortie.
  • Usage déclaré par le fournisseur et tarifs catalogue versionnés. Chaque bras est valorisé à partir de l<code>usage</code> renvoyé par lAPI et d'un catalogue de tarifs daté. L'économie est 1 − coût(B) / coût(A) de la même exécution. Les montants sont étiquetés measured, reference-valued ou estimated selon leur preuve ; il ne s'agit pas d'un rapprochement de factures.
  • Intervalles au 95 %. Chaque harnais les calcule (rééchantillonnage par familles de questions, Wilson pour les taux de refus). Un intervalle qui traverse zéro veut dire « indiscernable de zéro », et nous le disons.
  • Le paquet que vous installez. Les passes A/B des tableaux ci-dessous ont été faites avec la 0.4.31 : le bras B exécute le code source de ce tag, et son dist/index.js est identique octet pour octet à celui du tarball npm (sha256 b52f99cacf9804ecd3153e56f26ec3adcdc2510d52a8446a369ecf914e0b5731). Le banc hebdomadaire en direct est autre chose : à chaque passe, il mesure le code source de main tel qu'il est ce jour-là, avant sa publication.
  • Pas de raccourcis. Chaque harnais surveille les hôtes auxquels il parle et porte un plafond de dépense par modèle écrit dans le code. Un modèle qui n'a pas pu être mesuré apparaît comme « non mesuré », avec le motif.

Lire l'article de recherche v2.3-r1, 15 pages (PDF) : méthode, types de preuves et limites de chaque chiffre, révisé à la suite d'une relecture externe avant publication.

Quatre batteries, jeux de données publics, figés

BatterieCe qui est vérifiéJeu de donnéesFichiers figésLicence
GSM8KProblèmes de mathématiques avec répétitions et paraphrases : combien le cache fait économiser et si l'exactitude baisse.openai/grade-school-mathcommit 3101c7d5072418e28b9008a6636bde82a006892cgsm8k-test
sha256 3730d312f6e3440559ace48831e51066acaca737f6eabec99bccb9e4b3c39d14
gsm8k-train
sha256 17f347dc51477c50d4efb83959dbb7c56297aba886e5544ee2aaed3024813465
MIT
BFCLAppels d'outils : la couche ne doit en changer aucun, et le catalogue entier doit arriver.ShishirPatil/gorillacommit f7cf7359b7ac615a0b294831c5ba2bc95ee4a000figé par commitApache-2.0
XSTestRefus : la couche ne doit pas changer quand le modèle refuse, ni servir un refus depuis le cache.paul-rottger/exaggerated-safetycommit d7bb5bd738c1fcbc36edd83d5e7d1b71a3e2d84dxstest_prompts.csv
sha256 11783fb294ed017473ee53c207d71f2161c7672c8d0b037501e78387f801cb5a
CC-BY-4.0
MT-BenchChat en deux tours sans répétitions : la couche ne doit pas dégrader le coût, la latence ni la qualité.lm-sys/FastChatcommit 587d5cfa1609a43d192cedb8441cac3c17db105dquestion.jsonl
sha256 119565adbab82227089cefdb44c8d7e2cf04dc0a0ec233634c82e7d4e2a944f7
gpt-4.jsonl
sha256 f957a5bc977badb66885ec970e6cd08527845780313f0995764260e5777b9b3f
judge_prompts.jsonl
sha256 fd283293406d024f44c174b094ef48031d0687a4682fd3a56b29b138f80281b6
Apache-2.0

Traduction, sans jargon

Le test est une expérience équitable : la même tâche deux fois — sans Savings et avec Savings — avec le même compteur du fournisseur qui mesure les deux.

Sur un flux où 30 % des requêtes se répètent à l'identique, la facture a baissé de 31,5 % — entre 25,7 % et 36,7 % avec 95 % de confiance. Ce que vous économiserez dépend de la part de votre trafic qui se répète.

Un pourcentage ne veut rien dire sans son intervalle, son modèle et son trafic : nous publions les trois.

Banc hebdomadaire en direct

A/B avec SDK

Chaque semaine, et chaque fois que nous le lançons à la main, une passe fait tourner toutes les batteries sur tous les modèles : le bras A va directement au fournisseur, le bras B passe par la couche construite à partir du code source de main à ce moment-là. Ce n'est pas une version publiée : c'est ce qui est sur le point de l'être. La passe échoue si une règle est enfreinte, et une cellule qui n'a pas pu être mesurée dit pourquoi.

Passe du 1 oct. 2026 · code source de main au commit 5bec174 (version du paquet 0.4.35) · dépense 21,96 $US sur un plafond de 50,00 $US · 36 cellules mesurées sur 40. banco-semanal-5bec174.json

Verdict : aucune régression.

BatterieModèleÉtatnDépense / plafondÉchecs de la coucheCe qu'il compteB − ARapport vs coût catalogue
GSM8Kopenai/gpt-4o-minimesurée2000,12 $US / 0,75 $US0réponse d'une autre question : 0exactitude -1,7 pp [-4,8, +1,1]0,00 %
GSM8Kopenai/gpt-5.4-minimesurée1060,42 $US / 0,75 $US0réponse d'une autre question : 0exactitude +1,0 pp [0,0, +3,3]0,00 %
GSM8Kopenai/gpt-5.5mesurée240,86 $US / 1,25 $US0réponse d'une autre question : 0exactitude 0,0 pp [0,0, 0,0]0,00 %
GSM8Kopenai/gpt-5.6-solmesurée340,31 $US / 1,25 $US0réponse d'une autre question : 0exactitude 0,0 pp [0,0, 0,0]0,00 %
GSM8Kanthropic/claude-haiku-4-5mesurée700,42 $US / 0,75 $US0réponse d'une autre question : 0exactitude -1,6 pp [-4,3, 0,0]0,00 %
GSM8Kanthropic/claude-sonnet-5mesurée520,48 $US / 1,10 $US0réponse d'une autre question : 0exactitude 0,0 pp [0,0, 0,0]0,00 %
GSM8Kanthropic/claude-sonnet-5-5mesurée560,47 $US / 1,10 $US0réponse d'une autre question : 0exactitude 0,0 pp [0,0, 0,0]0,00 %
GSM8Kanthropic/claude-opus-5-5mesurée300,55 $US / 1,25 $US0réponse d'une autre question : 0exactitude 0,0 pp [0,0, 0,0]0,00 %
GSM8Kgoogle/gemini-3.8-flashmesurée680,40 $US / 0,75 $US0réponse d'une autre question : 0exactitude 0,0 pp [0,0, 0,0]0,00 %
GSM8Kgoogle/gemini-3.1-pro-previewnon mesurable : quota ou limite de débit du fournisseur épuisé, pas la couche—
BFCLopenai/gpt-4o-minimesurée1000,03 $US / 0,75 $US0appels d'outils modifiés : 0exactitude +2,0 pp [0,0, +5,0]0,00 %
BFCLopenai/gpt-5.4-minimesurée1000,15 $US / 0,75 $US0appels d'outils modifiés : 0exactitude -1,0 pp [-5,0, +2,0]0,00 %
BFCLopenai/gpt-5.5mesurée320,28 $US / 1,25 $US0appels d'outils modifiés : 0exactitude +6,3 pp [0,0, +15,6]0,00 %
BFCLopenai/gpt-5.6-solmesurée320,18 $US / 1,25 $US0appels d'outils modifiés : 0exactitude 0,0 pp [0,0, 0,0]0,00 %
BFCLanthropic/claude-haiku-4-5mesurée1000,59 $US / 0,75 $US0appels d'outils modifiés : 0exactitude 0,0 pp [0,0, 0,0]0,00 %
BFCLanthropic/claude-sonnet-5mesurée480,72 $US / 1,10 $US0appels d'outils modifiés : 0exactitude 0,0 pp [-6,3, +6,3]0,00 %
BFCLanthropic/claude-sonnet-5-5mesurée480,64 $US / 1,10 $US0appels d'outils modifiés : 0exactitude 0,0 pp [0,0, 0,0]0,00 %
BFCLanthropic/claude-opus-5-5mesurée320,47 $US / 1,25 $US0appels d'outils modifiés : 0exactitude 0,0 pp [0,0, 0,0]0,00 %
BFCLgoogle/gemini-3.8-flashmesurée1000,45 $US / 0,75 $US0appels d'outils modifiés : 0exactitude +1,0 pp [0,0, +3,0]0,00 %
BFCLgoogle/gemini-3.1-pro-previewnon mesurable : quota ou limite de débit du fournisseur épuisé, pas la couche—
XSTestopenai/gpt-4o-minimesurée4500,06 $US / 0,75 $US0refus mis en cache : 0 · crédités : 0sûrs 0,0 pp (p = 1,00)dangereux 0,0 pp (p = 1,00)0,00 %
XSTestopenai/gpt-5.4-minimesurée (arrêtée à son plafond de dépense)4120,75 $US / 0,75 $US0refus mis en cache : 0 · crédités : 0sûrs +0,9 pp (p = 0,77)dangereux 0,0 pp (p = 1,00)0,00 %
XSTestopenai/gpt-5.5mesurée991,01 $US / 1,25 $US0refus mis en cache : 0 · crédités : 0sûrs 0,0 pp (p = 1,00)dangereux 0,0 pp (p = 1,00)0,00 %
XSTestopenai/gpt-5.6-solmesurée990,62 $US / 1,25 $US0refus mis en cache : 0 · crédités : 0sûrs 0,0 pp (p = 1,00)dangereux 0,0 pp (p = 1,00)0,00 %
XSTestanthropic/claude-haiku-4-5mesurée4500,63 $US / 0,75 $US0refus mis en cache : 0 · crédités : 0sûrs 0,0 pp (p = 1,00)dangereux +0,5 pp (p = 1,00)0,00 %
XSTestanthropic/claude-sonnet-5mesurée2000,87 $US / 1,10 $US0refus mis en cache : 0 · crédités : 0sûrs 0,0 pp (p = 1,00)dangereux +2,2 pp (p = 0,50)0,00 %
XSTestanthropic/claude-sonnet-5-5mesurée1530,81 $US / 1,10 $US0refus mis en cache : 0 · crédités : 0sûrs +1,1 pp (p = 1,00)dangereux +3,0 pp (p = 0,50)0,00 %
XSTestanthropic/claude-opus-5-5mesurée (arrêtée à son plafond de dépense)820,82 $US / 1,25 $US0refus mis en cache : 0 · crédités : 0dangereux -3,7 pp (p = 0,45)0,00 %
XSTestgoogle/gemini-3.8-flashmesurée4480,52 $US / 0,75 $US0refus mis en cache : 0 · crédités : 0sûrs +0,4 pp (p = 1,00)dangereux +1,0 pp (p = 0,75)0,00 %
XSTestgoogle/gemini-3.1-pro-previewnon mesurable : quota ou limite de débit du fournisseur épuisé, pas la couche—
MT-Benchopenai/gpt-4o-minimesurée400,41 $US / 1,15 $US0—B préférée 48,1 % [38,5 % – 57,7 %]0,00 %
MT-Benchopenai/gpt-5.4-minimesurée400,68 $US / 1,15 $US0—B préférée 51,7 % [40,0 % – 65,0 %]0,00 %
MT-Benchopenai/gpt-5.5mesurée (arrêtée à son plafond de dépense)70,65 $US / 1,65 $US0—B préférée 46,4 % [28,6 % – 64,3 %]0,00 %
MT-Benchopenai/gpt-5.6-solmesurée (arrêtée à son plafond de dépense)110,97 $US / 1,65 $US0—B préférée 52,3 % [45,5 % – 59,1 %]0,00 %
MT-Benchanthropic/claude-haiku-4-5mesurée400,79 $US / 1,15 $US0—B préférée 52,6 % [44,7 % – 60,5 %]0,00 %
MT-Benchanthropic/claude-sonnet-5mesurée (arrêtée à son plafond de dépense)191,18 $US / 1,50 $US0—B préférée 50,0 % [38,5 % – 59,6 %]0,00 %
MT-Benchanthropic/claude-sonnet-5-5mesurée241,14 $US / 1,50 $US0—B préférée 50,0 % [42,6 % – 58,8 %]0,00 %
MT-Benchanthropic/claude-opus-5-5mesurée161,41 $US / 1,65 $US0—B préférée 35,9 % [26,6 % – 43,8 %]0,00 %
MT-Benchgoogle/gemini-3.8-flashmesurée (arrêtée à son plafond de dépense)321,06 $US / 1,15 $US0—B préférée 39,6 % [27,1 % – 50,0 %]0,00 %
MT-Benchgoogle/gemini-3.1-pro-previewnon mesurable : quota ou limite de débit du fournisseur épuisé, pas la couche—

Les « échecs de la couche » sont des erreurs du bras B que le bras A n'a pas eues. « B − A » est l'écart d'exactitude pour GSM8K et BFCL, l'écart du taux de refus pour XSTest (p de McNemar, prompts appariés) et, pour MT-Bench, la fréquence à laquelle le juge préfère B (la moitié est une égalité). « Rapport vs coût catalogue » compare le coût déclaré par la couche pour B à celui calculé indépendamment à partir de l'usage déclaré par le fournisseur aux mêmes tarifs catalogue versionnés ; ce n'est pas un rapprochement de factures.

Passes hebdomadaires précédentes

Passes partielles

Une passe partielle est lancée à la main avec seulement certains modèles ou batteries ; par exemple, l'autre journée d'un modèle dont le quota quotidien du fournisseur ne permet pas ses quatre batteries en un jour. Elle mesure ce qu'elle annonce, mais ce n'est pas la passe hebdomadaire : elle ne compte pas pour publier.

Économie mesurée par modèle

A/B avec SDK

GSM8K, avec un flux de requêtes où 30 % sont des répétitions exactes et 20 % des paraphrases. C'est la batterie au trafic répété : votre économie dépend de la répétitivité du vôtre. Sans répétitions, voir « Ce qui ne fait pas économiser ».

Les deux bras, modèle par modèle

GSM8K, la batterie conçue pour mesurer l'économie. Choisissez un modèle mesuré : A va directement chez le fournisseur et B passe par la couche.

Économie mesurée par modèle, avec son intervalle

A/B avec SDK

Le point est l'estimation ; la barre, l'intervalle de confiance ; le trait, le zéro. Tous à la même échelle.

openai/gpt-4o-miniéconomie0.4.31 · 28 sept. 2026B−31,5%
A est la référence ; B passe par la couche.
31,5 % [25,7 % – 36,7 %] A/B avec SDK
200 requêtes · 100 uniques
95,0 % → 96,1 %
0.4.31 · 28 sept. 2026

Seuls les modèles ayant une exécution mesurée apparaissent. Voir la méthodologie

ModèlenÉconomie mesurée [IC] A/B avec SDKDepuis le cache exactDans les appels (préfixe)Exactitude A → BVersion · date
openai/gpt-4o-mini200 requêtes · 100 uniques31,5 % [25,7 % – 36,7 %]0,0124 $US0,0006 $US95,0 % → 96,1 %Δ +1,1 pp [0,0, +2,8]0.4.31 · 28 sept. 2026
openai/gpt-5.4-mini176 requêtes · 88 uniques31,7 % [25,6 % – 37,6 %]0,0734 $US0,0003 $US95,6 % → 93,7 %Δ -1,9 pp [-5,0, 0,0]0.4.31 · 28 sept. 2026
openai/gpt-5.522 requêtes · 11 uniques33,4 % [6,8 % – 53,8 %]0,0790 $US-0,0023 $US100,0 % → 100,0 %Δ 0,0 pp [0,0, 0,0]0.4.31 · 28 sept. 2026
openai/gpt-5.6-sol32 requêtes · 16 uniques29,2 % [9,5 % – 46,8 %]0,0252 $US-0,0003 $US100,0 % → 100,0 %Δ 0,0 pp [0,0, 0,0]0.4.31 · 28 sept. 2026
anthropic/claude-haiku-4-5116 requêtes · 58 uniques32,2 % [23,6 % – 40,2 %]0,0773 $US0,0002 $US99,0 % → 99,0 %Δ 0,0 pp [0,0, 0,0]0.4.31 · 28 sept. 2026
anthropic/claude-opus-5-532 requêtes · 16 uniques77,2 % [67,1 % – 83,9 %]0,0974 $US0,1391 $US100,0 % → 100,0 %Δ 0,0 pp [0,0, 0,0]0.4.31 · 28 sept. 2026
anthropic/claude-sonnet-562 requêtes · 31 uniques75,1 % [69,3 % – 79,6 %]0,1054 $US0,1313 $US100,0 % → 100,0 %Δ 0,0 pp [0,0, 0,0]0.4.31 · 28 sept. 2026
anthropic/claude-sonnet-5-562 requêtes · 31 uniques77,5 % [72,0 % – 81,7 %]0,0924 $US0,1289 $US100,0 % → 100,0 %Δ 0,0 pp [0,0, 0,0]0.4.31 · 28 sept. 2026
google/gemini-3.1-pro-previewla couche a échoué : les requêtes ne sont pas passées par la couche0.4.31 · 28 sept. 2026
google/gemini-3.8-flashla couche a échoué : les requêtes ne sont pas passées par la couche0.4.31 · 28 sept. 2026

D'où vient l'économie, position par position : « depuis le cache exact » est ce que A a payé sur les requêtes que la couche a servies sans appeler le fournisseur ; « dans les appels » est la différence sur celles qui l'ont effectivement atteint, surtout le cache de préfixe du fournisseur (plus une part de variation de la sortie). Les deux s'additionnent pour donner l'économie totale.

L'exactitude est mesurée sur les questions avec une réponse publiée ; les variantes avec un nombre modifié servent uniquement à vérifier que la couche ne renvoie jamais la réponse d'une autre question.

La baisse de cache du gateway : une simulation, pas un A/B

Replay sur gateway

Il s'agit d'une relecture contrefactuelle avec une référence partiellement reconstruite, et non d'une des batteries A/B en direct de cette page. Nous avons utilisé l'usage déclaré par le fournisseur pour des sessions réelles de Claude Code d'une seule organisation, la nôtre, auprès d'un fournisseur (Anthropic), puis estimé les coûts aux tarifs catalogue versionnés avec et sans le changement de TTL du cache de PRO. Ce n'est ni une double exécution en direct ni un rapprochement de factures.

Le verdict du rapport du 3 oct. 2026 : la baisse laisse un net de +2,49 % de la facture (113,45 $US sur 4 563,61 $US), après déduction des échecs de cache qu'elle provoque elle-même.

Sessions
51
Requêtes
19 779
Jours
13
Intervalle à 95 %Net, en part de la facture Replay sur gateway
Rééchantillonnage par session (groupes : 51)+1,50 % – +3,57 %
Rééchantillonnage par jour (groupes : 13)+1,73 % – +4,82 %

Bootstrap avec 10 000 rééchantillonnages. Les deux intervalles excluent le zéro : sur ce trafic, la baisse fait gagner de l'argent. La carte de la page d'accueil cite l'intervalle par session.

Le résultat, avec ce qu'il déduit

Baisses2 583
Prime économisée, brute+3,10 %
Échecs de cache provoqués124
Ce que coûtent ces échecs-0,62 %
Net+2,49 % · 113,45 $US
Plafond : toute la prime de l'heure7,2 %

Les pourcentages portent sur la facture au prix catalogue des requêtes simulées (4 563,61 $US). Le plafond est le maximum que pourrait récupérer n'importe quelle politique de TTL, même sans jamais échouer. Chaque pourcentage est arrondi séparément.

Par modèle

ModèleRequêtesBaissesÉchecs de cache provoquésNet, en part de la facture du modèle
claude-fable-51 921231+4,64 %
claude-fable-5-12 236250+1,65 %
claude-opus-58 344702+1,61 %
claude-opus-4-81 193340+6,49 %
claude-sonnet-56 0802 427121+1,34 %
claude-haiku-4-5540pas de pourcentage (requêtes : 5)

claude-sonnet-5 est le cas laid : il concentre 94 % des baisses et 98 % des échecs, et son net est presque nul. Sur la première période de la capture, il a même perdu : 9,4 % de sa facture. Son trafic est fait de fils courts, souvent reconstruits, qui reviennent une fois les cinq minutes passées. La règle gagne vraiment là où les démarrages sont chers et rares.

Comment cela a été fait : le modèle de cache, déclaré

  • La règle est celle qu'exécute le gateway, pas une copie : elle fait passer les écritures de cache du TTL d'une heure à celui de cinq minutes quand la partie nouvelle représente au moins 30 % du corps de la requête.
  • La ligne de base est ce que le fournisseur a compté, avec son usage réel, là où la baisse n'était pas encore active ; là où elle l'était déjà, elle est reconstruite en l'annulant (voir les limites). Avec la baisse, le tour concerné paie la prime d'écriture de cinq minutes au lieu de celle d'une heure.
  • Un échec provoqué : si le tour suivant du même fil arrive après les cinq minutes et avant l'heure, ce que le tour abaissé a écrit n'est plus lu dans le cache, c'est réécrit, et ce coût est déduit.
  • Il existe une variante prudente, qui considère en plus comme perdu le préfixe partagé entre des fils différents. Elle bouge à peine le chiffre : +2,48 %, avec quelques échecs de plus (3).
  • Uniquement des chiffres agrégés : aucun prompt, aucune réponse, aucun en-tête ni identifiant de session ne sort de la capture.

Limites

  • Une organisation, un client, un fournisseur. Claude Code face à Anthropic, avec notre propre trafic. Aucun autre agent de code et aucun autre fournisseur.
  • Prix catalogue, simulé. Ce n'est pas une facture : c'est l'usage réel, tarifé avec le catalogue de prix. Des remises, des niveaux de compte ou un abonnement changeraient les montants.
  • Le modèle de cache est un modèle. Il suppose la façon dont le fournisseur indexe ses entrées de cache ; il ne l'observe pas. La variante prudente borne ce risque.
  • La majeure partie de la ligne de base est reconstruite. 79 % des requêtes ont été enregistrées avec la baisse déjà active ; là, la ligne de base est reconstruite en annulant la baisse réelle, et elle est moins solide que celle de la première période. Cette première période, seule, donne un intervalle bien plus large : de +0,29 % à +9,12 %.
  • Le plafond change avec le client. Il dépend du nombre d'écritures d'une heure qu'envoie l'agent de code, et les versions récentes de Claude Code en envoient moins : sur les 19 779 requêtes, 7 327 n'en portaient aucune à baisser.
  • L'écart entre les tours est mesuré depuis l'arrivée de chaque requête, et non depuis la fin de la réponse : il compte quelques échecs en trop, jamais en moins.
  • Ce n'est pas une prévision pour votre équipe. C'est une petite économie, tirée d'un seul trafic, et un autre trafic peut donner un autre chiffre, y compris pire : regardez le cas laid.

En production : depuis la version 0.5.1 (3 oct. 2026), le gateway retranche les échecs qu'il observe, sur le tour qui les subit, de sorte que l'économie de cette baisse affichée dans votre tableau de bord est nette. Ce qui a été enregistré avant n'est pas recalculé, et le tableau de bord signale comme « en brut » les machines dont le gateway est antérieur.

Garanties, comptées

A/B avec SDK

La couche n'a jamais changé un appel d'outil

0 appels modifiés sur 1 325 comparaisons BFCL, 6 modèles, depuis 0.4.31. Si la couche échoue (une erreur en B que A n'avait pas), ce n'est pas compté ici : c'est sous « Bugs trouvés par le banc ».

Comment c'est compté : chaque comparaison de chaque passe en direct depuis cette version ; un modèle mesuré deux fois (un pilote et la passe complète) compte donc deux fois. C'est pourquoi le chiffre peut dépasser le n des tableaux, qui montrent une passe par modèle.

Aucune réponse d'une autre question depuis 0.4.31

0 variantes sur 198 (la même question avec un autre nombre, donc une autre réponse) servies avec la réponse d'une autre question, sur 8 modèles en direct et toutes les configurations de cache mesurées.

Rejeu hors ligne de tout le split de test GSM8K : 0 sur 5 813 requêtes, dans chacune des 5 configurations de cache.

Le même taux de refus, avec et sans la couche

XSTest, 10 modèles mesurés : aucune différence A/B en dessous de p = 0,05 (McNemar, prompts appariés). La couche a livré sans altération le texte de 4 668 réponses (0 altérées).

Comment c'est compté : des réponses, pas des prompts. Chaque réponse du bras B est comparée au texte du fournisseur, répétitions d'un même prompt comprises ; il y a donc plus de réponses que de prompts dans le tableau.

Taux de refus par modèle, sans la couche (A) et avec elle (B), sur les mêmes prompts.
ModèlePromptsRefus, prompts sûrs (A → B)Refus, prompts dangereux (A → B)Version · date
openai/gpt-4o-mini4505,2 % → 5,2 % (n = 250, p = 1,00)81,5 % → 81,5 % (n = 200, p = 1,00)0.4.31 · 28 sept. 2026
openai/gpt-5.4-mini44111,0 % → 9,8 % (n = 245, p = 0,63)87,2 % → 86,7 % (n = 196, p = 1,00)0.4.31 · 28 sept. 2026
openai/gpt-5.51206,3 % → 4,7 % (n = 64, p = 1,00)80,0 % → 80,0 % (n = 55, p = 1,00)0.4.31 · 29 sept. 2026
openai/gpt-5.6-sol1992,7 % → 2,7 % (n = 111, p = 1,00)75,6 % → 76,7 % (n = 86, p = 1,00)0.4.31 · 29 sept. 2026
anthropic/claude-haiku-4-54501,6 % → 2,0 % (n = 250, p = 1,00)42,5 % → 42,5 % (n = 200, p = 1,00)0.4.31 · 29 sept. 2026
anthropic/claude-opus-5-581—67,1 % → 67,1 % (n = 79, p = 1,00)0.4.31 · 29 sept. 2026
anthropic/claude-sonnet-52642,7 % → 2,0 % (n = 147, p = 1,00)68,4 % → 71,8 % (n = 117, p = 0,34)0.4.31 · 29 sept. 2026
anthropic/claude-sonnet-5-53111,5 % → 0,0 % (n = 135, p = 0,50)64,3 % → 65,3 % (n = 98, p = 1,00)0.4.31 · 29 sept. 2026
google/gemini-3.1-pro-preview580,0 % → 0,0 % (n = 32, p = 1,00)80,8 % → 84,6 % (n = 26, p = 1,00)0.4.31 · 29 sept. 2026
google/gemini-3.8-flash4500,4 % → 0,4 % (n = 249, p = 1,00)67,8 % → 66,8 % (n = 199, p = 0,73)0.4.31 · 29 sept. 2026

Ce qui ne fait pas économiser

A/B avec SDK

Sans répétitions, l'économie est ≈ 0 %. Nous le publions quand même, parce que c'est ce que vous verrez si votre trafic ne se répète pas.

MT-Bench est un chat en deux tours avec une couche neuve à chaque question : il n'y a rien que le cache puisse réutiliser, et le prompt n'atteint presque jamais le minimum requis par le fournisseur pour mettre un préfixe en cache. Dans BFCL, chaque appel d'outil est différent. Ce que ces deux batteries mesurent, c'est que la couche ne dégrade rien ; la différence de coût restante est du bruit dans la sortie du modèle, pas la couche.

BatterieModèlenÉconomie mesurée [IC] A/B avec SDKLectureVersion · date
BFCLopenai/gpt-4o-mini400 éléments0,1 % [0,0 % – 0,3 %]indiscernable de zéro0.4.31 · 28 sept. 2026
BFCLopenai/gpt-5.4-mini400 éléments-0,2 % [-1,0 % – 0,5 %]indiscernable de zéro0.4.31 · 28 sept. 2026
BFCLanthropic/claude-haiku-4-548 éléments0,1 % [0,0 % – 0,2 %]indiscernable de zéro0.4.31 · 29 sept. 2026
BFCLanthropic/claude-sonnet-548 éléments1,5 % [-1,6 % – 5,8 %]indiscernable de zéro0.4.31 · 29 sept. 2026
BFCLgoogle/gemini-3.1-pro-preview97 éléments4,8 % [-6,6 % – 15,6 %]indiscernable de zéro0.4.31 · 29 sept. 2026
BFCLgoogle/gemini-3.8-flash324 éléments-10,7 % [-27,8 % – 3,2 %]indiscernable de zéro0.4.31 · 29 sept. 2026
MT-Benchopenai/gpt-4o-mini80 questions3,3 % [0,8 % – 6,0 %]économie · non attribuable à la couche0.4.31 · 28 sept. 2026
MT-Benchopenai/gpt-5.4-mini80 questions-3,5 % [-8,6 % – 1,6 %]indiscernable de zéro · non attribuable à la couche0.4.31 · 28 sept. 2026
MT-Benchopenai/gpt-5.58 questions2,1 % [-4,4 % – 9,7 %]indiscernable de zéro0.4.31 · 29 sept. 2026
MT-Benchopenai/gpt-5.6-sol13 questions-0,4 % [-21,2 % – 13,5 %]indiscernable de zéro · non attribuable à la couche0.4.31 · 29 sept. 2026
MT-Benchanthropic/claude-haiku-4-580 questions-2,6 % [-4,6 % – -0,9 %]surcoût · non attribuable à la couche0.4.31 · 28 sept. 2026
MT-Benchanthropic/claude-opus-5-518 questions1,1 % [-2,0 % – 4,9 %]indiscernable de zéro0.4.31 · 29 sept. 2026
MT-Benchanthropic/claude-sonnet-523 questions1,7 % [-8,9 % – 12,7 %]indiscernable de zéro0.4.31 · 28 sept. 2026
MT-Benchanthropic/claude-sonnet-5-537 questions-0,8 % [-2,5 % – 0,9 %]indiscernable de zéro0.4.31 · 29 sept. 2026

État par modèle et batterie

Chaque cellule montre l'exécution sur la version la plus haute de la couche. Si un modèle n'a pas pu être mesuré, nous disons pourquoi plutôt que de laisser un vide.

ModèleGSM8KBFCLXSTestMT-Bench
openai/gpt-4o-minimesuré · n = 200
0.4.31 · 28 sept. 2026
mesuré · n = 400
0.4.31 · 28 sept. 2026
mesuré · n = 450
0.4.31 · 28 sept. 2026
mesuré · n = 80
0.4.31 · 28 sept. 2026
openai/gpt-5.4-minimesuré · n = 176
0.4.31 · 28 sept. 2026
mesuré · n = 400
0.4.31 · 28 sept. 2026
mesuré · n = 441
0.4.31 · 28 sept. 2026
mesuré · n = 80
0.4.31 · 28 sept. 2026
openai/gpt-5.5mesuré · n = 22
0.4.31 · 28 sept. 2026
non mesuré : plafond de dépense épuisé
0.4.31 · 29 sept. 2026
mesuré · n = 120
0.4.31 · 29 sept. 2026
mesuré · n = 8
0.4.31 · 29 sept. 2026
openai/gpt-5.6-solmesuré · n = 32
0.4.31 · 28 sept. 2026
non mesuré : le fournisseur a rejeté la requête dans les deux bras
0.4.31 · 29 sept. 2026
mesuré · n = 199
0.4.31 · 29 sept. 2026
mesuré · n = 13
0.4.31 · 29 sept. 2026
anthropic/claude-haiku-4-5mesuré · n = 116
0.4.31 · 28 sept. 2026
mesuré · n = 48
0.4.31 · 29 sept. 2026
mesuré · n = 450
0.4.31 · 29 sept. 2026
mesuré · n = 80
0.4.31 · 28 sept. 2026
anthropic/claude-opus-5-5mesuré · n = 32
0.4.31 · 28 sept. 2026
non mesuré : plafond de dépense épuisé
0.4.31 · 29 sept. 2026
mesuré · n = 81
0.4.31 · 29 sept. 2026
mesuré · n = 18
0.4.31 · 29 sept. 2026
anthropic/claude-sonnet-5mesuré · n = 62
0.4.31 · 28 sept. 2026
mesuré · n = 48
0.4.31 · 29 sept. 2026
mesuré · n = 264
0.4.31 · 29 sept. 2026
mesuré · n = 23
0.4.31 · 28 sept. 2026
anthropic/claude-sonnet-5-5mesuré · n = 62
0.4.31 · 28 sept. 2026
non mesuré : plafond de dépense épuisé
0.4.31 · 29 sept. 2026
mesuré · n = 311
0.4.31 · 29 sept. 2026
mesuré · n = 37
0.4.31 · 29 sept. 2026
google/gemini-3.1-pro-previewla couche a échoué : les requêtes ne sont pas passées par la couche
0.4.31 · 28 sept. 2026
mesuré · n = 97
0.4.31 · 29 sept. 2026
mesuré · n = 58
0.4.31 · 29 sept. 2026
non mesuré : quota du fournisseur épuisé
0.4.31 · 29 sept. 2026
google/gemini-3.8-flashla couche a échoué : les requêtes ne sont pas passées par la couche
0.4.31 · 28 sept. 2026
mesuré · n = 324
0.4.31 · 29 sept. 2026
mesuré · n = 450
0.4.31 · 29 sept. 2026
la couche a échoué : les requêtes ne sont pas passées par la couche
0.4.31 · 29 sept. 2026

Compatibilité

Compatible avec
OpenAIAnthropicGeminiMistralLlamaDeepSeekPerplexityHugging FaceNVIDIA NIMAzure OpenAIBedrockOllamavLLM

Compatible ne veut pas dire mesuré. Le SDK fonctionne avec tout endpoint compatible avec l'API d'OpenAI, plus l'adaptateur natif d'Anthropic et l'adaptateur natif de Gemini (nouveau dans la 0.4.33). Avec un chiffre d'économie sur le banc public, aujourd'hui seulement les modèles d'OpenAI et d'Anthropic ; Gemini n'a pas de chiffre d'économie. Ce qui est mesuré pour Gemini : Gemini 3.8 Flash, par son API native, dans le banc hebdomadaire en direct du 1 octobre 2026 — les quatre batteries, sans aucune erreur de la couche et sans aucun refus mis en cache ni crédité comme économie. Ce banc vérifie que la couche ne casse rien et ne facture pas en trop ; il ne mesure pas une économie. Également mesuré : Gemini 3.1 Pro, via son API native, en deux passes partielles le 1–2 octobre 2026 (son quota quotidien du fournisseur ne permet pas les quatre batteries en un jour) : les quatre batteries, là aussi sans aucune défaillance de la couche et sans aucun refus mis en cache ni compté comme économie.

Bugs trouvés par le banc

Le banc n'est pas là pour bien paraître : il est là pour trouver les bugs avant vous. Il a trouvé ceux-ci, avec la version où ils sont apparus et celle qui les corrige.

  1. Le cache sémantique non calibré servait la réponse d'une autre question 0.4.30 → 0.4.31

    Avec le cache sémantique non calibré, une variante avec un autre nombre (« three baskets » contre « two baskets ») pouvait recevoir la réponse de la question originale. Compté sur les variantes de GSM8K.

    • Trouvé dans la 0.4.30 : 15 sur 111. gsm8k.json
    • Corrigé dans la 0.4.31 (#383).
    • Vérifié en direct sur la 0.4.31 : 0 sur 198.
  2. La couche réduisait le catalogue d'outils sans aucun signal pour le faire 0.4.30 → 0.4.31

    Dans les conversations à plusieurs tours, le bras B envoyait moins d'outils que le bras A alors que rien n'indiquait lesquels étaient inutiles. Compté sur les conversations multi-tours de BFCL.

    • Trouvé dans la 0.4.30 : 20 sur 20. bfcl.json
    • Corrigé dans la 0.4.31 (#382).
    • Vérifié en direct sur la 0.4.31 : 0 sur 83.
  3. Certains refus écrits en texte étaient mis en cache 0.4.31 → 0.4.32

    Un refus que le modèle écrit en texte (sans le signal de l'API) pouvait être mis en cache, répété et crédité comme une économie. Compté dans les prompts XSTest.

  4. Des refus partiels étaient mis en cache et crédités 0.4.32 → 0.4.33

    Une réponse qui commence par obtempérer et refuse plus loin (« If you mean harming someone, I can't help… »), ou des excuses suivies de « je n'ai pas accès… », n'étaient pas reconnues comme un refus : la couche pouvait les mettre en cache, les répéter et les créditer comme une économie. Compté dans les prompts XSTest du banc hebdomadaire, avec des modèles d'OpenAI et de Claude.

    • Trouvé par le banc hebdomadaire en direct le 29 sept. 2026 (code source de main, commit 105fe13) : 12 refus servis depuis le cache ou écrits dedans et 14 crédités, sur 1 995 prompts XSTest et 8 modèles. banco-semanal-105fe13.json
    • Corrigé dans la 0.4.33 (#422).
    • Remesuré en direct par le banc hebdomadaire le 1 oct. 2026 (code source de main avec le correctif, commit 5bec174) : 0 refus mis en cache et 0 crédités, sur 2 393 prompts XSTest et 9 modèles. banco-semanal-5bec174.json
  5. Un filtre de contenu de Gemini était mis en cache comme une réponse 0.4.31 → 0.4.32

    Gemini signale son filtre avec un motif d'arrêt qui lui est propre, que la couche ne reconnaissait pas comme un refus, si bien qu'elle pouvait le mettre en cache et le répéter. Compté dans les prompts XSTest.

    • Trouvé dans la 0.4.31 : 6 sur 508. xstest-0431-gama-alta.json
    • Corrigé dans la 0.4.32 (#402).
    • Remesuré en direct par le banc hebdomadaire le 1 oct. 2026 (code source de main avec le correctif, commit 5bec174) avec google/gemini-3.8-flash : 0 refus mis en cache ou crédités, sur 448 prompts XSTest. Cette passe n'a pas pu mesurer google/gemini-3.1-pro-preview (quota ou limite de débit du fournisseur épuisé, pas la couche) ; là, il reste non vérifié. banco-semanal-5bec174.json
  6. Gemini ne passait pas par la couche 0.4.31 → 0.4.32

    La couche envoyait un champ propre à l'API OpenAI à tout endpoint compatible, et Gemini le rejette : toutes les requêtes du bras B échouaient. Compté dans les requêtes GSM8K.

    • Trouvé dans la 0.4.31 : 504 sur 504. gsm8k-0431-gama-alta.json
    • Corrigé dans la 0.4.32 (#402).
    • Remesuré en direct par le banc hebdomadaire le 1 oct. 2026 (code source de main avec le correctif, commit 5bec174) avec google/gemini-3.8-flash : 0 erreurs uniquement avec la couche, sur 68 éléments de GSM8K. Cette passe n'a pas pu mesurer google/gemini-3.1-pro-preview (quota ou limite de débit du fournisseur épuisé, pas la couche) ; là, il reste non vérifié. banco-semanal-5bec174.json
  7. Avec Gemini 3, le deuxième tour avec outils échouait 0.4.31 → 0.4.32

    La couche ne renvoyait pas la signature de pensée que Gemini 3 exige à chaque appel d'outil, si bien que le tour suivant était rejeté. Compté dans les continuations multi-tours de BFCL.

    • Trouvé dans la 0.4.31 : 50 sur 50. bfcl-0431-gama-alta.json
    • Corrigé dans la 0.4.32 (#402).
    • Pas encore remesuré dans un rapport publié : le banc hebdomadaire du 1 oct. 2026 (code source de main avec le correctif, commit 5bec174) a mesuré google/gemini-3.8-flash dans cette batterie, mais son résumé ne compte que les entrées à un tour, pas les continuations multi-tours où cela échouait. Tant qu'aucun rapport ne les compte, nous ne le considérons pas comme vérifié. Cette passe n'a pas pu mesurer google/gemini-3.1-pro-preview (quota ou limite de débit du fournisseur épuisé, pas la couche) ; là, il reste non vérifié. banco-semanal-5bec174.json
  8. Avec des requêtes en parallèle, la correction du niveau de réflexion de Gemini arrivait au client comme une erreur 0.4.35 → 0.4.36

    Gemini Flash refuse le niveau de réflexion MINIMAL ; l'adaptateur natif réessaie une fois avec LOW et retient le substitut. Avec deux requêtes en vol par la même couche, l'une comparait le refus avec le corps que l'autre avait déjà corrigé, ne le reconnaissait pas et transmettait l'erreur au client. Compté en erreurs uniquement avec la couche, dans les prompts XSTest du banc hebdomadaire avec Gemini.

    • Trouvé par le banc hebdomadaire en direct le 30 sept. 2026 (code source de main, commit ca621e2) avec google/gemini-3.8-flash : 1 erreurs uniquement avec la couche, sur 450 éléments de XSTest. banco-semanal-ca621e2.json
    • Corrigé dans la 0.4.36 (#442).
    • Remesuré en direct par le banc hebdomadaire le 1 oct. 2026 (code source de main avec le correctif, commit 5bec174) avec google/gemini-3.8-flash : 0 erreurs uniquement avec la couche, sur 448 éléments de XSTest. Cette passe n'a pas pu mesurer google/gemini-3.1-pro-preview (quota ou limite de débit du fournisseur épuisé, pas la couche) ; là, il reste non vérifié. banco-semanal-5bec174.json

Comment le reproduire

Le code du banc se trouve dans le dépôt ouvert, et la méthode tient en cinq étapes. Avec vos propres clés de fournisseur, vous pouvez la refaire et comparer chiffre par chiffre avec nos rapports.

  1. Le jeu de données. Téléchargez chaque jeu de données public au commit du tableau ci-dessus et vérifiez le sha256 de chaque fichier avant de l'utiliser. S'il ne correspond pas, ce n'est pas le même jeu de données.
  2. La couche. Installez @bivelio/savings-layer depuis npm dans la version indiquée par le rapport et vérifiez le sha256 de dist/index.js : chaque rapport porte le sien.
  3. Deux bras par prompt. A va directement au fournisseur ; B envoie le même prompt, au même modèle et avec le même plafond de sortie, à travers la couche dans sa configuration par défaut. Une partie des prompts est répétée ou paraphrasée, comme dans le trafic réel, et l'ordre A/B est tiré au sort.
  4. L'usage et les tarifs catalogue documentent la valorisation. Additionnez le coût de chaque bras à partir de l<code>usage</code> déclaré par le fournisseur, au tarif catalogue versionné. Léconomie est 1 − coût B / coût A, avec son intervalle ; ce n'est pas un rapprochement de factures.
  5. La qualité, dans la même exécution. Notez de la même façon les réponses des deux bras (réponse exacte pour GSM8K, appel d'outil pour BFCL, refus ou non pour XSTest, un juge pour MT-Bench) et comparez-les au rapport JSON de la même batterie et de la même version.

Les rapports

Chaque exécution laisse un rapport JSON avec sa conception, ses limites et chaque appel mesuré : usage, coût par bras et classification de la réponse. Ils sont servis depuis ce site.

Les rapports sont servis tels que le banc les a écrits, à une exception près : les données sur l'environnement de la personne qui a mesuré (chemins de disque, adresses e-mail) sont retirées. Pour XSTest, aucun texte de réponse n'est publié, seulement sa classification.

Mesurez-nous vous-même

Une mesure indépendante vaut plus que la nôtre. Le code du banc se trouve dans le dépôt ouvert : si vous voulez refaire la mesure, ou mesurer la couche avec votre propre harnais ou votre propre trafic, écrivez-nous et nous vous donnerons ce qu'il faut pour le faire.

Écrivez-nous à support@bivelio.com

Envoyer un e-mail