El nostre banc A/B, obert. Mesura'ns.

Què es mesura i com

• Dos braços, la mateixa petició. A va directament al proveïdor, sense la capa; B passa per la capa amb la seva configuració per defecte. Mateix prompt, mateix mostreig i mateix límit de sortida.
• El cost el compta el proveïdor. Cada braç es valora amb l<code>usage</code> que retorna lAPI a cada crida, al preu de llista. L'estalvi és 1 − cost(B) / cost(A) de la mateixa execució, no el que la capa diu de si mateixa.
• Intervals al 95 %. Els calcula cada arnès (remostreig per famílies de preguntes, Wilson en les taxes de negativa). Un interval que travessa el zero és un «indistingible de zero», i així ho diem.
• El paquet, el que s'instal·la. El braç B executa la font de l'etiqueta 0.4.31; el seu dist/index.js és idèntic byte a byte al del tarball d'npm (sha256 b52f99cacf9804ecd3153e56f26ec3adcdc2510d52a8446a369ecf914e0b5731).
• Sense dreceres. Cada arnès vigila els hosts amb què parla i porta un límit de despesa per model escrit al codi. Un model que no s'ha pogut mesurar surt com a «no mesurat», amb el motiu.

Quatre bateries, conjunts de dades públics, fixats

Estalvi mesurat per model

GSM8K, amb un flux de peticions en què un 30 % són repeticions exactes i un 20 % paràfrasis. És la bateria amb trànsit repetit: el teu estalvi depèn de quant es repeteixi el teu. Sense repeticions, mira «El que no estalvia».

Origen de l'estalvi, posició a posició: «de la memòria cau exacta» és el que A va pagar en les peticions que la capa va servir sense trucar al proveïdor; «a les crides» és la diferència en les que sí que hi van arribar, sobretot memòria cau de prefix del proveïdor (més una mica de variació de la sortida). Les dues sumen l'estalvi total.

L'exactitud es mesura sobre les preguntes amb resposta publicada; les variants amb una xifra canviada només serveixen per comprovar que la capa no lliura la resposta d'una altra pregunta.

Garanties, comptades

El que no estalvia

Sense repeticions, l'estalvi és ≈ 0 %. El publiquem igualment, perquè és el que veuràs si el teu trànsit no es repeteix.

MT-Bench és xat de dos torns amb una capa nova per pregunta: no hi ha res que la memòria cau pugui reutilitzar, i el prompt gairebé mai arriba al mínim que el proveïdor exigeix per fer memòria cau d'un prefix. A BFCL cada crida a eines és diferent. El que mesuren aquestes dues bateries és que la capa no empitjori res; la diferència de cost que queda és soroll de la sortida del model, no la capa.

Estat per model i bateria

Cada cel·la mostra l'execució de la versió més alta de la capa. Si un model no s'ha pogut mesurar, es diu per què, en lloc de deixar el buit.

Errors que el banc ha trobat

El banc no hi és per quedar bé: hi és per trobar els errors abans que tu. Ha trobat aquests, amb la versió en què van aparèixer i la que els arregla.

1. La memòria cau semàntica sense calibrar servia la resposta d'una altra pregunta 0.4.30 → 0.4.31

   Amb la memòria cau semàntica sense calibrar, una variant amb un altre número («three baskets» enfront de «two baskets») podia rebre la resposta de la pregunta original. Comptat sobre les variants de GSM8K.

   • Trobat a la 0.4.30: 15 de 111. gsm8k.json
   • Arreglat a la 0.4.31 (#383).
   • Verificat en directe a la 0.4.31: 0 de 198.

2. La capa retallava el catàleg d'eines sense cap senyal per fer-ho 0.4.30 → 0.4.31

   En converses de diversos torns, el braç B enviava menys eines que l'A tot i que res no indicava quines sobraven. Comptat sobre les converses multi-torn de BFCL.

   • Trobat a la 0.4.30: 20 de 20. bfcl.json
   • Arreglat a la 0.4.31 (#382).
   • Verificat en directe a la 0.4.31: 0 de 83.

3. Algunes negatives escrites com a text es desaven a la memòria cau 0.4.31 → 0.4.32

   Una negativa que el model escriu com a text (sense el senyal de l'API) podia desar-se a la memòria cau, repetir-se i acreditar-se com a estalvi. Comptat en prompts de XSTest.

   • Trobat a la 0.4.31: 39 de 2.824. xstest-0431-claude.jsonxstest-0431-gama-alta.jsonxstest-0431.json
   • Arreglat a la 0.4.32 (#393, #401).
   • Pendent de tornar a mesurar en directe a la 0.4.32.

4. Un filtre de contingut de Gemini es desava a la memòria cau com a resposta 0.4.31 → 0.4.32

   Gemini assenyala el seu filtre amb un motiu d'aturada propi que la capa no reconeixia com a negativa, així que podia desar-lo a la memòria cau i repetir-lo. Comptat en prompts de XSTest.

   • Trobat a la 0.4.31: 6 de 508. xstest-0431-gama-alta.json
   • Arreglat a la 0.4.32 (#402).
   • Pendent de tornar a mesurar en directe a la 0.4.32.

5. Gemini no passava per la capa 0.4.31 → 0.4.32

   La capa enviava un camp propi de l'API d'OpenAI a qualsevol endpoint compatible, i Gemini el rebutja: totes les peticions del braç B fallaven. Comptat en peticions de GSM8K.

   • Trobat a la 0.4.31: 504 de 504. gsm8k-0431-gama-alta.json
   • Arreglat a la 0.4.32 (#402).
   • Pendent de tornar a mesurar en directe a la 0.4.32.

6. Amb Gemini 3, el segon torn amb eines fallava 0.4.31 → 0.4.32

   La capa no retornava la signatura de pensament que Gemini 3 exigeix a cada crida a eines, així que el torn següent es rebutjava. Comptat en continuacions multi-torn de BFCL.

   • Trobat a la 0.4.31: 50 de 50. bfcl-0431-gama-alta.json
   • Arreglat a la 0.4.32 (#402).
   • Pendent de tornar a mesurar en directe a la 0.4.32.

Com reproduir-ho

El codi del banc encara no és públic; el mètode sí, i cap en cinc passos. Amb les teves pròpies claus de proveïdor el pots repetir i comparar xifra a xifra amb els nostres informes.

1. El dataset. Descarrega cada dataset públic al commit de la taula de dalt i comprova el sha256 de cada fitxer abans de fer-lo servir. Si no quadra, no és el mateix dataset.
2. La capa. Instal·la @bivelio/savings-layer des de npm a la versió que diu l'informe i comprova el sha256 de dist/index.js: cada informe porta el seu.
3. Dos braços per prompt. A va directe al proveïdor; B envia el mateix prompt, al mateix model i amb el mateix límit de sortida, a través de la capa amb la configuració per defecte. Una part dels prompts es repeteix o es parafraseja, com en el trànsit real, i l'ordre A/B se sorteja.
4. El cost el diu el proveïdor. Suma el que factura cada braç segons l<code>usage</code> que retorna el proveïdor, a la seva tarifa publicada. Lestalvi és 1 − cost B / cost A, amb el seu interval.
5. La qualitat, a la mateixa tirada. Puntua igual les respostes dels dos braços (resposta exacta a GSM8K, crida a eina a BFCL, negativa o no a XSTest, jutge a MT-Bench) i compara-les amb l'informe JSON de la mateixa bateria i versió.

Els informes

Cada tirada deixa un informe JSON amb el seu disseny, les seves limitacions i cada crida mesurada: usage, cost per braç i classificació de la resposta. Se serveixen des d'aquest web.

Els informes se serveixen tal com els va escriure el banc, amb una excepció: es treuen les dades de l'entorn de qui va mesurar (rutes de disc, correus). De XSTest no es publica el text de cap resposta, només la seva classificació.