Unser A/B-Benchmark, offen einsehbar. Messen Sie uns.
Wir veröffentlichen jeden Lauf: vier Testreihen mit öffentlichen Datensätzen, 10 Modelle, und beide Arme gemessen mit dem eigenen Nutzungszähler des Anbieters. Jede Zahl trägt ihr n, ihr Intervall und ihr Datum. Was nicht einspart, steht auch hier.
- Testreihen
- 4
- getestete Modelle
- 10
- Modelle mit einer Messung
- 10
- Live-Berichte
- 15
- letzter Lauf
- 01.10.2026
So lesen Sie diese Seite
- A/B mit SDK
- Zwei Arme für dieselbe Anfrage, bewertet mit der Nutzung, die der Anbieter meldet. So werden die Batterien des Benchmarks gemessen.
- Gateway-Replay
- Kontrafaktische Wiederholung mit teilweise rekonstruierter Baseline. Das ist weder ein Live-A/B noch eine abgerechnete Ersparnis noch ein Rechnungsabgleich.
- Dieselbe Anfrage
- Arm A: direkt zum Anbieter, ohne die Schicht
- Arm B: über die Schicht, mit ihrer Standardkonfiguration
- Der Verbrauchszähler des Anbieters misst beide Arme
Kompatibel heißt nicht gemessen: Ein Modell zählt hier nur, wenn es einen veröffentlichten Lauf hat, und was nicht gemessen werden konnte, steht mit seinem Grund da.
Lesefilter
12 von 12 Abschnitten werden angezeigt.
Preprintv2.3-r1
Verifiable Measurement of Cost Savings in Large Language Model Applications Open-Core Edition
Nach einer externen Begutachtung vor der Veröffentlichung überarbeitet: Methodik, Schätzer, Unsicherheit und die Grenzen jeder Zahl.
Was gemessen wird, und wie
- Zwei Arme, dieselbe Anfrage. A geht direkt zum Anbieter, ohne die Schicht; B läuft durch die Schicht mit ihrer Standardkonfiguration. Gleicher Prompt, gleiches Sampling, gleiche Ausgabeobergrenze.
- Vom Anbieter gemeldete Nutzung und versionierte Listenpreise. Jeder Arm wird anhand des von der API zurückgegebenen
usageund eines datierten Listenpreiskatalogs bewertet. Die Ersparnis ist 1 − Kosten(B) / Kosten(A) desselben Laufs. Beträge werden je nach Evidenz als measured, reference-valued oder estimated gekennzeichnet; dies ist keine Rechnungsabstimmung. - Intervalle zum 95 %. Jeder Testharness berechnet sie (Resampling ganzer Fragefamilien, Wilson für Ablehnungsraten). Ein Intervall, das die Null überschreitet, bedeutet „nicht von null unterscheidbar“, und das sagen wir dann auch.
- Das Paket, das Sie installieren. Die A/B-Läufe in den Tabellen unten liefen mit 0.4.31: Arm B führt den Quellcode dieses Tags aus, und seine
dist/index.jsist Byte für Byte identisch mit der aus dem npm-Tarball (sha256b52f99cacf9804ecd3153e56f26ec3adcdc2510d52a8446a369ecf914e0b5731). Der wöchentliche Live-Benchmark ist etwas anderes: Bei jedem Lauf misst er den Quellcode von main, wie er an diesem Tag ist, noch vor der Veröffentlichung. - Keine Abkürzungen. Jeder Testharness überwacht die Hosts, mit denen er spricht, und trägt ein im Code festgelegtes Ausgabenlimit pro Modell. Ein Modell, das nicht gemessen werden konnte, wird als „nicht gemessen“ ausgewiesen, mit Begründung.
Den 15-seitigen Forschungsbericht v2.3-r1 lesen (PDF): Methodik, Evidenzarten und die Grenzen jeder Zahl, überarbeitet nach einer externen Begutachtung vor der Veröffentlichung.
Vier Testreihen, öffentliche Datensätze, festgelegt
| Testreihe | Was geprüft wird | Datensatz | Festgelegte Dateien | Lizenz |
|---|---|---|---|---|
| GSM8K | Textaufgaben in Mathematik mit Wiederholungen und Umformulierungen: wie viel der Cache einspart und ob die Genauigkeit sinkt. | openai/grade-school-mathcommit 3101c7d5072418e28b9008a6636bde82a006892c | gsm8k-test sha256 3730d312f6e3440559ace48831e51066acaca737f6eabec99bccb9e4b3c39d14gsm8k-trainsha256 17f347dc51477c50d4efb83959dbb7c56297aba886e5544ee2aaed3024813465 | MIT |
| BFCL | Tool-Aufrufe: die Schicht darf keinen einzigen ändern, und der gesamte Katalog muss ankommen. | ShishirPatil/gorillacommit f7cf7359b7ac615a0b294831c5ba2bc95ee4a000 | per Commit festgelegt | Apache-2.0 |
| XSTest | Ablehnungen: die Schicht darf nicht ändern, wann das Modell ablehnt, noch eine Ablehnung aus dem Cache ausliefern. | paul-rottger/exaggerated-safetycommit d7bb5bd738c1fcbc36edd83d5e7d1b71a3e2d84d | xstest_prompts.csv sha256 11783fb294ed017473ee53c207d71f2161c7672c8d0b037501e78387f801cb5a | CC-BY-4.0 |
| MT-Bench | Chat mit zwei Runden ohne Wiederholungen: die Schicht darf Kosten, Latenz oder Qualität nicht verschlechtern. | lm-sys/FastChatcommit 587d5cfa1609a43d192cedb8441cac3c17db105d | question.jsonl sha256 119565adbab82227089cefdb44c8d7e2cf04dc0a0ec233634c82e7d4e2a944f7gpt-4.jsonlsha256 f957a5bc977badb66885ec970e6cd08527845780313f0995764260e5777b9b3fjudge_prompts.jsonlsha256 fd283293406d024f44c174b094ef48031d0687a4682fd3a56b29b138f80281b6 | Apache-2.0 |
Übersetzung, ohne Fachjargon
Der Test ist ein faires Experiment: dieselbe Aufgabe zweimal — ohne Savings und mit Savings — und derselbe Zähler des Anbieters zählt beide.
Bei einem Strom, in dem sich 30 % der Anfragen exakt wiederholen, sank die Rechnung um 31,5 % — zwischen 25,7 % und 36,7 % mit 95 % Konfidenz. Was du sparst, hängt davon ab, wie oft sich dein Traffic wiederholt.
Ein Prozentsatz bedeutet nichts ohne sein Intervall, sein Modell und seinen Traffic: Wir veröffentlichen alle drei.
Wöchentlicher Live-Benchmark
A/B mit SDK
Jede Woche, und immer wenn wir ihn von Hand starten, schickt ein Lauf alle Batterien durch alle Modelle: Arm A geht direkt zum Anbieter, Arm B durch die Schicht, gebaut aus dem Quellcode von main zu diesem Zeitpunkt. Das ist keine veröffentlichte Version, sondern das, was gleich veröffentlicht wird. Der Lauf schlägt fehl, wenn irgendeine Regel verletzt wird, und eine Zelle, die nicht gemessen werden konnte, sagt, warum.
Lauf vom 01.10.2026 · Quellcode von main bei Commit 5bec174 (Paketversion 0.4.35) · ausgegeben 21,96 $ von einem Limit von 50,00 $ · 36 von 40 Zellen gemessen. banco-semanal-5bec174.json
Ergebnis: keine Regressionen.
| Testreihe | Modell | Status | n | Ausgaben / Limit | Fehler der Schicht | Was er zählt | B − A | Bericht vs. Listenpreiskosten |
|---|---|---|---|---|---|---|---|---|
| GSM8K | openai/gpt-4o-mini | gemessen | 200 | 0,12 $ / 0,75 $ | 0 | Antwort einer anderen Frage: 0 | Genauigkeit -1,7 pp [-4,8, +1,1] | 0,00 % |
| GSM8K | openai/gpt-5.4-mini | gemessen | 106 | 0,42 $ / 0,75 $ | 0 | Antwort einer anderen Frage: 0 | Genauigkeit +1,0 pp [0,0, +3,3] | 0,00 % |
| GSM8K | openai/gpt-5.5 | gemessen | 24 | 0,86 $ / 1,25 $ | 0 | Antwort einer anderen Frage: 0 | Genauigkeit 0,0 pp [0,0, 0,0] | 0,00 % |
| GSM8K | openai/gpt-5.6-sol | gemessen | 34 | 0,31 $ / 1,25 $ | 0 | Antwort einer anderen Frage: 0 | Genauigkeit 0,0 pp [0,0, 0,0] | 0,00 % |
| GSM8K | anthropic/claude-haiku-4-5 | gemessen | 70 | 0,42 $ / 0,75 $ | 0 | Antwort einer anderen Frage: 0 | Genauigkeit -1,6 pp [-4,3, 0,0] | 0,00 % |
| GSM8K | anthropic/claude-sonnet-5 | gemessen | 52 | 0,48 $ / 1,10 $ | 0 | Antwort einer anderen Frage: 0 | Genauigkeit 0,0 pp [0,0, 0,0] | 0,00 % |
| GSM8K | anthropic/claude-sonnet-5-5 | gemessen | 56 | 0,47 $ / 1,10 $ | 0 | Antwort einer anderen Frage: 0 | Genauigkeit 0,0 pp [0,0, 0,0] | 0,00 % |
| GSM8K | anthropic/claude-opus-5-5 | gemessen | 30 | 0,55 $ / 1,25 $ | 0 | Antwort einer anderen Frage: 0 | Genauigkeit 0,0 pp [0,0, 0,0] | 0,00 % |
| GSM8K | google/gemini-3.8-flash | gemessen | 68 | 0,40 $ / 0,75 $ | 0 | Antwort einer anderen Frage: 0 | Genauigkeit 0,0 pp [0,0, 0,0] | 0,00 % |
| GSM8K | google/gemini-3.1-pro-preview | nicht messbar: Kontingent oder Ratenlimit des Anbieters erschöpft, nicht die Schicht | — | |||||
| BFCL | openai/gpt-4o-mini | gemessen | 100 | 0,03 $ / 0,75 $ | 0 | geänderte Tool-Aufrufe: 0 | Genauigkeit +2,0 pp [0,0, +5,0] | 0,00 % |
| BFCL | openai/gpt-5.4-mini | gemessen | 100 | 0,15 $ / 0,75 $ | 0 | geänderte Tool-Aufrufe: 0 | Genauigkeit -1,0 pp [-5,0, +2,0] | 0,00 % |
| BFCL | openai/gpt-5.5 | gemessen | 32 | 0,28 $ / 1,25 $ | 0 | geänderte Tool-Aufrufe: 0 | Genauigkeit +6,3 pp [0,0, +15,6] | 0,00 % |
| BFCL | openai/gpt-5.6-sol | gemessen | 32 | 0,18 $ / 1,25 $ | 0 | geänderte Tool-Aufrufe: 0 | Genauigkeit 0,0 pp [0,0, 0,0] | 0,00 % |
| BFCL | anthropic/claude-haiku-4-5 | gemessen | 100 | 0,59 $ / 0,75 $ | 0 | geänderte Tool-Aufrufe: 0 | Genauigkeit 0,0 pp [0,0, 0,0] | 0,00 % |
| BFCL | anthropic/claude-sonnet-5 | gemessen | 48 | 0,72 $ / 1,10 $ | 0 | geänderte Tool-Aufrufe: 0 | Genauigkeit 0,0 pp [-6,3, +6,3] | 0,00 % |
| BFCL | anthropic/claude-sonnet-5-5 | gemessen | 48 | 0,64 $ / 1,10 $ | 0 | geänderte Tool-Aufrufe: 0 | Genauigkeit 0,0 pp [0,0, 0,0] | 0,00 % |
| BFCL | anthropic/claude-opus-5-5 | gemessen | 32 | 0,47 $ / 1,25 $ | 0 | geänderte Tool-Aufrufe: 0 | Genauigkeit 0,0 pp [0,0, 0,0] | 0,00 % |
| BFCL | google/gemini-3.8-flash | gemessen | 100 | 0,45 $ / 0,75 $ | 0 | geänderte Tool-Aufrufe: 0 | Genauigkeit +1,0 pp [0,0, +3,0] | 0,00 % |
| BFCL | google/gemini-3.1-pro-preview | nicht messbar: Kontingent oder Ratenlimit des Anbieters erschöpft, nicht die Schicht | — | |||||
| XSTest | openai/gpt-4o-mini | gemessen | 450 | 0,06 $ / 0,75 $ | 0 | gecachte Ablehnungen: 0 · gutgeschrieben: 0 | sicher 0,0 pp (p = 1,00)unsicher 0,0 pp (p = 1,00) | 0,00 % |
| XSTest | openai/gpt-5.4-mini | gemessen (an seinem Ausgabenlimit gestoppt) | 412 | 0,75 $ / 0,75 $ | 0 | gecachte Ablehnungen: 0 · gutgeschrieben: 0 | sicher +0,9 pp (p = 0,77)unsicher 0,0 pp (p = 1,00) | 0,00 % |
| XSTest | openai/gpt-5.5 | gemessen | 99 | 1,01 $ / 1,25 $ | 0 | gecachte Ablehnungen: 0 · gutgeschrieben: 0 | sicher 0,0 pp (p = 1,00)unsicher 0,0 pp (p = 1,00) | 0,00 % |
| XSTest | openai/gpt-5.6-sol | gemessen | 99 | 0,62 $ / 1,25 $ | 0 | gecachte Ablehnungen: 0 · gutgeschrieben: 0 | sicher 0,0 pp (p = 1,00)unsicher 0,0 pp (p = 1,00) | 0,00 % |
| XSTest | anthropic/claude-haiku-4-5 | gemessen | 450 | 0,63 $ / 0,75 $ | 0 | gecachte Ablehnungen: 0 · gutgeschrieben: 0 | sicher 0,0 pp (p = 1,00)unsicher +0,5 pp (p = 1,00) | 0,00 % |
| XSTest | anthropic/claude-sonnet-5 | gemessen | 200 | 0,87 $ / 1,10 $ | 0 | gecachte Ablehnungen: 0 · gutgeschrieben: 0 | sicher 0,0 pp (p = 1,00)unsicher +2,2 pp (p = 0,50) | 0,00 % |
| XSTest | anthropic/claude-sonnet-5-5 | gemessen | 153 | 0,81 $ / 1,10 $ | 0 | gecachte Ablehnungen: 0 · gutgeschrieben: 0 | sicher +1,1 pp (p = 1,00)unsicher +3,0 pp (p = 0,50) | 0,00 % |
| XSTest | anthropic/claude-opus-5-5 | gemessen (an seinem Ausgabenlimit gestoppt) | 82 | 0,82 $ / 1,25 $ | 0 | gecachte Ablehnungen: 0 · gutgeschrieben: 0 | unsicher -3,7 pp (p = 0,45) | 0,00 % |
| XSTest | google/gemini-3.8-flash | gemessen | 448 | 0,52 $ / 0,75 $ | 0 | gecachte Ablehnungen: 0 · gutgeschrieben: 0 | sicher +0,4 pp (p = 1,00)unsicher +1,0 pp (p = 0,75) | 0,00 % |
| XSTest | google/gemini-3.1-pro-preview | nicht messbar: Kontingent oder Ratenlimit des Anbieters erschöpft, nicht die Schicht | — | |||||
| MT-Bench | openai/gpt-4o-mini | gemessen | 40 | 0,41 $ / 1,15 $ | 0 | — | B bevorzugt 48,1 % [38,5 % – 57,7 %] | 0,00 % |
| MT-Bench | openai/gpt-5.4-mini | gemessen | 40 | 0,68 $ / 1,15 $ | 0 | — | B bevorzugt 51,7 % [40,0 % – 65,0 %] | 0,00 % |
| MT-Bench | openai/gpt-5.5 | gemessen (an seinem Ausgabenlimit gestoppt) | 7 | 0,65 $ / 1,65 $ | 0 | — | B bevorzugt 46,4 % [28,6 % – 64,3 %] | 0,00 % |
| MT-Bench | openai/gpt-5.6-sol | gemessen (an seinem Ausgabenlimit gestoppt) | 11 | 0,97 $ / 1,65 $ | 0 | — | B bevorzugt 52,3 % [45,5 % – 59,1 %] | 0,00 % |
| MT-Bench | anthropic/claude-haiku-4-5 | gemessen | 40 | 0,79 $ / 1,15 $ | 0 | — | B bevorzugt 52,6 % [44,7 % – 60,5 %] | 0,00 % |
| MT-Bench | anthropic/claude-sonnet-5 | gemessen (an seinem Ausgabenlimit gestoppt) | 19 | 1,18 $ / 1,50 $ | 0 | — | B bevorzugt 50,0 % [38,5 % – 59,6 %] | 0,00 % |
| MT-Bench | anthropic/claude-sonnet-5-5 | gemessen | 24 | 1,14 $ / 1,50 $ | 0 | — | B bevorzugt 50,0 % [42,6 % – 58,8 %] | 0,00 % |
| MT-Bench | anthropic/claude-opus-5-5 | gemessen | 16 | 1,41 $ / 1,65 $ | 0 | — | B bevorzugt 35,9 % [26,6 % – 43,8 %] | 0,00 % |
| MT-Bench | google/gemini-3.8-flash | gemessen (an seinem Ausgabenlimit gestoppt) | 32 | 1,06 $ / 1,15 $ | 0 | — | B bevorzugt 39,6 % [27,1 % – 50,0 %] | 0,00 % |
| MT-Bench | google/gemini-3.1-pro-preview | nicht messbar: Kontingent oder Ratenlimit des Anbieters erschöpft, nicht die Schicht | — | |||||
„Fehler der Schicht“ sind Fehler in Arm B, die Arm A nicht hatte. „B − A“ ist der Genauigkeitsunterschied bei GSM8K und BFCL, der Unterschied der Ablehnungsrate bei XSTest (p nach McNemar, gepaarte Prompts) und bei MT-Bench, wie oft der Richter B bevorzugt (die Hälfte ist ein Unentschieden). „Bericht vs. Listenpreiskosten“ vergleicht die von der Schicht für B gemeldeten Kosten mit den unabhängig aus der gemeldeten Anbieternutzung zu denselben versionierten Listenpreisen berechneten Kosten; dies ist keine Rechnungsabstimmung.
Frühere wöchentliche Läufe
- 30.09.2026 · Commit ca621e2 · fehlgeschlagen (verletzte Regeln: 4). banco-semanal-ca621e2.json
- 29.09.2026 · Commit d650c59 · keine Regressionen. banco-semanal-d650c59.json
- 29.09.2026 · Commit 1100960 · keine Regressionen. banco-semanal.json
- 29.09.2026 · Commit 105fe13 · fehlgeschlagen (verletzte Regeln: 7). banco-semanal-105fe13.json
Teilläufe
Ein Teillauf wird von Hand mit nur einigen Modellen oder Batterien gestartet, etwa für den zweiten Tag eines Modells, dessen tägliches Anbieterkontingent nicht für alle vier Batterien an einem Tag reicht. Er misst, was er angibt, ist aber nicht der wöchentliche Lauf und zählt nicht für eine Veröffentlichung.
- 02.10.2026 · Commit b349d7a · google/gemini-3.1-pro-preview · GSM8K, XSTest · keine Regressionen. banco-semanal-b349d7a-gemini-31-pro-jornada-2.json
- 01.10.2026 · Commit b349d7a · google/gemini-3.1-pro-preview · BFCL, MT-Bench · keine Regressionen. banco-semanal-b349d7a-gemini-31-pro-jornada-1.json
Gemessene Ersparnis pro Modell
A/B mit SDK
GSM8K, mit einem Anfragestrom, in dem 30 % exakte Wiederholungen sind und 20 % Umformulierungen. Das ist die Testreihe mit wiederholtem Traffic: Ihre Ersparnis hängt davon ab, wie stark sich Ihrer wiederholt. Ohne Wiederholungen siehe „Was nicht einspart“.
Beide Arme, Modell für Modell
GSM8K, die Batterie zum Messen der Ersparnis. Wählen Sie ein gemessenes Modell: A geht direkt zum Anbieter, B läuft durch die Schicht.
Gemessene Ersparnis je Modell, mit Intervall
A/B mit SDKDer Punkt ist die Schätzung, der Balken das Konfidenzintervall, die Linie die Null. Alles im selben Maßstab.
- 31,5 % [25,7 % – 36,7 %] A/B mit SDK
- 200 Anfragen · 100 eindeutig
- 95,0 % → 96,1 %
- 0.4.31 · 28.09.2026
Es erscheinen nur Modelle mit einem gemessenen Lauf. Methodik ansehen
| Modell | n | Gemessene Ersparnis [CI] A/B mit SDK | Aus dem exakten Cache | In den Aufrufen (Präfix) | Genauigkeit A → B | Version · Datum |
|---|---|---|---|---|---|---|
openai/gpt-4o-mini | 200 Anfragen · 100 eindeutig | 31,5 % [25,7 % – 36,7 %] | 0,0124 $ | 0,0006 $ | 95,0 % → 96,1 %Δ +1,1 pp [0,0, +2,8] | 0.4.31 · 28.09.2026 |
openai/gpt-5.4-mini | 176 Anfragen · 88 eindeutig | 31,7 % [25,6 % – 37,6 %] | 0,0734 $ | 0,0003 $ | 95,6 % → 93,7 %Δ -1,9 pp [-5,0, 0,0] | 0.4.31 · 28.09.2026 |
openai/gpt-5.5 | 22 Anfragen · 11 eindeutig | 33,4 % [6,8 % – 53,8 %] | 0,0790 $ | -0,0023 $ | 100,0 % → 100,0 %Δ 0,0 pp [0,0, 0,0] | 0.4.31 · 28.09.2026 |
openai/gpt-5.6-sol | 32 Anfragen · 16 eindeutig | 29,2 % [9,5 % – 46,8 %] | 0,0252 $ | -0,0003 $ | 100,0 % → 100,0 %Δ 0,0 pp [0,0, 0,0] | 0.4.31 · 28.09.2026 |
anthropic/claude-haiku-4-5 | 116 Anfragen · 58 eindeutig | 32,2 % [23,6 % – 40,2 %] | 0,0773 $ | 0,0002 $ | 99,0 % → 99,0 %Δ 0,0 pp [0,0, 0,0] | 0.4.31 · 28.09.2026 |
anthropic/claude-opus-5-5 | 32 Anfragen · 16 eindeutig | 77,2 % [67,1 % – 83,9 %] | 0,0974 $ | 0,1391 $ | 100,0 % → 100,0 %Δ 0,0 pp [0,0, 0,0] | 0.4.31 · 28.09.2026 |
anthropic/claude-sonnet-5 | 62 Anfragen · 31 eindeutig | 75,1 % [69,3 % – 79,6 %] | 0,1054 $ | 0,1313 $ | 100,0 % → 100,0 %Δ 0,0 pp [0,0, 0,0] | 0.4.31 · 28.09.2026 |
anthropic/claude-sonnet-5-5 | 62 Anfragen · 31 eindeutig | 77,5 % [72,0 % – 81,7 %] | 0,0924 $ | 0,1289 $ | 100,0 % → 100,0 %Δ 0,0 pp [0,0, 0,0] | 0.4.31 · 28.09.2026 |
google/gemini-3.1-pro-preview | die Schicht ist fehlgeschlagen: Anfragen liefen nicht über die Schicht | 0.4.31 · 28.09.2026 | ||||
google/gemini-3.8-flash | die Schicht ist fehlgeschlagen: Anfragen liefen nicht über die Schicht | 0.4.31 · 28.09.2026 | ||||
Woher die Ersparnis stammt, Position für Position: „aus dem exakten Cache“ ist das, was A für die Anfragen bezahlt hat, die die Schicht bedient hat, ohne den Anbieter aufzurufen; „in den Aufrufen“ ist die Differenz bei denen, die ihn tatsächlich erreicht haben, meist der Präfix-Cache des Anbieters (plus etwas Variation in der Ausgabe). Beide zusammen ergeben die Gesamtersparnis.
Die Genauigkeit wird anhand der Fragen mit veröffentlichter Antwort gemessen; die Varianten mit einer geänderten Zahl dienen nur dazu zu prüfen, dass die Schicht niemals die Antwort einer anderen Frage zurückgibt.
Die Cache-Senkung des Gateways: eine Simulation, kein A/B
Gateway-Replay
Dies ist eine kontrafaktische Wiederholung mit einer teilweise rekonstruierten Basislinie, keine der Live-A/B-Batterien dieser Seite. Wir verwendeten die vom Anbieter gemeldete Nutzung echter Claude-Code-Sitzungen einer einzigen Organisation, unserer eigenen, bei einem Anbieter (Anthropic) und schätzten die Kosten zu versionierten Listenpreisen mit und ohne die Cache-TTL-Änderung von PRO. Es ist weder ein Live-Doppellauf noch eine Rechnungsabstimmung.
Das Urteil des Berichts vom 03.10.2026: Die Senkung bringt netto +2,49 % der Rechnung (113,45 $ von 4.563,61 $), nach Abzug der Cache-Fehltreffer, die sie selbst verursacht.
- Sitzungen
- 51
- Anfragen
- 19.779
- Tage
- 13
| 95 %-Intervall | Netto, Anteil an der Rechnung Gateway-Replay |
|---|---|
| Resampling nach Sitzung (Cluster: 51) | +1,50 % – +3,57 % |
| Resampling nach Tag (Cluster: 13) | +1,73 % – +4,82 % |
Bootstrap mit 10.000 Wiederholungen. Beide Intervalle schließen die Null aus: Bei diesem Traffic verdient die Senkung Geld. Die Karte auf der Startseite nennt das Intervall nach Sitzung.
Das Ergebnis, mit dem, was abgezogen wird
| Senkungen | 2.583 |
| Gesparter Aufschlag, brutto | +3,10 % |
| Verursachte Cache-Fehltreffer | 124 |
| Was diese Fehltreffer kosten | -0,62 % |
| Netto | +2,49 % · 113,45 $ |
| Obergrenze: der gesamte Ein-Stunden-Aufschlag | 7,2 % |
Die Prozentwerte beziehen sich auf die Rechnung zu Listenpreisen für die simulierten Anfragen (4.563,61 $). Die Obergrenze ist das Maximum, das irgendeine TTL-Politik zurückholen könnte, selbst wenn sie nie danebenläge. Jeder Prozentwert wird einzeln gerundet.
Nach Modell
| Modell | Anfragen | Senkungen | Verursachte Cache-Fehltreffer | Netto, Anteil an der Rechnung des Modells |
|---|---|---|---|---|
claude-fable-5 | 1.921 | 23 | 1 | +4,64 % |
claude-fable-5-1 | 2.236 | 25 | 0 | +1,65 % |
claude-opus-5 | 8.344 | 70 | 2 | +1,61 % |
claude-opus-4-8 | 1.193 | 34 | 0 | +6,49 % |
claude-sonnet-5 | 6.080 | 2.427 | 121 | +1,34 % |
claude-haiku-4-5 | 5 | 4 | 0 | kein Prozentwert (Anfragen: 5) |
claude-sonnet-5 ist der hässliche Fall: Auf ihn entfallen 94 % der Senkungen und 98 % der Fehltreffer, und sein Netto ist fast null. Im ersten Zeitraum der Aufzeichnung hat er sogar verloren: 9,4 % seiner Rechnung. Sein Traffic besteht aus kurzen Threads, die oft neu aufgebaut werden und nach Ablauf der fünf Minuten zurückkommen. Die Regel lohnt sich wirklich dort, wo Sitzungsstarts teuer und selten sind.
Wie es gemacht wurde: das Cache-Modell, offengelegt
- Die Regel ist dieselbe, die das Gateway ausführt, keine Kopie: Sie verschiebt Cache-Schreibvorgänge vom Ein-Stunden-TTL auf das Fünf-Minuten-TTL, wenn der neue Teil mindestens 30 % des Anfragekörpers ausmacht.
- Die Basislinie ist das, was der Anbieter gezählt hat, mit der tatsächlichen Nutzung, wo die Senkung noch nicht aktiv war; wo sie es bereits war, wird sie rekonstruiert, indem die Senkung rückgängig gemacht wird (siehe Grenzen). Mit der Senkung zahlt der gesenkte Turn den Schreibaufschlag für fünf Minuten statt den für eine Stunde.
- Ein verursachter Fehltreffer: Kommt der nächste Turn desselben Threads nach Ablauf der fünf Minuten und vor Ablauf der Stunde, wird das, was der gesenkte Turn geschrieben hat, nicht mehr aus dem Cache gelesen, sondern neu geschrieben, und diese Kosten werden abgezogen.
- Es gibt eine konservative Variante, die zusätzlich das zwischen verschiedenen Threads geteilte Präfix als verloren ansieht. Sie bewegt die Zahl kaum: +2,48 %, mit einigen Fehltreffern mehr (3).
- Nur aggregierte Zahlen: Kein Prompt, keine Antwort, kein Header und keine Sitzungskennung verlässt die Aufzeichnung.
Grenzen
- Eine Organisation, ein Client, ein Anbieter. Claude Code gegen Anthropic, mit unserem eigenen Traffic. Kein anderer Coding-Agent und kein anderer Anbieter.
- Listenpreis, simuliert. Es ist keine Rechnung: Es ist die echte Nutzung, bepreist mit dem Preiskatalog. Rabatte, Kontostufen oder ein Abonnement würden das Geld verändern.
- Das Cache-Modell ist ein Modell. Es nimmt an, wie der Anbieter seine Cache-Einträge indexiert; es beobachtet das nicht. Die konservative Variante begrenzt dieses Risiko.
- Der größte Teil der Basislinie ist rekonstruiert. 79 % der Anfragen wurden aufgezeichnet, als die Senkung bereits aktiv war; dort wird die Basislinie rekonstruiert, indem die tatsächliche Senkung rückgängig gemacht wird, und sie ist weniger belastbar als die des ersten Abschnitts. Dieser erste Abschnitt allein ergibt ein deutlich breiteres Intervall: +0,29 % bis +9,12 %.
- Die Obergrenze ändert sich mit dem Client. Sie hängt davon ab, wie viele Ein-Stunden-Schreibvorgänge der Coding-Agent sendet, und neuere Versionen von Claude Code senden weniger: Von den 19.779 Anfragen enthielten 7.327 keinen, der sich senken ließe.
- Die Lücke zwischen Turns wird ab dem Eintreffen jeder Anfrage gemessen, nicht ab dem Ende der Antwort: Sie zählt eher einen Fehltreffer zu viel, nie zu wenig.
- Es ist keine Prognose für dein Team. Es ist eine kleine Ersparnis aus einem einzigen Traffic, und anderer Traffic kann eine andere Zahl ergeben, auch eine schlechtere: Sieh dir den hässlichen Fall an.
In Produktion: Seit Version 0.5.1 (03.10.2026) zieht das Gateway die Fehltreffer, die es beobachtet, in dem Turn ab, der sie erleidet, sodass die Ersparnis aus dieser Senkung in deinem Dashboard netto ist. Früher Erfasstes wird nicht neu berechnet, und das Dashboard kennzeichnet Maschinen mit einem älteren Gateway als „brutto“.
Garantien, gezählt
A/B mit SDK
Die Schicht hat noch nie einen Tool-Aufruf verändert
0 veränderte Aufrufe bei 1.325 BFCL-Vergleichen, 6 Modelle, seit 0.4.31. Wenn die Schicht versagt (ein Fehler in B, den A nicht hatte), wird das hier nicht gezählt: das steht unter „Fehler, die der Benchmark gefunden hat“.
So wird gezählt: jeder Vergleich aus jedem Live-Lauf seit dieser Version, ein zweimal gemessenes Modell (ein Pilot und der volle Lauf) zählt also beide Male. Deshalb kann die Zahl das n der Tabellen übersteigen, die einen Lauf pro Modell zeigen.
Keine Antwort einer anderen Frage seit 0.4.31
0 von 198 Varianten (dieselbe Frage mit einer anderen Zahl, also einer anderen Antwort) mit der Antwort einer anderen Frage ausgeliefert, über 8 Live-Modelle und alle gemessenen Cache-Konfigurationen hinweg.
Offline-Replay des gesamten GSM8K-Testsplits: 0 bei 5.813 Anfragen, in jeder der 5 Cache-Konfigurationen.
Dieselbe Ablehnungsrate, mit und ohne die Schicht
XSTest, 10 gemessene Modelle: kein A/B-Unterschied unterhalb von p = 0,05 (McNemar, gepaarte Prompts). Die Schicht hat den Text von 4.668 Antworten unverändert ausgeliefert (0 verändert).
So wird gezählt: Antworten, nicht Prompts. Jede Antwort aus Arm B wird mit dem Text des Anbieters verglichen, Wiederholungen desselben Prompts eingeschlossen, daher gibt es mehr Antworten als Prompts in der Tabelle.
| Modell | Prompts | Ablehnungen, sichere Prompts (A → B) | Ablehnungen, unsichere Prompts (A → B) | Version · Datum |
|---|---|---|---|---|
openai/gpt-4o-mini | 450 | 5,2 % → 5,2 % (n = 250, p = 1,00) | 81,5 % → 81,5 % (n = 200, p = 1,00) | 0.4.31 · 28.09.2026 |
openai/gpt-5.4-mini | 441 | 11,0 % → 9,8 % (n = 245, p = 0,63) | 87,2 % → 86,7 % (n = 196, p = 1,00) | 0.4.31 · 28.09.2026 |
openai/gpt-5.5 | 120 | 6,3 % → 4,7 % (n = 64, p = 1,00) | 80,0 % → 80,0 % (n = 55, p = 1,00) | 0.4.31 · 29.09.2026 |
openai/gpt-5.6-sol | 199 | 2,7 % → 2,7 % (n = 111, p = 1,00) | 75,6 % → 76,7 % (n = 86, p = 1,00) | 0.4.31 · 29.09.2026 |
anthropic/claude-haiku-4-5 | 450 | 1,6 % → 2,0 % (n = 250, p = 1,00) | 42,5 % → 42,5 % (n = 200, p = 1,00) | 0.4.31 · 29.09.2026 |
anthropic/claude-opus-5-5 | 81 | — | 67,1 % → 67,1 % (n = 79, p = 1,00) | 0.4.31 · 29.09.2026 |
anthropic/claude-sonnet-5 | 264 | 2,7 % → 2,0 % (n = 147, p = 1,00) | 68,4 % → 71,8 % (n = 117, p = 0,34) | 0.4.31 · 29.09.2026 |
anthropic/claude-sonnet-5-5 | 311 | 1,5 % → 0,0 % (n = 135, p = 0,50) | 64,3 % → 65,3 % (n = 98, p = 1,00) | 0.4.31 · 29.09.2026 |
google/gemini-3.1-pro-preview | 58 | 0,0 % → 0,0 % (n = 32, p = 1,00) | 80,8 % → 84,6 % (n = 26, p = 1,00) | 0.4.31 · 29.09.2026 |
google/gemini-3.8-flash | 450 | 0,4 % → 0,4 % (n = 249, p = 1,00) | 67,8 % → 66,8 % (n = 199, p = 0,73) | 0.4.31 · 29.09.2026 |
Was nicht einspart
A/B mit SDK
Ohne Wiederholungen liegt die Ersparnis bei ≈ 0 %. Wir veröffentlichen es trotzdem, weil es das ist, was Sie sehen werden, wenn sich Ihr Traffic nicht wiederholt.
MT-Bench ist ein Chat mit zwei Runden mit einer frischen Schicht pro Frage: Es gibt nichts, was der Cache wiederverwenden könnte, und der Prompt erreicht fast nie das Minimum, das der Anbieter verlangt, um einen Präfix zu cachen. Bei BFCL ist jeder Tool-Aufruf anders. Was diese beiden Testreihen messen, ist, dass die Schicht nichts verschlechtert; die verbleibende Kostendifferenz ist Rauschen in der Ausgabe des Modells, nicht die Schicht.
| Testreihe | Modell | n | Gemessene Ersparnis [CI] A/B mit SDK | Einordnung | Version · Datum |
|---|---|---|---|---|---|
| BFCL | openai/gpt-4o-mini | 400 Einträge | 0,1 % [0,0 % – 0,3 %] | nicht von null unterscheidbar | 0.4.31 · 28.09.2026 |
| BFCL | openai/gpt-5.4-mini | 400 Einträge | -0,2 % [-1,0 % – 0,5 %] | nicht von null unterscheidbar | 0.4.31 · 28.09.2026 |
| BFCL | anthropic/claude-haiku-4-5 | 48 Einträge | 0,1 % [0,0 % – 0,2 %] | nicht von null unterscheidbar | 0.4.31 · 29.09.2026 |
| BFCL | anthropic/claude-sonnet-5 | 48 Einträge | 1,5 % [-1,6 % – 5,8 %] | nicht von null unterscheidbar | 0.4.31 · 29.09.2026 |
| BFCL | google/gemini-3.1-pro-preview | 97 Einträge | 4,8 % [-6,6 % – 15,6 %] | nicht von null unterscheidbar | 0.4.31 · 29.09.2026 |
| BFCL | google/gemini-3.8-flash | 324 Einträge | -10,7 % [-27,8 % – 3,2 %] | nicht von null unterscheidbar | 0.4.31 · 29.09.2026 |
| MT-Bench | openai/gpt-4o-mini | 80 Fragen | 3,3 % [0,8 % – 6,0 %] | Ersparnis · nicht der Schicht zuzuschreiben | 0.4.31 · 28.09.2026 |
| MT-Bench | openai/gpt-5.4-mini | 80 Fragen | -3,5 % [-8,6 % – 1,6 %] | nicht von null unterscheidbar · nicht der Schicht zuzuschreiben | 0.4.31 · 28.09.2026 |
| MT-Bench | openai/gpt-5.5 | 8 Fragen | 2,1 % [-4,4 % – 9,7 %] | nicht von null unterscheidbar | 0.4.31 · 29.09.2026 |
| MT-Bench | openai/gpt-5.6-sol | 13 Fragen | -0,4 % [-21,2 % – 13,5 %] | nicht von null unterscheidbar · nicht der Schicht zuzuschreiben | 0.4.31 · 29.09.2026 |
| MT-Bench | anthropic/claude-haiku-4-5 | 80 Fragen | -2,6 % [-4,6 % – -0,9 %] | Mehrkosten · nicht der Schicht zuzuschreiben | 0.4.31 · 28.09.2026 |
| MT-Bench | anthropic/claude-opus-5-5 | 18 Fragen | 1,1 % [-2,0 % – 4,9 %] | nicht von null unterscheidbar | 0.4.31 · 29.09.2026 |
| MT-Bench | anthropic/claude-sonnet-5 | 23 Fragen | 1,7 % [-8,9 % – 12,7 %] | nicht von null unterscheidbar | 0.4.31 · 28.09.2026 |
| MT-Bench | anthropic/claude-sonnet-5-5 | 37 Fragen | -0,8 % [-2,5 % – 0,9 %] | nicht von null unterscheidbar | 0.4.31 · 29.09.2026 |
Status nach Modell und Testreihe
Jede Zelle zeigt den Lauf mit der höchsten Version der Schicht. Wenn ein Modell nicht gemessen werden konnte, sagen wir, warum, statt eine Lücke zu lassen.
| Modell | GSM8K | BFCL | XSTest | MT-Bench |
|---|---|---|---|---|
openai/gpt-4o-mini | gemessen · n = 200 0.4.31 · 28.09.2026 | gemessen · n = 400 0.4.31 · 28.09.2026 | gemessen · n = 450 0.4.31 · 28.09.2026 | gemessen · n = 80 0.4.31 · 28.09.2026 |
openai/gpt-5.4-mini | gemessen · n = 176 0.4.31 · 28.09.2026 | gemessen · n = 400 0.4.31 · 28.09.2026 | gemessen · n = 441 0.4.31 · 28.09.2026 | gemessen · n = 80 0.4.31 · 28.09.2026 |
openai/gpt-5.5 | gemessen · n = 22 0.4.31 · 28.09.2026 | nicht gemessen: Ausgabenlimit erschöpft 0.4.31 · 29.09.2026 | gemessen · n = 120 0.4.31 · 29.09.2026 | gemessen · n = 8 0.4.31 · 29.09.2026 |
openai/gpt-5.6-sol | gemessen · n = 32 0.4.31 · 28.09.2026 | nicht gemessen: der Anbieter hat die Anfrage in beiden Armen abgelehnt 0.4.31 · 29.09.2026 | gemessen · n = 199 0.4.31 · 29.09.2026 | gemessen · n = 13 0.4.31 · 29.09.2026 |
anthropic/claude-haiku-4-5 | gemessen · n = 116 0.4.31 · 28.09.2026 | gemessen · n = 48 0.4.31 · 29.09.2026 | gemessen · n = 450 0.4.31 · 29.09.2026 | gemessen · n = 80 0.4.31 · 28.09.2026 |
anthropic/claude-opus-5-5 | gemessen · n = 32 0.4.31 · 28.09.2026 | nicht gemessen: Ausgabenlimit erschöpft 0.4.31 · 29.09.2026 | gemessen · n = 81 0.4.31 · 29.09.2026 | gemessen · n = 18 0.4.31 · 29.09.2026 |
anthropic/claude-sonnet-5 | gemessen · n = 62 0.4.31 · 28.09.2026 | gemessen · n = 48 0.4.31 · 29.09.2026 | gemessen · n = 264 0.4.31 · 29.09.2026 | gemessen · n = 23 0.4.31 · 28.09.2026 |
anthropic/claude-sonnet-5-5 | gemessen · n = 62 0.4.31 · 28.09.2026 | nicht gemessen: Ausgabenlimit erschöpft 0.4.31 · 29.09.2026 | gemessen · n = 311 0.4.31 · 29.09.2026 | gemessen · n = 37 0.4.31 · 29.09.2026 |
google/gemini-3.1-pro-preview | die Schicht ist fehlgeschlagen: Anfragen liefen nicht über die Schicht 0.4.31 · 28.09.2026 | gemessen · n = 97 0.4.31 · 29.09.2026 | gemessen · n = 58 0.4.31 · 29.09.2026 | nicht gemessen: Kontingent des Anbieters erschöpft 0.4.31 · 29.09.2026 |
google/gemini-3.8-flash | die Schicht ist fehlgeschlagen: Anfragen liefen nicht über die Schicht 0.4.31 · 28.09.2026 | gemessen · n = 324 0.4.31 · 29.09.2026 | gemessen · n = 450 0.4.31 · 29.09.2026 | die Schicht ist fehlgeschlagen: Anfragen liefen nicht über die Schicht 0.4.31 · 29.09.2026 |
Kompatibilität
Kompatibel heißt nicht gemessen. Das SDK funktioniert mit jedem Endpunkt, der mit der OpenAI-API kompatibel ist, dazu mit dem nativen Anthropic-Adapter und dem nativen Gemini-Adapter (neu in 0.4.33). Mit einer Einsparungszahl im öffentlichen Benchmark sind heute nur Modelle von OpenAI und Anthropic gemessen; für Gemini gibt es keine Einsparungszahl. Was für Gemini gemessen ist: Gemini 3.8 Flash, über seine native API, im wöchentlichen Live-Benchmark vom 1. Oktober 2026 — alle vier Batterien, ohne Fehler der Schicht und ohne gecachte oder als Einsparung gutgeschriebene Ablehnung. Dieser Benchmark prüft, dass die Schicht nichts kaputt macht und nicht zu viel berechnet; eine Einsparung misst er nicht. Ebenfalls gemessen: Gemini 3.1 Pro, über seine native API, in zwei Teilläufen am 1.–2. Oktober 2026 (sein tägliches Anbieterkontingent reicht nicht für alle vier Batterien an einem Tag): alle vier Batterien, ebenfalls ohne Fehler der Schicht und ohne gecachte oder als Ersparnis verbuchte Ablehnung.
Fehler, die der Benchmark gefunden hat
Der Benchmark ist nicht dazu da, gut auszusehen: Er ist dazu da, die Fehler zu finden, bevor Sie es tun. Er hat diese gefunden, mit der Version, in der sie auftraten, und der, die sie behebt.
Der unkalibrierte semantische Cache lieferte die Antwort einer anderen Frage 0.4.30 → 0.4.31
Bei unkalibriertem semantischem Cache konnte eine Variante mit einer anderen Zahl („three baskets“ gegenüber „two baskets“) die Antwort der ursprünglichen Frage erhalten. Gezählt über die GSM8K-Varianten.
- Gefunden in 0.4.30: 15 von 111. gsm8k.json
- Behoben in 0.4.31 (#383).
- Live verifiziert mit 0.4.31: 0 von 198.
Die Schicht kürzte den Tool-Katalog ohne jedes Signal dafür 0.4.30 → 0.4.31
In mehrteiligen Unterhaltungen sendete Arm B weniger Tools als Arm A, obwohl nichts darauf hindeutete, welche unnötig waren. Gezählt über die mehrteiligen BFCL-Unterhaltungen.
- Gefunden in 0.4.30: 20 von 20. bfcl.json
- Behoben in 0.4.31 (#382).
- Live verifiziert mit 0.4.31: 0 von 83.
Manche als Text geschriebenen Ablehnungen wurden gecacht 0.4.31 → 0.4.32
Eine Ablehnung, die das Modell als Text schreibt (ohne das Signal der API), konnte gecacht, wiederholt und als Ersparnis angerechnet werden. Gezählt in XSTest-Prompts.
- Gefunden in 0.4.31: 39 von 2.824. xstest-0431-claude.jsonxstest-0431-gama-alta.jsonxstest-0431.json
- Behoben in 0.4.32 (#393, #401).
- Vom wöchentlichen Benchmark am 01.10.2026 live nachgemessen (Quellcode von main mit dem Fix, Commit 5bec174): 0 gecachte und 0 gutgeschriebene Ablehnungen, bei 2.393 XSTest-Prompts auf 9 Modellen. banco-semanal-5bec174.json
Teilweise Ablehnungen wurden gecacht und gutgeschrieben 0.4.32 → 0.4.33
Eine Antwort, die zuerst mitspielt und weiter hinten ablehnt („If you mean harming someone, I can't help…“), oder eine Entschuldigung gefolgt von „ich habe keinen Zugriff…“, wurde nicht als Ablehnung erkannt: Die Schicht konnte sie cachen, wiederholen und als Ersparnis gutschreiben. Gezählt in den XSTest-Prompts des wöchentlichen Benchmarks, mit Modellen von OpenAI und Claude.
- Gefunden vom wöchentlichen Live-Benchmark am 29.09.2026 (Quellcode von main, Commit 105fe13): 12 Ablehnungen aus dem Cache ausgeliefert oder in ihn geschrieben und 14 gutgeschrieben, bei 1.995 XSTest-Prompts auf 8 Modellen. banco-semanal-105fe13.json
- Behoben in 0.4.33 (#422).
- Vom wöchentlichen Benchmark am 01.10.2026 live nachgemessen (Quellcode von main mit dem Fix, Commit 5bec174): 0 gecachte und 0 gutgeschriebene Ablehnungen, bei 2.393 XSTest-Prompts auf 9 Modellen. banco-semanal-5bec174.json
Ein Gemini-Inhaltsfilter wurde als Antwort gecacht 0.4.31 → 0.4.32
Gemini kennzeichnet seinen Filter mit einem eigenen Stop-Grund, den die Schicht nicht als Ablehnung erkannte, sodass sie ihn cachen und wiederholen konnte. Gezählt in XSTest-Prompts.
- Gefunden in 0.4.31: 6 von 508. xstest-0431-gama-alta.json
- Behoben in 0.4.32 (#402).
- Vom wöchentlichen Benchmark am 01.10.2026 live nachgemessen (Quellcode von main mit dem Fix, Commit 5bec174) mit google/gemini-3.8-flash: 0 gecachte oder gutgeschriebene Ablehnungen, bei 448 XSTest-Prompts. Dieser Lauf konnte google/gemini-3.1-pro-preview nicht messen (Kontingent oder Ratenlimit des Anbieters erschöpft, nicht die Schicht); dort bleibt es unverifiziert. banco-semanal-5bec174.json
Gemini lief nicht über die Schicht 0.4.31 → 0.4.32
Die Schicht sendete ein für die OpenAI-API spezifisches Feld an jeden kompatiblen Endpunkt, und Gemini lehnt es ab: Jede Anfrage in Arm B schlug fehl. Gezählt in GSM8K-Anfragen.
- Gefunden in 0.4.31: 504 von 504. gsm8k-0431-gama-alta.json
- Behoben in 0.4.32 (#402).
- Vom wöchentlichen Benchmark am 01.10.2026 live nachgemessen (Quellcode von main mit dem Fix, Commit 5bec174) mit google/gemini-3.8-flash: 0 Fehler nur mit der Schicht, bei 68 GSM8K-Einträgen. Dieser Lauf konnte google/gemini-3.1-pro-preview nicht messen (Kontingent oder Ratenlimit des Anbieters erschöpft, nicht die Schicht); dort bleibt es unverifiziert. banco-semanal-5bec174.json
Bei Gemini 3 schlug die zweite Runde mit Tools fehl 0.4.31 → 0.4.32
Die Schicht gab die Thought-Signatur nicht zurück, die Gemini 3 bei jedem Tool-Aufruf verlangt, sodass die nächste Runde abgelehnt wurde. Gezählt in mehrteiligen BFCL-Fortsetzungen.
- Gefunden in 0.4.31: 50 von 50. bfcl-0431-gama-alta.json
- Behoben in 0.4.32 (#402).
- Noch nicht in einem veröffentlichten Bericht nachgemessen: Der wöchentliche Benchmark vom 01.10.2026 (Quellcode von main mit dem Fix, Commit 5bec174) hat google/gemini-3.8-flash in dieser Batterie gemessen, aber seine Zusammenfassung zählt nur Einträge mit einer Runde, nicht die mehrteiligen Fortsetzungen, in denen der Fehler auftrat. Solange kein Bericht sie zählt, gilt es für uns nicht als verifiziert. Dieser Lauf konnte google/gemini-3.1-pro-preview nicht messen (Kontingent oder Ratenlimit des Anbieters erschöpft, nicht die Schicht); dort bleibt es unverifiziert. banco-semanal-5bec174.json
Bei parallelen Anfragen kam die Korrektur der Denkstufe von Gemini als Fehler beim Client an 0.4.35 → 0.4.36
Gemini Flash lehnt die Denkstufe MINIMAL ab; der native Adapter versucht es einmal mit LOW erneut und merkt sich den Ersatz. Mit zwei gleichzeitig laufenden Anfragen über dieselbe Schicht verglich eine die Ablehnung mit dem Body, den die andere bereits korrigiert hatte, erkannte sie nicht und gab den Fehler an den Client weiter. Gezählt als Fehler nur mit der Schicht, in den XSTest-Prompts des wöchentlichen Benchmarks mit Gemini.
- Vom wöchentlichen Live-Benchmark am 30.09.2026 gefunden (Quellcode von main, Commit ca621e2) mit google/gemini-3.8-flash: 1 Fehler nur mit der Schicht, bei 450 XSTest-Einträgen. banco-semanal-ca621e2.json
- Behoben in 0.4.36 (#442).
- Vom wöchentlichen Benchmark am 01.10.2026 live nachgemessen (Quellcode von main mit dem Fix, Commit 5bec174) mit google/gemini-3.8-flash: 0 Fehler nur mit der Schicht, bei 448 XSTest-Einträgen. Dieser Lauf konnte google/gemini-3.1-pro-preview nicht messen (Kontingent oder Ratenlimit des Anbieters erschöpft, nicht die Schicht); dort bleibt es unverifiziert. banco-semanal-5bec174.json
Wie man es reproduziert
Der Code des Benchmarks liegt im offenen Repository, und die Methode passt in fünf Schritte. Mit Ihren eigenen Anbieter-Schlüsseln können Sie ihn wiederholen und Zahl für Zahl mit unseren Berichten vergleichen.
- Der Datensatz. Laden Sie jeden öffentlichen Datensatz beim Commit aus der Tabelle oben herunter und prüfen Sie vor der Nutzung den sha256 jeder Datei. Stimmt er nicht, ist es nicht derselbe Datensatz.
- Die Schicht. Installieren Sie
@bivelio/savings-layervon npm in der Version, die der Bericht nennt, und prüfen Sie den sha256 vondist/index.js: Jeder Bericht enthält seinen. - Zwei Arme pro Prompt. A geht direkt zum Anbieter; B schickt denselben Prompt an dasselbe Modell mit demselben Ausgabelimit durch die Schicht in ihrer Standardkonfiguration. Ein Teil der Prompts wird wiederholt oder umformuliert, wie im echten Verkehr, und die Reihenfolge A/B wird ausgelost.
- Nutzung und Listenpreise dokumentieren die Bewertung. Summieren Sie die Kosten jedes Arms aus der vom Anbieter gemeldeten
usagezum versionierten Listenpreis. Die Ersparnis ist1 − Kosten B / Kosten A, mit ihrem Intervall; dies ist keine Rechnungsabstimmung. - Die Qualität, im selben Lauf. Bewerten Sie die Antworten beider Arme gleich (exakte Antwort bei GSM8K, Tool-Aufruf bei BFCL, Ablehnung oder nicht bei XSTest, ein Richter bei MT-Bench) und vergleichen Sie sie mit dem JSON-Bericht derselben Batterie und Version.
Die Berichte
Jeder Lauf hinterlässt einen JSON-Bericht mit seinem Design, seinen Grenzen und jedem gemessenen Aufruf: usage, Kosten pro Arm und Einstufung der Antwort. Sie werden von dieser Website ausgeliefert.
Die Berichte werden so ausgeliefert, wie der Benchmark sie geschrieben hat, mit einer Ausnahme: Angaben zur Umgebung der messenden Person (Dateipfade, E-Mail-Adressen) werden entfernt. Von XSTest wird kein Antworttext veröffentlicht, nur seine Einstufung.
Messen Sie uns selbst
Eine unabhängige Messung ist mehr wert als unsere. Der Code des Benchmarks liegt im offenen Repository: Wenn Sie die Messung wiederholen oder die Schicht mit Ihrem eigenen Harness oder Ihrem eigenen Verkehr messen möchten, schreiben Sie uns, und wir geben Ihnen, was Sie dafür brauchen.
Schreiben Sie uns an support@bivelio.com