Savings Layer jest częścią platformy BiVelio
Test publiczny · odtwarzalny

Nasz test A/B, w pełni jawny. Zmierz nas.

Publikujemy każdy przebieg: cztery baterie na publicznych zbiorach danych, 10 modeli, a oba ramiona mierzone własnym licznikiem zużycia dostawcy. Każda liczba niesie swoje n, swój przedział i swoją datę. To, co nie oszczędza, też jest tutaj.

baterie
4
przetestowane modele
10
modele z pomiarem
10
raporty na żywo
15
ostatni przebieg
1 paź 2026

Jak czytać tę stronę

A/B z SDK
Dwa ramiona dla tego samego żądania, wycenione według użycia raportowanego przez dostawcę. Tak mierzone są baterie testu.
Replay na gatewayu
Kontrfaktyczne odtworzenie z częściowo zrekonstruowaną linią bazową. To nie jest A/B na żywo, zafakturowana oszczędność ani uzgodnienie faktur.
  1. To samo żądanie
  2. Ramię A: bezpośrednio do dostawcy, bez warstwy
  3. Ramię B: przez warstwę, z jej domyślną konfiguracją
  4. Licznik zużycia dostawcy mierzy oba ramiona

Zgodny nie znaczy zmierzony: model liczy się tu tylko wtedy, gdy ma opublikowany przebieg, a to, czego nie udało się zmierzyć, jest opisane wraz z powodem.

Filtr czytania

Wyświetlane sekcje: 12 z 12.

Preprintv2.3-r1

Verifiable Measurement of Cost Savings in Large Language Model Applications Open-Core Edition

Wydanie poprawione po zewnętrznej recenzji przed publikacją: metoda, estymator, niepewność i ograniczenia każdej liczby.

  • 15 stron
  • CC BY 4.0
  • DOI10.5281/zenodo.24278852
BV-SALA Savings Layer · Joan-Marc FisaWszystkie wersje (otwiera się w nowej karcie)

Co jest mierzone i jak

  • Dwa ramiona, to samo żądanie. A trafia bezpośrednio do dostawcy, bez warstwy; B przechodzi przez warstwę z jej domyślną konfiguracją. Ten sam prompt, to samo próbkowanie, ten sam limit odpowiedzi.
  • Użycie raportowane przez dostawcę i wersjonowane ceny katalogowe. Każde ramię jest wyceniane na podstawie usage zwracanego przez API i datowanego katalogu cen. Oszczędność to 1 − koszt(B) / koszt(A) tego samego przebiegu. Kwoty są oznaczane measured, reference-valued lub estimated zależnie od dowodów; nie jest to uzgodnienie faktur.
  • Przedziały na poziomie 95%. Oblicza je każdy harness (resampling całych rodzin pytań, Wilson dla odsetka odmów). Przedział przecinający zero oznacza „nieodróżnialne od zera” i tak to opisujemy.
  • Pakiet, który instalujesz. Przebiegi A/B z tabel poniżej wykonano na wersji 0.4.31: ramię B uruchamia kod źródłowy tego taga, a jego dist/index.js jest bajt w bajt identyczny z tym z tarballa npm (sha256 b52f99cacf9804ecd3153e56f26ec3adcdc2510d52a8446a369ecf914e0b5731). Cotygodniowy benchmark na żywo to co innego: w każdym przebiegu mierzy kod źródłowy gałęzi main w stanie z danego dnia, jeszcze przed publikacją.
  • Bez skrótów. Każdy harness obserwuje hosty, z którymi się komunikuje, i ma w kodzie zapisany limit wydatków na model. Model, którego nie udało się zmierzyć, jest raportowany jako „niezmierzony”, wraz z powodem.

Przeczytaj artykuł badawczy v2.3-r1, 15 stron (PDF): metoda, rodzaje dowodów i ograniczenia każdej liczby, poprawione po zewnętrznej recenzji przed publikacją.

Cztery baterie testów, publiczne zbiory danych, przypięte

BateriaCo sprawdzaZbiór danychPrzypięte plikiLicencja
GSM8KZadania tekstowe z matematyki z powtórzeniami i parafrazami: ile oszczędza pamięć podręczna i czy spada dokładność.openai/grade-school-mathcommit 3101c7d5072418e28b9008a6636bde82a006892cgsm8k-test
sha256 3730d312f6e3440559ace48831e51066acaca737f6eabec99bccb9e4b3c39d14
gsm8k-train
sha256 17f347dc51477c50d4efb83959dbb7c56297aba886e5544ee2aaed3024813465
MIT
BFCLWywołania narzędzi: warstwa nie może zmienić żadnego z nich, a cały katalog musi dotrzeć.ShishirPatil/gorillacommit f7cf7359b7ac615a0b294831c5ba2bc95ee4a000przypięte do commitaApache-2.0
XSTestOdmowy: warstwa nie może zmienić momentu, w którym model odmawia, ani podać odmowy z pamięci podręcznej.paul-rottger/exaggerated-safetycommit d7bb5bd738c1fcbc36edd83d5e7d1b71a3e2d84dxstest_prompts.csv
sha256 11783fb294ed017473ee53c207d71f2161c7672c8d0b037501e78387f801cb5a
CC-BY-4.0
MT-BenchCzat dwuturowy bez powtórzeń: warstwa nie może pogorszyć kosztu, opóźnienia ani jakości.lm-sys/FastChatcommit 587d5cfa1609a43d192cedb8441cac3c17db105dquestion.jsonl
sha256 119565adbab82227089cefdb44c8d7e2cf04dc0a0ec233634c82e7d4e2a944f7
gpt-4.jsonl
sha256 f957a5bc977badb66885ec970e6cd08527845780313f0995764260e5777b9b3f
judge_prompts.jsonl
sha256 fd283293406d024f44c174b094ef48031d0687a4682fd3a56b29b138f80281b6
Apache-2.0

Tłumaczenie, bez żargonu

Test to uczciwy eksperyment: to samo zadanie dwa razy — bez Savings i z Savings — a oba mierzy ten sam licznik dostawcy.

Przy strumieniu, w którym 30% zapytań powtarza się dokładnie, rachunek spadł o 31,5% — między 25,7% a 36,7% przy 95% ufności. Ile zaoszczędzisz, zależy od tego, jak często powtarza się Twój ruch.

Procent nic nie znaczy bez swojego przedziału, modelu i ruchu: publikujemy wszystkie trzy.

Cotygodniowy benchmark na żywo

A/B z SDK

Co tydzień, i za każdym razem, gdy uruchamiamy go ręcznie, jeden przebieg puszcza wszystkie baterie przez wszystkie modele: ramię A idzie prosto do dostawcy, ramię B przez warstwę zbudowaną z kodu źródłowego main w tym momencie. To nie jest opublikowana wersja: to jest to, co zaraz zostanie opublikowane. Przebieg kończy się błędem, jeśli złamana zostanie jakakolwiek reguła, a komórka, której nie dało się zmierzyć, mówi dlaczego.

Przebieg z 1 paź 2026 · kod źródłowy main w commicie 5bec174 (wersja pakietu 0.4.35) · wydano 21,96 USD z limitu 50,00 USD · zmierzone komórki: 36 z 40. banco-semanal-5bec174.json

Werdykt: bez regresji.

BateriaModelStannWydatek / limitBłędy warstwyCo liczyB − ARaport a koszt katalogowy
GSM8Kopenai/gpt-4o-minizmierzona2000,12 USD / 0,75 USD0odpowiedź z innego pytania: 0dokładność -1,7 pp [-4,8, +1,1]0,00%
GSM8Kopenai/gpt-5.4-minizmierzona1060,42 USD / 0,75 USD0odpowiedź z innego pytania: 0dokładność +1,0 pp [0,0, +3,3]0,00%
GSM8Kopenai/gpt-5.5zmierzona240,86 USD / 1,25 USD0odpowiedź z innego pytania: 0dokładność 0,0 pp [0,0, 0,0]0,00%
GSM8Kopenai/gpt-5.6-solzmierzona340,31 USD / 1,25 USD0odpowiedź z innego pytania: 0dokładność 0,0 pp [0,0, 0,0]0,00%
GSM8Kanthropic/claude-haiku-4-5zmierzona700,42 USD / 0,75 USD0odpowiedź z innego pytania: 0dokładność -1,6 pp [-4,3, 0,0]0,00%
GSM8Kanthropic/claude-sonnet-5zmierzona520,48 USD / 1,10 USD0odpowiedź z innego pytania: 0dokładność 0,0 pp [0,0, 0,0]0,00%
GSM8Kanthropic/claude-sonnet-5-5zmierzona560,47 USD / 1,10 USD0odpowiedź z innego pytania: 0dokładność 0,0 pp [0,0, 0,0]0,00%
GSM8Kanthropic/claude-opus-5-5zmierzona300,55 USD / 1,25 USD0odpowiedź z innego pytania: 0dokładność 0,0 pp [0,0, 0,0]0,00%
GSM8Kgoogle/gemini-3.8-flashzmierzona680,40 USD / 0,75 USD0odpowiedź z innego pytania: 0dokładność 0,0 pp [0,0, 0,0]0,00%
GSM8Kgoogle/gemini-3.1-pro-previewniemierzalna: wyczerpany limit lub przepustowość dostawcy, nie warstwa—
BFCLopenai/gpt-4o-minizmierzona1000,03 USD / 0,75 USD0zmienione wywołania narzędzi: 0dokładność +2,0 pp [0,0, +5,0]0,00%
BFCLopenai/gpt-5.4-minizmierzona1000,15 USD / 0,75 USD0zmienione wywołania narzędzi: 0dokładność -1,0 pp [-5,0, +2,0]0,00%
BFCLopenai/gpt-5.5zmierzona320,28 USD / 1,25 USD0zmienione wywołania narzędzi: 0dokładność +6,3 pp [0,0, +15,6]0,00%
BFCLopenai/gpt-5.6-solzmierzona320,18 USD / 1,25 USD0zmienione wywołania narzędzi: 0dokładność 0,0 pp [0,0, 0,0]0,00%
BFCLanthropic/claude-haiku-4-5zmierzona1000,59 USD / 0,75 USD0zmienione wywołania narzędzi: 0dokładność 0,0 pp [0,0, 0,0]0,00%
BFCLanthropic/claude-sonnet-5zmierzona480,72 USD / 1,10 USD0zmienione wywołania narzędzi: 0dokładność 0,0 pp [-6,3, +6,3]0,00%
BFCLanthropic/claude-sonnet-5-5zmierzona480,64 USD / 1,10 USD0zmienione wywołania narzędzi: 0dokładność 0,0 pp [0,0, 0,0]0,00%
BFCLanthropic/claude-opus-5-5zmierzona320,47 USD / 1,25 USD0zmienione wywołania narzędzi: 0dokładność 0,0 pp [0,0, 0,0]0,00%
BFCLgoogle/gemini-3.8-flashzmierzona1000,45 USD / 0,75 USD0zmienione wywołania narzędzi: 0dokładność +1,0 pp [0,0, +3,0]0,00%
BFCLgoogle/gemini-3.1-pro-previewniemierzalna: wyczerpany limit lub przepustowość dostawcy, nie warstwa—
XSTestopenai/gpt-4o-minizmierzona4500,06 USD / 0,75 USD0odmowy w cache: 0 · zaliczone: 0bezpieczne 0,0 pp (p = 1,00)niebezpieczne 0,0 pp (p = 1,00)0,00%
XSTestopenai/gpt-5.4-minizmierzona (zatrzymana na swoim limicie wydatków)4120,75 USD / 0,75 USD0odmowy w cache: 0 · zaliczone: 0bezpieczne +0,9 pp (p = 0,77)niebezpieczne 0,0 pp (p = 1,00)0,00%
XSTestopenai/gpt-5.5zmierzona991,01 USD / 1,25 USD0odmowy w cache: 0 · zaliczone: 0bezpieczne 0,0 pp (p = 1,00)niebezpieczne 0,0 pp (p = 1,00)0,00%
XSTestopenai/gpt-5.6-solzmierzona990,62 USD / 1,25 USD0odmowy w cache: 0 · zaliczone: 0bezpieczne 0,0 pp (p = 1,00)niebezpieczne 0,0 pp (p = 1,00)0,00%
XSTestanthropic/claude-haiku-4-5zmierzona4500,63 USD / 0,75 USD0odmowy w cache: 0 · zaliczone: 0bezpieczne 0,0 pp (p = 1,00)niebezpieczne +0,5 pp (p = 1,00)0,00%
XSTestanthropic/claude-sonnet-5zmierzona2000,87 USD / 1,10 USD0odmowy w cache: 0 · zaliczone: 0bezpieczne 0,0 pp (p = 1,00)niebezpieczne +2,2 pp (p = 0,50)0,00%
XSTestanthropic/claude-sonnet-5-5zmierzona1530,81 USD / 1,10 USD0odmowy w cache: 0 · zaliczone: 0bezpieczne +1,1 pp (p = 1,00)niebezpieczne +3,0 pp (p = 0,50)0,00%
XSTestanthropic/claude-opus-5-5zmierzona (zatrzymana na swoim limicie wydatków)820,82 USD / 1,25 USD0odmowy w cache: 0 · zaliczone: 0niebezpieczne -3,7 pp (p = 0,45)0,00%
XSTestgoogle/gemini-3.8-flashzmierzona4480,52 USD / 0,75 USD0odmowy w cache: 0 · zaliczone: 0bezpieczne +0,4 pp (p = 1,00)niebezpieczne +1,0 pp (p = 0,75)0,00%
XSTestgoogle/gemini-3.1-pro-previewniemierzalna: wyczerpany limit lub przepustowość dostawcy, nie warstwa—
MT-Benchopenai/gpt-4o-minizmierzona400,41 USD / 1,15 USD0—B preferowana 48,1% [38,5% – 57,7%]0,00%
MT-Benchopenai/gpt-5.4-minizmierzona400,68 USD / 1,15 USD0—B preferowana 51,7% [40,0% – 65,0%]0,00%
MT-Benchopenai/gpt-5.5zmierzona (zatrzymana na swoim limicie wydatków)70,65 USD / 1,65 USD0—B preferowana 46,4% [28,6% – 64,3%]0,00%
MT-Benchopenai/gpt-5.6-solzmierzona (zatrzymana na swoim limicie wydatków)110,97 USD / 1,65 USD0—B preferowana 52,3% [45,5% – 59,1%]0,00%
MT-Benchanthropic/claude-haiku-4-5zmierzona400,79 USD / 1,15 USD0—B preferowana 52,6% [44,7% – 60,5%]0,00%
MT-Benchanthropic/claude-sonnet-5zmierzona (zatrzymana na swoim limicie wydatków)191,18 USD / 1,50 USD0—B preferowana 50,0% [38,5% – 59,6%]0,00%
MT-Benchanthropic/claude-sonnet-5-5zmierzona241,14 USD / 1,50 USD0—B preferowana 50,0% [42,6% – 58,8%]0,00%
MT-Benchanthropic/claude-opus-5-5zmierzona161,41 USD / 1,65 USD0—B preferowana 35,9% [26,6% – 43,8%]0,00%
MT-Benchgoogle/gemini-3.8-flashzmierzona (zatrzymana na swoim limicie wydatków)321,06 USD / 1,15 USD0—B preferowana 39,6% [27,1% – 50,0%]0,00%
MT-Benchgoogle/gemini-3.1-pro-previewniemierzalna: wyczerpany limit lub przepustowość dostawcy, nie warstwa—

„Błędy warstwy” to błędy w ramieniu B, których nie miało ramię A. „B − A” to różnica dokładności w GSM8K i BFCL, różnica odsetka odmów w XSTest (p McNemara, sparowane prompty), a w MT-Bench to, jak często sędzia woli B (połowa oznacza remis). „Raport a koszt katalogowy” porównuje koszt raportowany przez warstwę dla B z kosztem obliczonym niezależnie z użycia raportowanego przez dostawcę po tych samych wersjonowanych cenach katalogowych; nie jest to uzgodnienie faktur.

Wcześniejsze przebiegi cotygodniowe

Przebiegi częściowe

Przebieg częściowy uruchamia się ręcznie tylko z niektórymi modelami lub bateriami; na przykład drugi dzień modelu, którego dzienny limit dostawcy nie mieści jego czterech baterii w jednym dniu. Mierzy to, co deklaruje, ale nie jest przebiegiem cotygodniowym: nie liczy się do publikacji.

Zmierzona oszczędność na model

A/B z SDK

GSM8K, przy strumieniu żądań, w którym 30% to dokładne powtórzenia, a 20% to parafrazy. To bateria z powtarzającym się ruchem: twoja oszczędność zależy od tego, jak bardzo powtarza się twój ruch. Bez powtórzeń zobacz „To, co nie oszczędza”.

Oba ramiona, model po modelu

GSM8K, bateria stworzona do pomiaru oszczędności. Wybierz zmierzony model: A trafia prosto do dostawcy, a B przechodzi przez warstwę.

Zmierzona oszczędność według modelu, z przedziałem

A/B z SDK

Punkt to oszacowanie, pasek to przedział ufności, kreska to zero. Wszystko w tej samej skali.

openai/gpt-4o-minioszczędność0.4.31 · 28 wrz 2026B−31,5%
A to punkt odniesienia; B przechodzi przez warstwę.
31,5% [25,7% – 36,7%] A/B z SDK
200 żądań · 100 unikalnych
95,0% → 96,1%
0.4.31 · 28 wrz 2026

Widoczne są tylko modele ze zmierzonym przebiegiem. Zobacz metodologię

ModelnZmierzona oszczędność [PU] A/B z SDKZ dokładnej pamięci podręcznejW wywołaniach (prefiks)Dokładność A → BWersja · data
openai/gpt-4o-mini200 żądań · 100 unikalnych31,5% [25,7% – 36,7%]0,0124 USD0,0006 USD95,0% → 96,1%Δ +1,1 pp [0,0, +2,8]0.4.31 · 28 wrz 2026
openai/gpt-5.4-mini176 żądań · 88 unikalnych31,7% [25,6% – 37,6%]0,0734 USD0,0003 USD95,6% → 93,7%Δ -1,9 pp [-5,0, 0,0]0.4.31 · 28 wrz 2026
openai/gpt-5.522 żądań · 11 unikalnych33,4% [6,8% – 53,8%]0,0790 USD-0,0023 USD100,0% → 100,0%Δ 0,0 pp [0,0, 0,0]0.4.31 · 28 wrz 2026
openai/gpt-5.6-sol32 żądań · 16 unikalnych29,2% [9,5% – 46,8%]0,0252 USD-0,0003 USD100,0% → 100,0%Δ 0,0 pp [0,0, 0,0]0.4.31 · 28 wrz 2026
anthropic/claude-haiku-4-5116 żądań · 58 unikalnych32,2% [23,6% – 40,2%]0,0773 USD0,0002 USD99,0% → 99,0%Δ 0,0 pp [0,0, 0,0]0.4.31 · 28 wrz 2026
anthropic/claude-opus-5-532 żądań · 16 unikalnych77,2% [67,1% – 83,9%]0,0974 USD0,1391 USD100,0% → 100,0%Δ 0,0 pp [0,0, 0,0]0.4.31 · 28 wrz 2026
anthropic/claude-sonnet-562 żądań · 31 unikalnych75,1% [69,3% – 79,6%]0,1054 USD0,1313 USD100,0% → 100,0%Δ 0,0 pp [0,0, 0,0]0.4.31 · 28 wrz 2026
anthropic/claude-sonnet-5-562 żądań · 31 unikalnych77,5% [72,0% – 81,7%]0,0924 USD0,1289 USD100,0% → 100,0%Δ 0,0 pp [0,0, 0,0]0.4.31 · 28 wrz 2026
google/gemini-3.1-pro-previewwarstwa zawiodła: żądania nie przeszły przez warstwę0.4.31 · 28 wrz 2026
google/gemini-3.8-flashwarstwa zawiodła: żądania nie przeszły przez warstwę0.4.31 · 28 wrz 2026

Skąd bierze się oszczędność, pozycja po pozycji: „z dokładnej pamięci podręcznej” to to, co zapłaciło A za żądania, które warstwa obsłużyła bez wywoływania dostawcy; „w wywołaniach” to różnica w tych, które faktycznie do niego dotarły, głównie dzięki pamięci podręcznej prefiksów dostawcy (plus trochę zmienności wyniku). Obie sumują się na całkowitą oszczędność.

Dokładność jest mierzona na pytaniach z opublikowaną odpowiedzią; warianty ze zmienioną liczbą służą wyłącznie do sprawdzenia, czy warstwa nigdy nie zwraca odpowiedzi z innego pytania.

Obniżenie pamięci podręcznej w gatewayu: symulacja, nie A/B

Replay na gatewayu

To kontrfaktyczne odtworzenie z częściowo zrekonstruowaną bazą odniesienia, a nie jedna z baterii A/B na żywo na tej stronie. Użyliśmy użycia raportowanego przez dostawcę z prawdziwych sesji Claude Code jednej organizacji, naszej, u jednego dostawcy (Anthropic) i oszacowaliśmy koszty według wersjonowanych cen katalogowych ze zmianą TTL pamięci podręcznej w PRO i bez niej. Nie jest to podwójne wykonanie na żywo ani uzgodnienie faktur.

Werdykt raportu z dnia 3 paź 2026: obniżenie zostawia netto +2,49% rachunku (113,45 USD z 4563,61 USD), po odjęciu chybień pamięci podręcznej, które samo powoduje.

Sesje
51
Żądania
19 779
Dni
13
Przedział 95%Netto, jako część rachunku Replay na gatewayu
Losowanie ze zwracaniem po sesjach (grupy: 51)+1,50% – +3,57%
Losowanie ze zwracaniem po dniach (grupy: 13)+1,73% – +4,82%

Bootstrap, liczba losowań: 10 000. Oba przedziały wykluczają zero: na tym ruchu obniżenie zarabia. Karta na stronie głównej podaje przedział po sesjach.

Wynik, razem z tym, co się odejmuje

Obniżenia2583
Zaoszczędzona dopłata, brutto+3,10%
Spowodowane chybienia pamięci podręcznej124
Ile kosztują te chybienia-0,62%
Netto+2,49% · 113,45 USD
Sufit: cała dopłata za godzinę7,2%

Wartości procentowe odnoszą się do rachunku po cenach katalogowych za symulowane żądania (4563,61 USD). Sufit to najwięcej, ile mogłaby odzyskać jakakolwiek polityka TTL, nawet gdyby nigdy nie chybiała. Każdy procent jest zaokrąglany osobno.

Według modelu

ModelŻądaniaObniżeniaSpowodowane chybienia pamięci podręcznejNetto, jako część rachunku modelu
claude-fable-51921231+4,64%
claude-fable-5-12236250+1,65%
claude-opus-58344702+1,61%
claude-opus-4-81193340+6,49%
claude-sonnet-560802427121+1,34%
claude-haiku-4-5540bez wartości procentowej (żądania: 5)

claude-sonnet-5 to brzydki przypadek: przypada na niego 94% obniżeń i 98% chybień, a jego wynik netto jest bliski zera. W pierwszym okresie nagrania wręcz stracił: 9,4% swojego rachunku. Jego ruch to krótkie wątki, które często są budowane od nowa i wracają po upływie pięciu minut. Reguła naprawdę zarabia tam, gdzie starty sesji są drogie i rzadkie.

Jak to zrobiono: model pamięci podręcznej, podany jawnie

  • Reguła jest tą samą, którą wykonuje gateway, a nie kopią: przenosi zapisy do pamięci podręcznej z TTL jednej godziny na TTL pięciu minut, gdy nowa część stanowi co najmniej 30% treści żądania.
  • Linia bazowa to to, co policzył dostawca, z rzeczywistym użyciem, tam gdzie obniżenie nie było jeszcze aktywne; tam, gdzie już było, odtwarza się ją przez jego cofnięcie (zobacz ograniczenia). Przy obniżeniu obniżona tura płaci dopłatę za zapis pięciominutowy zamiast jednogodzinnego.
  • Spowodowane chybienie: jeśli następna tura tego samego wątku nadejdzie po pięciu minutach, a przed upływem godziny, to, co zapisała obniżona tura, nie jest już czytane z pamięci podręcznej, tylko zapisywane ponownie, i ten koszt się odejmuje.
  • Jest też wariant zachowawczy, który dodatkowo uznaje za utracony prefiks współdzielony przez różne wątki. Prawie nie zmienia wyniku: +2,48%, przy kilku dodatkowych chybieniach (3).
  • Tylko dane zagregowane: z nagrania nie wychodzi żaden prompt, odpowiedź, nagłówek ani identyfikator sesji.

Ograniczenia

  • Jedna organizacja, jeden klient, jeden dostawca. Claude Code wobec Anthropic, na naszym własnym ruchu. Żadnego innego agenta do kodu i żadnego innego dostawcy.
  • Cena katalogowa, symulacja. To nie jest faktura: to rzeczywiste użycie wycenione według cennika. Rabaty, poziomy konta lub subskrypcja zmieniłyby kwoty.
  • Model pamięci podręcznej jest modelem. Zakłada, jak dostawca indeksuje swoje wpisy pamięci podręcznej; nie obserwuje tego. Wariant zachowawczy ogranicza to ryzyko.
  • Większość linii bazowej jest odtworzona. 79% żądań zarejestrowano, gdy obniżenie było już aktywne; tam linię bazową odtwarza się przez cofnięcie rzeczywistego obniżenia i jest ona mniej pewna niż w pierwszym okresie. Sam pierwszy okres daje znacznie szerszy przedział: od +0,29% do +9,12%.
  • Pułap zmienia się wraz z klientem. Zależy od tego, ile zapisów jednogodzinnych wysyła agent programistyczny, a nowsze wersje Claude Code wysyłają ich mniej: spośród 19 779 żądań 7327 nie zawierało żadnego do obniżenia.
  • Przerwę między turami mierzy się od nadejścia każdego żądania, a nie od końca odpowiedzi: liczy trochę chybień za dużo, nigdy za mało.
  • To nie jest prognoza dla Twojego zespołu. To mała oszczędność z jednego ruchu, a inny ruch może dać inny wynik, także gorszy: spójrz na brzydki przypadek.

W produkcji: od wersji 0.5.1 (3 paź 2026) gateway odejmuje chybienia, które obserwuje, w turze, która je ponosi, więc oszczędność z tego obniżenia widoczna w twoim panelu jest netto. To, co zapisano wcześniej, nie jest przeliczane, a panel oznacza maszyny ze starszym gatewayem jako „brutto”.

Gwarancje, policzone

A/B z SDK

Warstwa nigdy nie zmieniła wywołania narzędzia

0 zmienionych wywołań w 1325 porównaniach BFCL, 6 modeli, od 0.4.31. Jeśli warstwa zawodzi (błąd w B, którego nie było w A), nie liczy się to tutaj: znajduje się w „Błędach znalezionych przez test”.

Jak to liczymy: każde porównanie z każdego przebiegu na żywo od tej wersji, więc model zmierzony dwa razy (pilotaż i pełny przebieg) liczy się podwójnie. Dlatego liczba może przekraczać n z tabel, które pokazują jeden przebieg na model.

Żadnej odpowiedzi z innego pytania od 0.4.31

0 z 198 wariantów (to samo pytanie z inną liczbą, a więc inną odpowiedzią) podanych z odpowiedzią z innego pytania, na 8 modelach na żywo i we wszystkich zmierzonych konfiguracjach pamięci podręcznej.

Odtworzenie offline całego zbioru testowego GSM8K: 0 w 5813 żądaniach, w każdej z 5 konfiguracji pamięci podręcznej.

Ten sam odsetek odmów, z warstwą i bez niej

XSTest, zmierzono 10 modeli: brak różnicy A/B poniżej p = 0,05 (McNemar, sparowane prompty). Warstwa dostarczyła tekst 4668 odpowiedzi bez zmian (0 zmienionych).

Jak to liczymy: odpowiedzi, nie prompty. Każda odpowiedź ramienia B jest porównywana z tekstem dostawcy, łącznie z powtórzeniami tego samego promptu, więc odpowiedzi jest więcej niż promptów w tabeli.

Odsetek odmów na model, bez warstwy (A) i z warstwą (B), na tych samych promptach.
ModelPromptyOdmowy, prompty bezpieczne (A → B)Odmowy, prompty niebezpieczne (A → B)Wersja · data
openai/gpt-4o-mini4505,2% → 5,2% (n = 250, p = 1,00)81,5% → 81,5% (n = 200, p = 1,00)0.4.31 · 28 wrz 2026
openai/gpt-5.4-mini44111,0% → 9,8% (n = 245, p = 0,63)87,2% → 86,7% (n = 196, p = 1,00)0.4.31 · 28 wrz 2026
openai/gpt-5.51206,3% → 4,7% (n = 64, p = 1,00)80,0% → 80,0% (n = 55, p = 1,00)0.4.31 · 29 wrz 2026
openai/gpt-5.6-sol1992,7% → 2,7% (n = 111, p = 1,00)75,6% → 76,7% (n = 86, p = 1,00)0.4.31 · 29 wrz 2026
anthropic/claude-haiku-4-54501,6% → 2,0% (n = 250, p = 1,00)42,5% → 42,5% (n = 200, p = 1,00)0.4.31 · 29 wrz 2026
anthropic/claude-opus-5-581—67,1% → 67,1% (n = 79, p = 1,00)0.4.31 · 29 wrz 2026
anthropic/claude-sonnet-52642,7% → 2,0% (n = 147, p = 1,00)68,4% → 71,8% (n = 117, p = 0,34)0.4.31 · 29 wrz 2026
anthropic/claude-sonnet-5-53111,5% → 0,0% (n = 135, p = 0,50)64,3% → 65,3% (n = 98, p = 1,00)0.4.31 · 29 wrz 2026
google/gemini-3.1-pro-preview580,0% → 0,0% (n = 32, p = 1,00)80,8% → 84,6% (n = 26, p = 1,00)0.4.31 · 29 wrz 2026
google/gemini-3.8-flash4500,4% → 0,4% (n = 249, p = 1,00)67,8% → 66,8% (n = 199, p = 0,73)0.4.31 · 29 wrz 2026

To, co nie oszczędza

A/B z SDK

Bez powtórzeń oszczędność wynosi ≈ 0%. Publikujemy to mimo wszystko, ponieważ tak wygląda sytuacja, gdy twój ruch się nie powtarza.

MT-Bench to czat dwuturowy ze świeżą warstwą przy każdym pytaniu: nie ma nic, co pamięć podręczna mogłaby ponownie wykorzystać, a prompt niemal nigdy nie osiąga minimum wymaganego przez dostawcę do zapisania prefiksu w pamięci podręcznej. W BFCL każde wywołanie narzędzia jest inne. To, co mierzą te dwie baterie, to fakt, że warstwa niczego nie pogarsza; pozostała różnica kosztów to szum w wyniku modelu, a nie warstwa.

BateriaModelnZmierzona oszczędność [PU] A/B z SDKInterpretacjaWersja · data
BFCLopenai/gpt-4o-mini400 pozycji0,1% [0,0% – 0,3%]nieodróżnialne od zera0.4.31 · 28 wrz 2026
BFCLopenai/gpt-5.4-mini400 pozycji-0,2% [-1,0% – 0,5%]nieodróżnialne od zera0.4.31 · 28 wrz 2026
BFCLanthropic/claude-haiku-4-548 pozycji0,1% [0,0% – 0,2%]nieodróżnialne od zera0.4.31 · 29 wrz 2026
BFCLanthropic/claude-sonnet-548 pozycji1,5% [-1,6% – 5,8%]nieodróżnialne od zera0.4.31 · 29 wrz 2026
BFCLgoogle/gemini-3.1-pro-preview97 pozycji4,8% [-6,6% – 15,6%]nieodróżnialne od zera0.4.31 · 29 wrz 2026
BFCLgoogle/gemini-3.8-flash324 pozycji-10,7% [-27,8% – 3,2%]nieodróżnialne od zera0.4.31 · 29 wrz 2026
MT-Benchopenai/gpt-4o-mini80 pytań3,3% [0,8% – 6,0%]oszczędność · nie do przypisania warstwie0.4.31 · 28 wrz 2026
MT-Benchopenai/gpt-5.4-mini80 pytań-3,5% [-8,6% – 1,6%]nieodróżnialne od zera · nie do przypisania warstwie0.4.31 · 28 wrz 2026
MT-Benchopenai/gpt-5.58 pytań2,1% [-4,4% – 9,7%]nieodróżnialne od zera0.4.31 · 29 wrz 2026
MT-Benchopenai/gpt-5.6-sol13 pytań-0,4% [-21,2% – 13,5%]nieodróżnialne od zera · nie do przypisania warstwie0.4.31 · 29 wrz 2026
MT-Benchanthropic/claude-haiku-4-580 pytań-2,6% [-4,6% – -0,9%]dodatkowy koszt · nie do przypisania warstwie0.4.31 · 28 wrz 2026
MT-Benchanthropic/claude-opus-5-518 pytań1,1% [-2,0% – 4,9%]nieodróżnialne od zera0.4.31 · 29 wrz 2026
MT-Benchanthropic/claude-sonnet-523 pytań1,7% [-8,9% – 12,7%]nieodróżnialne od zera0.4.31 · 28 wrz 2026
MT-Benchanthropic/claude-sonnet-5-537 pytań-0,8% [-2,5% – 0,9%]nieodróżnialne od zera0.4.31 · 29 wrz 2026

Status według modelu i baterii

Każda komórka pokazuje przebieg na najwyższej wersji warstwy. Jeśli modelu nie udało się zmierzyć, podajemy powód zamiast zostawiać puste miejsce.

ModelGSM8KBFCLXSTestMT-Bench
openai/gpt-4o-minizmierzono · n = 200
0.4.31 · 28 wrz 2026
zmierzono · n = 400
0.4.31 · 28 wrz 2026
zmierzono · n = 450
0.4.31 · 28 wrz 2026
zmierzono · n = 80
0.4.31 · 28 wrz 2026
openai/gpt-5.4-minizmierzono · n = 176
0.4.31 · 28 wrz 2026
zmierzono · n = 400
0.4.31 · 28 wrz 2026
zmierzono · n = 441
0.4.31 · 28 wrz 2026
zmierzono · n = 80
0.4.31 · 28 wrz 2026
openai/gpt-5.5zmierzono · n = 22
0.4.31 · 28 wrz 2026
niezmierzone: limit wydatków wyczerpany
0.4.31 · 29 wrz 2026
zmierzono · n = 120
0.4.31 · 29 wrz 2026
zmierzono · n = 8
0.4.31 · 29 wrz 2026
openai/gpt-5.6-solzmierzono · n = 32
0.4.31 · 28 wrz 2026
niezmierzone: dostawca odrzucił żądanie w obu ramionach
0.4.31 · 29 wrz 2026
zmierzono · n = 199
0.4.31 · 29 wrz 2026
zmierzono · n = 13
0.4.31 · 29 wrz 2026
anthropic/claude-haiku-4-5zmierzono · n = 116
0.4.31 · 28 wrz 2026
zmierzono · n = 48
0.4.31 · 29 wrz 2026
zmierzono · n = 450
0.4.31 · 29 wrz 2026
zmierzono · n = 80
0.4.31 · 28 wrz 2026
anthropic/claude-opus-5-5zmierzono · n = 32
0.4.31 · 28 wrz 2026
niezmierzone: limit wydatków wyczerpany
0.4.31 · 29 wrz 2026
zmierzono · n = 81
0.4.31 · 29 wrz 2026
zmierzono · n = 18
0.4.31 · 29 wrz 2026
anthropic/claude-sonnet-5zmierzono · n = 62
0.4.31 · 28 wrz 2026
zmierzono · n = 48
0.4.31 · 29 wrz 2026
zmierzono · n = 264
0.4.31 · 29 wrz 2026
zmierzono · n = 23
0.4.31 · 28 wrz 2026
anthropic/claude-sonnet-5-5zmierzono · n = 62
0.4.31 · 28 wrz 2026
niezmierzone: limit wydatków wyczerpany
0.4.31 · 29 wrz 2026
zmierzono · n = 311
0.4.31 · 29 wrz 2026
zmierzono · n = 37
0.4.31 · 29 wrz 2026
google/gemini-3.1-pro-previewwarstwa zawiodła: żądania nie przeszły przez warstwę
0.4.31 · 28 wrz 2026
zmierzono · n = 97
0.4.31 · 29 wrz 2026
zmierzono · n = 58
0.4.31 · 29 wrz 2026
niezmierzone: limit dostawcy wyczerpany
0.4.31 · 29 wrz 2026
google/gemini-3.8-flashwarstwa zawiodła: żądania nie przeszły przez warstwę
0.4.31 · 28 wrz 2026
zmierzono · n = 324
0.4.31 · 29 wrz 2026
zmierzono · n = 450
0.4.31 · 29 wrz 2026
warstwa zawiodła: żądania nie przeszły przez warstwę
0.4.31 · 29 wrz 2026

Zgodność

Zgodne z
OpenAIAnthropicGeminiMistralLlamaDeepSeekPerplexityHugging FaceNVIDIA NIMAzure OpenAIBedrockOllamavLLM

Zgodny nie znaczy zmierzony. SDK działa z każdym endpointem zgodnym z API OpenAI, a także z natywnym adapterem Anthropic i natywnym adapterem Gemini (nowość w 0.4.33). Z liczbą oszczędności w publicznym benchmarku są dziś tylko modele OpenAI i Anthropic; Gemini nie ma liczby oszczędności. Co zmierzono dla Gemini: Gemini 3.8 Flash, przez jego natywne API, w cotygodniowym benchmarku na żywo z 1 października 2026 — wszystkie cztery baterie, bez błędów warstwy i bez żadnej odmowy w cache ani zaliczonej jako oszczędność. Ten benchmark sprawdza, że warstwa niczego nie psuje i nie pobiera za dużo; nie mierzy oszczędności. Zmierzony także: Gemini 3.1 Pro, przez natywne API, w dwóch przebiegach częściowych 1–2 października 2026 (jego dzienny limit dostawcy nie mieści wszystkich czterech baterii w jednym dniu): wszystkie cztery baterie, również bez żadnego błędu warstwy i bez żadnej odmowy z pamięci podręcznej ani zaliczonej jako oszczędność.

Błędy znalezione przez test

Test nie służy do tego, żeby dobrze wyglądać: służy do znajdowania błędów, zanim znajdziesz je ty. Znalazł te, z wersją, w której się pojawiły, i tą, która je naprawia.

  1. Niekalibrowana pamięć podręczna semantyczna podawała odpowiedź innego pytania 0.4.30 → 0.4.31

    Przy niekalibrowanej pamięci podręcznej semantycznej wariant z inną liczbą („three baskets” zamiast „two baskets”) mógł otrzymać odpowiedź z oryginalnego pytania. Policzone na wariantach GSM8K.

    • Znaleziono w 0.4.30: 15 z 111. gsm8k.json
    • Naprawiono w 0.4.31 (#383).
    • Zweryfikowano na żywo w 0.4.31: 0 z 198.
  2. Warstwa ograniczała katalog narzędzi bez żadnego sygnału, by to robić 0.4.30 → 0.4.31

    W rozmowach wieloturowych ramię B wysyłało mniej narzędzi niż ramię A, mimo że nic nie wskazywało, które są zbędne. Policzone na rozmowach wieloturowych BFCL.

    • Znaleziono w 0.4.30: 20 z 20. bfcl.json
    • Naprawiono w 0.4.31 (#382).
    • Zweryfikowano na żywo w 0.4.31: 0 z 83.
  3. Niektóre odmowy zapisane jako tekst były zapisywane w pamięci podręcznej 0.4.31 → 0.4.32

    Odmowa, którą model zapisuje jako tekst (bez sygnału z API), mogła zostać zapisana w pamięci podręcznej, powtórzona i zaliczona jako oszczędność. Policzone w promptach XSTest.

  4. Częściowe odmowy trafiały do cache i były zaliczane 0.4.32 → 0.4.33

    Odpowiedź, która zaczyna od spełnienia prośby, a dalej odmawia („If you mean harming someone, I can't help…”), albo przeprosiny, po których pada „nie mam dostępu…”, nie były rozpoznawane jako odmowa: warstwa mogła je zapisać w cache, powtórzyć i zaliczyć jako oszczędność. Liczone w promptach XSTest cotygodniowego benchmarku, z modelami OpenAI i Claude.

    • Znalazł go cotygodniowy benchmark na żywo 29 wrz 2026 (kod źródłowy main, commit 105fe13): odmowy podane z cache lub do niego zapisane: 12, zaliczone: 14, na 1995 promptach XSTest i 8 modelach. banco-semanal-105fe13.json
    • Naprawiono w 0.4.33 (#422).
    • Ponownie zmierzony na żywo przez cotygodniowy benchmark 1 paź 2026 (kod źródłowy main z poprawką, commit 5bec174): odmowy w cache: 0, zaliczone: 0, na 2393 promptach XSTest i 9 modelach. banco-semanal-5bec174.json
  5. Filtr treści Gemini był zapisywany w pamięci podręcznej jako odpowiedź 0.4.31 → 0.4.32

    Gemini oznacza swój filtr własnym powodem zatrzymania, którego warstwa nie rozpoznawała jako odmowy, przez co mogła go zapisać w pamięci podręcznej i powtórzyć. Policzone w promptach XSTest.

    • Znaleziono w 0.4.31: 6 z 508. xstest-0431-gama-alta.json
    • Naprawiono w 0.4.32 (#402).
    • Ponownie zmierzone na żywo przez cotygodniowy benchmark 1 paź 2026 (kod źródłowy main z poprawką, commit 5bec174) z google/gemini-3.8-flash: odmowy w cache lub zaliczone: 0, na 448 promptach XSTest. Ten przebieg nie mógł zmierzyć google/gemini-3.1-pro-preview (wyczerpany limit lub przepustowość dostawcy, nie warstwa); tam pozostaje niezweryfikowane. banco-semanal-5bec174.json
  6. Gemini nie przechodził przez warstwę 0.4.31 → 0.4.32

    Warstwa wysyłała pole właściwe dla API OpenAI do każdego zgodnego punktu końcowego, a Gemini je odrzuca: każde żądanie w ramieniu B kończyło się niepowodzeniem. Policzone w żądaniach GSM8K.

    • Znaleziono w 0.4.31: 504 z 504. gsm8k-0431-gama-alta.json
    • Naprawiono w 0.4.32 (#402).
    • Ponownie zmierzone na żywo przez cotygodniowy benchmark 1 paź 2026 (kod źródłowy main z poprawką, commit 5bec174) z google/gemini-3.8-flash: błędy tylko z warstwą: 0, na 68 pozycjach GSM8K. Ten przebieg nie mógł zmierzyć google/gemini-3.1-pro-preview (wyczerpany limit lub przepustowość dostawcy, nie warstwa); tam pozostaje niezweryfikowane. banco-semanal-5bec174.json
  7. Przy Gemini 3 druga tura z narzędziami kończyła się niepowodzeniem 0.4.31 → 0.4.32

    Warstwa nie zwracała sygnatury myśli, której Gemini 3 wymaga przy każdym wywołaniu narzędzia, przez co kolejna tura była odrzucana. Policzone w kontynuacjach wieloturowych BFCL.

    • Znaleziono w 0.4.31: 50 z 50. bfcl-0431-gama-alta.json
    • Naprawiono w 0.4.32 (#402).
    • Jeszcze nie zmierzone ponownie w opublikowanym raporcie: cotygodniowy benchmark z 1 paź 2026 (kod źródłowy main z poprawką, commit 5bec174) zmierzył google/gemini-3.8-flash w tej baterii, ale jego podsumowanie liczy tylko wpisy jednoturowe, a nie kontynuacje wieloturowe, w których to zawodziło. Dopóki żaden raport ich nie policzy, nie uznajemy tego za zweryfikowane. Ten przebieg nie mógł zmierzyć google/gemini-3.1-pro-preview (wyczerpany limit lub przepustowość dostawcy, nie warstwa); tam pozostaje niezweryfikowane. banco-semanal-5bec174.json
  8. Przy równoległych żądaniach korekta poziomu myślenia Gemini docierała do klienta jako błąd 0.4.35 → 0.4.36

    Gemini Flash odrzuca poziom myślenia MINIMAL; natywny adapter ponawia raz z LOW i zapamiętuje zamiennik. Przy dwóch równoczesnych żądaniach przez tę samą warstwę jedno porównywało odrzucenie z treścią, którą drugie już poprawiło, nie rozpoznawało go i przekazywało błąd klientowi. Liczone jako błędy tylko z warstwą, w promptach XSTest cotygodniowego benchmarku z Gemini.

    • Znalezione przez cotygodniowy benchmark na żywo 30 wrz 2026 (kod źródłowy main, commit ca621e2) z google/gemini-3.8-flash: błędy tylko z warstwą: 1, na 450 pozycjach XSTest. banco-semanal-ca621e2.json
    • Naprawiono w 0.4.36 (#442).
    • Ponownie zmierzone na żywo przez cotygodniowy benchmark 1 paź 2026 (kod źródłowy main z poprawką, commit 5bec174) z google/gemini-3.8-flash: błędy tylko z warstwą: 0, na 448 pozycjach XSTest. Ten przebieg nie mógł zmierzyć google/gemini-3.1-pro-preview (wyczerpany limit lub przepustowość dostawcy, nie warstwa); tam pozostaje niezweryfikowane. banco-semanal-5bec174.json

Jak to odtworzyć

Kod testu znajduje się w otwartym repozytorium, a metoda mieści się w pięciu krokach. Z własnymi kluczami dostawcy możesz go powtórzyć i porównać liczba po liczbie z naszymi raportami.

  1. Zbiór danych. Pobierz każdy publiczny zbiór danych z commita z tabeli powyżej i przed użyciem sprawdź sha256 każdego pliku. Jeśli się nie zgadza, to nie jest ten sam zbiór.
  2. Warstwa. Zainstaluj @bivelio/savings-layer z npm w wersji podanej w raporcie i sprawdź sha256 pliku dist/index.js: każdy raport go zawiera.
  3. Dwa ramiona na prompt. A idzie prosto do dostawcy; B wysyła ten sam prompt, do tego samego modelu i z tym samym limitem wyjścia, przez warstwę w domyślnej konfiguracji. Część promptów się powtarza lub parafrazuje, jak w prawdziwym ruchu, a kolejność A/B jest losowana.
  4. Użycie i ceny katalogowe dokumentują wycenę. Zsumuj koszt każdego ramienia na podstawie usage raportowanego przez dostawcę, po wersjonowanej cenie katalogowej. Oszczędność to 1 − koszt B / koszt A, wraz z przedziałem; nie jest to uzgodnienie faktur.
  5. Jakość, w tym samym przebiegu. Oceń tak samo odpowiedzi obu ramion (dokładna odpowiedź w GSM8K, wywołanie narzędzia w BFCL, odmowa lub nie w XSTest, sędzia w MT-Bench) i porównaj je z raportem JSON tej samej baterii i wersji.

Raporty

Każdy przebieg zostawia raport JSON z projektem, ograniczeniami i każdym zmierzonym wywołaniem: usage, koszt na ramię i klasyfikacja odpowiedzi. Są udostępniane z tej strony.

Raporty są udostępniane tak, jak zapisał je test, z jednym wyjątkiem: usuwa się dane o środowisku osoby mierzącej (ścieżki na dysku, adresy e-mail). Z XSTest nie publikuje się tekstu żadnej odpowiedzi, tylko jej klasyfikację.

Zmierz nas sam

Niezależny pomiar jest wart więcej niż nasz. Kod testu znajduje się w otwartym repozytorium: jeśli chcesz powtórzyć pomiar albo zmierzyć warstwę własnym narzędziem lub własnym ruchem, napisz do nas, a damy ci wszystko, czego potrzebujesz.

Napisz do nas na support@bivelio.com

Wyślij e-mail