Nasz test A/B, w pełni jawny. Zmierz nas.

Co jest mierzone i jak

• Dwa ramiona, to samo żądanie. A trafia bezpośrednio do dostawcy, bez warstwy; B przechodzi przez warstwę z jej domyślną konfiguracją. Ten sam prompt, to samo próbkowanie, ten sam limit odpowiedzi.
• Koszt liczy dostawca. Każde ramię jest wyceniane na podstawie usage zwracanego przez API przy każdym wywołaniu, w cenie cennikowej. Oszczędność to 1 − koszt(B) / koszt(A) tego samego przebiegu, a nie to, co warstwa mówi sama o sobie.
• Przedziały na poziomie 95%. Oblicza je każdy harness (resampling całych rodzin pytań, Wilson dla odsetka odmów). Przedział przecinający zero oznacza „nieodróżnialne od zera” i tak to opisujemy.
• Pakiet, który instalujesz. Ramię B uruchamia źródło znacznika 0.4.31; jego dist/index.js jest identyczny bit po bicie z tym z paczki npm (sha256 b52f99cacf9804ecd3153e56f26ec3adcdc2510d52a8446a369ecf914e0b5731).
• Bez skrótów. Każdy harness obserwuje hosty, z którymi się komunikuje, i ma w kodzie zapisany limit wydatków na model. Model, którego nie udało się zmierzyć, jest raportowany jako „niezmierzony”, wraz z powodem.

Cztery baterie testów, publiczne zbiory danych, przypięte

Zmierzona oszczędność na model

GSM8K, przy strumieniu żądań, w którym 30% to dokładne powtórzenia, a 20% to parafrazy. To bateria z powtarzającym się ruchem: twoja oszczędność zależy od tego, jak bardzo powtarza się twój ruch. Bez powtórzeń zobacz „To, co nie oszczędza”.

Skąd bierze się oszczędność, pozycja po pozycji: „z dokładnej pamięci podręcznej” to to, co zapłaciło A za żądania, które warstwa obsłużyła bez wywoływania dostawcy; „w wywołaniach” to różnica w tych, które faktycznie do niego dotarły, głównie dzięki pamięci podręcznej prefiksów dostawcy (plus trochę zmienności wyniku). Obie sumują się na całkowitą oszczędność.

Dokładność jest mierzona na pytaniach z opublikowaną odpowiedzią; warianty ze zmienioną liczbą służą wyłącznie do sprawdzenia, czy warstwa nigdy nie zwraca odpowiedzi z innego pytania.

Gwarancje, policzone

To, co nie oszczędza

Bez powtórzeń oszczędność wynosi ≈ 0%. Publikujemy to mimo wszystko, ponieważ tak wygląda sytuacja, gdy twój ruch się nie powtarza.

MT-Bench to czat dwuturowy ze świeżą warstwą przy każdym pytaniu: nie ma nic, co pamięć podręczna mogłaby ponownie wykorzystać, a prompt niemal nigdy nie osiąga minimum wymaganego przez dostawcę do zapisania prefiksu w pamięci podręcznej. W BFCL każde wywołanie narzędzia jest inne. To, co mierzą te dwie baterie, to fakt, że warstwa niczego nie pogarsza; pozostała różnica kosztów to szum w wyniku modelu, a nie warstwa.

Status według modelu i baterii

Każda komórka pokazuje przebieg na najwyższej wersji warstwy. Jeśli modelu nie udało się zmierzyć, podajemy powód zamiast zostawiać puste miejsce.

Błędy znalezione przez test

Test nie służy do tego, żeby dobrze wyglądać: służy do znajdowania błędów, zanim znajdziesz je ty. Znalazł te, z wersją, w której się pojawiły, i tą, która je naprawia.

1. Niekalibrowana pamięć podręczna semantyczna podawała odpowiedź innego pytania 0.4.30 → 0.4.31

   Przy niekalibrowanej pamięci podręcznej semantycznej wariant z inną liczbą („three baskets” zamiast „two baskets”) mógł otrzymać odpowiedź z oryginalnego pytania. Policzone na wariantach GSM8K.

   • Znaleziono w 0.4.30: 15 z 111. gsm8k.json
   • Naprawiono w 0.4.31 (#383).
   • Zweryfikowano na żywo w 0.4.31: 0 z 198.

2. Warstwa ograniczała katalog narzędzi bez żadnego sygnału, by to robić 0.4.30 → 0.4.31

   W rozmowach wieloturowych ramię B wysyłało mniej narzędzi niż ramię A, mimo że nic nie wskazywało, które są zbędne. Policzone na rozmowach wieloturowych BFCL.

   • Znaleziono w 0.4.30: 20 z 20. bfcl.json
   • Naprawiono w 0.4.31 (#382).
   • Zweryfikowano na żywo w 0.4.31: 0 z 83.

3. Niektóre odmowy zapisane jako tekst były zapisywane w pamięci podręcznej 0.4.31 → 0.4.32

   Odmowa, którą model zapisuje jako tekst (bez sygnału z API), mogła zostać zapisana w pamięci podręcznej, powtórzona i zaliczona jako oszczędność. Policzone w promptach XSTest.

   • Znaleziono w 0.4.31: 39 z 2824. xstest-0431-claude.jsonxstest-0431-gama-alta.jsonxstest-0431.json
   • Naprawiono w 0.4.32 (#393, #401).
   • Oczekuje na ponowny pomiar na żywo w 0.4.32.

4. Filtr treści Gemini był zapisywany w pamięci podręcznej jako odpowiedź 0.4.31 → 0.4.32

   Gemini oznacza swój filtr własnym powodem zatrzymania, którego warstwa nie rozpoznawała jako odmowy, przez co mogła go zapisać w pamięci podręcznej i powtórzyć. Policzone w promptach XSTest.

   • Znaleziono w 0.4.31: 6 z 508. xstest-0431-gama-alta.json
   • Naprawiono w 0.4.32 (#402).
   • Oczekuje na ponowny pomiar na żywo w 0.4.32.

5. Gemini nie przechodził przez warstwę 0.4.31 → 0.4.32

   Warstwa wysyłała pole właściwe dla API OpenAI do każdego zgodnego punktu końcowego, a Gemini je odrzuca: każde żądanie w ramieniu B kończyło się niepowodzeniem. Policzone w żądaniach GSM8K.

   • Znaleziono w 0.4.31: 504 z 504. gsm8k-0431-gama-alta.json
   • Naprawiono w 0.4.32 (#402).
   • Oczekuje na ponowny pomiar na żywo w 0.4.32.

6. Przy Gemini 3 druga tura z narzędziami kończyła się niepowodzeniem 0.4.31 → 0.4.32

   Warstwa nie zwracała sygnatury myśli, której Gemini 3 wymaga przy każdym wywołaniu narzędzia, przez co kolejna tura była odrzucana. Policzone w kontynuacjach wieloturowych BFCL.

   • Znaleziono w 0.4.31: 50 z 50. bfcl-0431-gama-alta.json
   • Naprawiono w 0.4.32 (#402).
   • Oczekuje na ponowny pomiar na żywo w 0.4.32.

Jak to odtworzyć

Kod testu nie jest jeszcze publiczny; metoda jest, i mieści się w pięciu krokach. Z własnymi kluczami dostawcy możesz go powtórzyć i porównać liczba po liczbie z naszymi raportami.

1. Zbiór danych. Pobierz każdy publiczny zbiór danych z commita z tabeli powyżej i przed użyciem sprawdź sha256 każdego pliku. Jeśli się nie zgadza, to nie jest ten sam zbiór.
2. Warstwa. Zainstaluj @bivelio/savings-layer z npm w wersji podanej w raporcie i sprawdź sha256 pliku dist/index.js: każdy raport go zawiera.
3. Dwa ramiona na prompt. A idzie prosto do dostawcy; B wysyła ten sam prompt, do tego samego modelu i z tym samym limitem wyjścia, przez warstwę w domyślnej konfiguracji. Część promptów się powtarza lub parafrazuje, jak w prawdziwym ruchu, a kolejność A/B jest losowana.
4. Koszt podaje dostawca. Zsumuj, ile kosztuje każde ramię według usage zwracanego przez dostawcę, po jego opublikowanej cenie. Oszczędność to 1 − koszt B / koszt A, wraz z przedziałem.
5. Jakość, w tym samym przebiegu. Oceń tak samo odpowiedzi obu ramion (dokładna odpowiedź w GSM8K, wywołanie narzędzia w BFCL, odmowa lub nie w XSTest, sędzia w MT-Bench) i porównaj je z raportem JSON tej samej baterii i wersji.

Raporty

Każdy przebieg zostawia raport JSON z projektem, ograniczeniami i każdym zmierzonym wywołaniem: usage, koszt na ramię i klasyfikacja odpowiedzi. Są udostępniane z tej strony.

Raporty są udostępniane tak, jak zapisał je test, z jednym wyjątkiem: usuwa się dane o środowisku osoby mierzącej (ścieżki na dysku, adresy e-mail). Z XSTest nie publikuje się tekstu żadnej odpowiedzi, tylko jej klasyfikację.