A/B testimiz, açıkta. Bizi ölçün.

Ne ölçülüyor ve nasıl

• İki kol, aynı istek. A, katman olmadan doğrudan sağlayıcıya gider; B, varsayılan yapılandırmasıyla katmandan geçer. Aynı prompt, aynı örnekleme, aynı çıktı sınırı.
• Maliyeti sağlayıcı sayar. Her kol, API'nin her çağrıda döndürdüğü usage değeriyle, liste fiyatı üzerinden fiyatlandırılır. Tasarruf, aynı koşunun 1 − maliyet(B) / maliyet(A) değeridir, katmanın kendisi hakkında söyledikleri değil.
• %95 aralıkları. Bunları her test düzeneği hesaplar (bütün soru ailelerinin yeniden örneklenmesi, ret oranları için Wilson). Sıfırı kesen bir aralık “sıfırdan ayırt edilemez” demektir ve bunu böyle söylüyoruz.
• Kurduğunuz paket. B kolu, 0.4.31 etiketinin kaynağını çalıştırır; dist/index.js dosyası npm paketininkiyle bayt bayt aynıdır (sha256 b52f99cacf9804ecd3153e56f26ec3adcdc2510d52a8446a369ecf914e0b5731).
• Kestirme yok. Her test düzeneği konuştuğu sunucuları izler ve kod içinde yazılı, model başına bir harcama sınırı taşır. Ölçülemeyen bir model, nedeniyle birlikte “ölçülmedi” olarak raporlanır.

Dört batarya, herkese açık veri kümeleri, sabitlenmiş

Model başına ölçülen tasarruf

GSM8K, isteklerin %30 kadarının tam tekrar, %20 kadarının başka sözcüklerle ifade edilmiş olduğu bir istek akışında. Bu, tekrarlayan trafiğe sahip batarya: sizin tasarrufunuz kendi trafiğinizin ne kadar tekrarlandığına bağlıdır. Tekrar yoksa “Tasarruf sağlamayan” bölümüne bakın.

Tasarrufun nereden geldiği, pozisyon pozisyon: “tam önbellekten” olan, katmanın sağlayıcıyı çağırmadan sunduğu isteklerde A'nın ödediği tutardır; “çağrılarda” olan ise, sağlayıcıya gerçekten ulaşanlardaki farktır, çoğunlukla sağlayıcının önek önbelleğinden (artı bir miktar çıktı değişkenliği). İkisi toplamda toplam tasarrufu oluşturur.

Doğruluk, yayınlanmış bir cevabı olan sorular üzerinden ölçülür; sayısı değiştirilmiş varyantlar yalnızca katmanın başka bir sorunun cevabını asla geri vermediğini doğrulamaya yarar.

Garantiler, sayılmış

Tasarruf sağlamayan

Tekrar olmadan tasarruf ≈ %0 olur. Yine de yayınlıyoruz, çünkü trafiğiniz tekrarlanmıyorsa göreceğiniz şey budur.

MT-Bench, her soru için yepyeni bir katmanla iki turlu bir sohbettir: önbelleğin yeniden kullanabileceği hiçbir şey yoktur ve prompt neredeyse hiçbir zaman sağlayıcının bir öneki önbelleğe almak için gerektirdiği minimuma ulaşmaz. BFCL'de her araç çağrısı farklıdır. Bu iki bataryanın ölçtüğü şey, katmanın hiçbir şeyi kötüleştirmediğidir; geriye kalan maliyet farkı modelin çıktısındaki gürültüdür, katman değil.

Model ve bataryaya göre durum

Her hücre, katmanın en yüksek sürümündeki koşuyu gösterir. Bir model ölçülemediyse, boşluk bırakmak yerine nedenini söylüyoruz.

Testin bulduğu hatalar

Test iyi görünmek için değil, hataları siz bulmadan önce bulmak için var. Ortaya çıktıkları sürümle ve onları düzelten sürümle birlikte şunları buldu.

1. Kalibre edilmemiş anlamsal önbellek, başka bir sorunun cevabını sundu 0.4.30 → 0.4.31

   Anlamsal önbellek kalibre edilmediğinde, başka bir sayıya sahip bir varyant (“three baskets”e karşı “two baskets”) orijinal sorunun cevabını alabiliyordu. GSM8K varyantları üzerinden sayıldı.

   • 0.4.30 sürümünde bulundu: 111 üzerinden 15. gsm8k.json
   • 0.4.31 sürümünde düzeltildi (#383).
   • 0.4.31 sürümünde canlı olarak doğrulandı: 198 üzerinden 0.

2. Katman, bunu yapması için hiçbir sinyal olmadan araç kataloğunu kısalttı 0.4.30 → 0.4.31

   Çok turlu konuşmalarda, hiçbir şey hangi araçların gereksiz olduğunu göstermese de B kolu A kolundan daha az araç gönderdi. BFCL çok turlu konuşmaları üzerinden sayıldı.

   • 0.4.30 sürümünde bulundu: 20 üzerinden 20. bfcl.json
   • 0.4.31 sürümünde düzeltildi (#382).
   • 0.4.31 sürümünde canlı olarak doğrulandı: 83 üzerinden 0.

3. Metin olarak yazılan bazı reddler önbelleğe alındı 0.4.31 → 0.4.32

   Modelin metin olarak yazdığı bir ret (API sinyali olmadan) önbelleğe alınabilir, tekrarlanabilir ve tasarruf olarak hesaba geçirilebilirdi. XSTest promptlarında sayıldı.

   • 0.4.31 sürümünde bulundu: 2.824 üzerinden 39. xstest-0431-claude.jsonxstest-0431-gama-alta.jsonxstest-0431.json
   • 0.4.32 sürümünde düzeltildi (#393, #401).
   • 0.4.32 sürümünde canlı olarak yeniden ölçülmeyi bekliyor.

4. Bir Gemini içerik filtresi cevap olarak önbelleğe alındı 0.4.31 → 0.4.32

   Gemini, filtresini kendi durdurma nedeniyle işaretler; katman bunu bir ret olarak tanımadığından, önbelleğe alıp tekrarlayabiliyordu. XSTest promptlarında sayıldı.

   • 0.4.31 sürümünde bulundu: 508 üzerinden 6. xstest-0431-gama-alta.json
   • 0.4.32 sürümünde düzeltildi (#402).
   • 0.4.32 sürümünde canlı olarak yeniden ölçülmeyi bekliyor.

5. Gemini katmandan geçmiyordu 0.4.31 → 0.4.32

   Katman, OpenAI API'sine özgü bir alanı uyumlu her uç noktaya gönderiyordu ve Gemini bunu reddediyor: B kolundaki her istek başarısız oluyordu. GSM8K isteklerinde sayıldı.

   • 0.4.31 sürümünde bulundu: 504 üzerinden 504. gsm8k-0431-gama-alta.json
   • 0.4.32 sürümünde düzeltildi (#402).
   • 0.4.32 sürümünde canlı olarak yeniden ölçülmeyi bekliyor.

6. Gemini 3 ile araçlı ikinci tur başarısız oluyordu 0.4.31 → 0.4.32

   Katman, Gemini 3'ün her araç çağrısında gerektirdiği düşünce imzasını geri döndürmüyordu, bu yüzden bir sonraki tur reddediliyordu. BFCL çok turlu devamları üzerinden sayıldı.

   • 0.4.31 sürümünde bulundu: 50 üzerinden 50. bfcl-0431-gama-alta.json
   • 0.4.32 sürümünde düzeltildi (#402).
   • 0.4.32 sürümünde canlı olarak yeniden ölçülmeyi bekliyor.

Nasıl yeniden üretilir

Testin kodu henüz herkese açık değil; yöntem açık ve beş adıma sığıyor. Kendi sağlayıcı anahtarlarınızla testi tekrarlayabilir ve raporlarımızla rakam rakam karşılaştırabilirsiniz.

1. Veri kümesi. Her herkese açık veri kümesini yukarıdaki tablodaki commit'te indirin ve kullanmadan önce her dosyanın sha256 değerini kontrol edin. Tutmuyorsa aynı veri kümesi değildir.
2. Katman. @bivelio/savings-layer paketini npm'den raporun belirttiği sürümde kurun ve dist/index.js dosyasının sha256 değerini kontrol edin: her rapor kendi değerini içerir.
3. Prompt başına iki kol. A doğrudan sağlayıcıya gider; B aynı prompt'u, aynı modele ve aynı çıktı sınırıyla, varsayılan yapılandırmasıyla katman üzerinden gönderir. Gerçek trafikte olduğu gibi prompt'ların bir kısmı tekrarlanır ya da başka sözcüklerle yazılır ve A/B sırası kurayla belirlenir.
4. Maliyeti sağlayıcı söyler. Sağlayıcının döndürdüğü usage değerine göre her kolun faturasını yayımlanan fiyattan toplayın. Tasarruf, aralığıyla birlikte 1 − maliyet B / maliyet A olur.
5. Kalite, aynı çalıştırmada. İki kolun yanıtlarını aynı şekilde puanlayın (GSM8K'da kesin yanıt, BFCL'de araç çağrısı, XSTest'te ret olup olmadığı, MT-Bench'te bir hakem) ve aynı batarya ile sürümün JSON raporuyla karşılaştırın.

Raporlar

Her çalıştırma tasarımını, sınırlarını ve ölçülen her çağrıyı içeren bir JSON raporu bırakır: usage, kol başına maliyet ve yanıtın sınıflandırması. Raporlar bu web sitesinden sunulur.

Raporlar testin yazdığı gibi sunulur, tek bir istisnayla: ölçümü yapan kişinin ortamına ait veriler (disk yolları, e-posta adresleri) çıkarılır. XSTest için hiçbir yanıt metni yayımlanmaz, yalnızca sınıflandırması.