Bài kiểm tra A/B của chúng tôi, công khai. Hãy đo chúng tôi.
Chúng tôi công bố mọi lần chạy: bốn bộ kiểm tra trên các tập dữ liệu công khai, 10 mô hình, và cả hai nhánh đều được đo bằng bộ đếm sử dụng của chính nhà cung cấp. Mỗi con số đều mang theo n, khoảng tin cậy và ngày của nó. Những gì không tiết kiệm được cũng có ở đây.
- bộ kiểm tra
- 4
- mô hình đã thử
- 10
- mô hình có phép đo
- 10
- báo cáo trực tiếp
- 15
- lần chạy gần nhất
- 1 thg 10, 2026
Cách đọc trang này
- A/B với SDK
- Hai nhánh trên cùng một yêu cầu, được định giá theo mức sử dụng mà nhà cung cấp báo cáo. Các bộ kiểm tra được đo theo cách này.
- Phát lại trên gateway
- Phát lại phản thực tế với đường cơ sở được dựng lại một phần. Đây không phải A/B trực tiếp, không phải khoản tiết kiệm đã lập hóa đơn, cũng không phải đối soát hóa đơn.
- Cùng một yêu cầu
- Nhánh A: gửi thẳng tới nhà cung cấp, không qua lớp
- Nhánh B: đi qua lớp, với cấu hình mặc định
- Bộ đếm mức dùng của nhà cung cấp đo cả hai nhánh
Tương thích không có nghĩa là đã đo: một mô hình chỉ được tính ở đây khi có lượt chạy đã công bố, và những gì không đo được đều được nêu kèm lý do.
Bộ lọc đọc
Đang hiển thị 12 trên 12 mục.
Bản tiền ấn phẩmv2.3-r1
Verifiable Measurement of Cost Savings in Large Language Model Applications Open-Core Edition
Bản đã chỉnh sửa sau một đợt thẩm định bên ngoài trước khi công bố: phương pháp, ước lượng, độ bất định và giới hạn của từng con số.
Đo cái gì, và đo như thế nào
- Hai nhánh, cùng một yêu cầu. A đi thẳng đến nhà cung cấp, không qua lớp; B đi qua lớp với cấu hình mặc định của nó. Cùng prompt, cùng cách lấy mẫu, cùng giới hạn đầu ra.
- Mức sử dụng do nhà cung cấp báo cáo và giá niêm yết có phiên bản. Mỗi nhánh được định giá dựa trên
usagedo API trả về và danh mục giá niêm yết có ngày. Mức tiết kiệm là 1 − chi phí(B) / chi phí(A) của cùng một lần chạy. Các khoản được gắn nhãn measured, reference-valued hoặc estimated tùy theo bằng chứng; đây không phải đối chiếu hóa đơn. - Khoảng tin cậy 95%. Mỗi bộ khai thác tự tính (lấy mẫu lại toàn bộ họ câu hỏi, Wilson cho tỷ lệ từ chối). Một khoảng tin cậy cắt qua số không có nghĩa là “không thể phân biệt với không”, và chúng tôi nói vậy.
- Gói bạn cài đặt. Các lượt A/B trong các bảng bên dưới được chạy trên 0.4.31: nhánh B chạy mã nguồn của tag đó, và
dist/index.jscủa nó giống từng byte với tệp trong tarball npm (sha256b52f99cacf9804ecd3153e56f26ec3adcdc2510d52a8446a369ecf914e0b5731). Bench trực tiếp hằng tuần thì khác: ở mỗi lượt, nó đo mã nguồn của main đúng như ngày hôm đó, trước khi phát hành. - Không đường tắt. Mỗi bộ khai thác theo dõi các máy chủ mà nó liên lạc và mang một giới hạn chi tiêu theo từng mô hình được viết sẵn trong mã. Một mô hình không thể đo được sẽ được báo cáo là “không đo được”, kèm lý do.
Đọc bài nghiên cứu v2.3-r1, 15 trang (PDF): phương pháp, các loại bằng chứng và giới hạn của từng con số, đã được chỉnh sửa sau một đợt thẩm định bên ngoài trước khi công bố.
Bốn bộ kiểm tra, tập dữ liệu công khai, được ghim cố định
| Bộ kiểm tra | Kiểm tra điều gì | Tập dữ liệu | Tệp được ghim | Giấy phép |
|---|---|---|---|---|
| GSM8K | Bài toán đố bằng lời với các lần lặp lại và diễn đạt lại: cache tiết kiệm được bao nhiêu và độ chính xác có giảm hay không. | openai/grade-school-mathcommit 3101c7d5072418e28b9008a6636bde82a006892c | gsm8k-test sha256 3730d312f6e3440559ace48831e51066acaca737f6eabec99bccb9e4b3c39d14gsm8k-trainsha256 17f347dc51477c50d4efb83959dbb7c56297aba886e5544ee2aaed3024813465 | MIT |
| BFCL | Lệnh gọi công cụ: lớp không được thay đổi bất kỳ lệnh nào, và toàn bộ danh mục phải đến đầy đủ. | ShishirPatil/gorillacommit f7cf7359b7ac615a0b294831c5ba2bc95ee4a000 | ghim theo commit | Apache-2.0 |
| XSTest | Từ chối: lớp không được thay đổi thời điểm mô hình từ chối, cũng không được phục vụ một lời từ chối từ cache. | paul-rottger/exaggerated-safetycommit d7bb5bd738c1fcbc36edd83d5e7d1b71a3e2d84d | xstest_prompts.csv sha256 11783fb294ed017473ee53c207d71f2161c7672c8d0b037501e78387f801cb5a | CC-BY-4.0 |
| MT-Bench | Trò chuyện hai lượt không lặp lại: lớp không được làm xấu đi chi phí, độ trễ hay chất lượng. | lm-sys/FastChatcommit 587d5cfa1609a43d192cedb8441cac3c17db105d | question.jsonl sha256 119565adbab82227089cefdb44c8d7e2cf04dc0a0ec233634c82e7d4e2a944f7gpt-4.jsonlsha256 f957a5bc977badb66885ec970e6cd08527845780313f0995764260e5777b9b3fjudge_prompts.jsonlsha256 fd283293406d024f44c174b094ef48031d0687a4682fd3a56b29b138f80281b6 | Apache-2.0 |
Diễn giải, không thuật ngữ
Bài kiểm tra là một thí nghiệm công bằng: cùng một nhiệm vụ chạy hai lần — không có Savings và có Savings — và cùng một bộ đếm của nhà cung cấp đo cả hai.
Trên một luồng mà 30% số yêu cầu lặp lại y hệt, hóa đơn giảm 31,5% — trong khoảng 25,7% đến 36,7% với độ tin cậy 95%. Bạn tiết kiệm bao nhiêu tùy vào mức độ lặp lại của lưu lượng của bạn.
Một tỷ lệ phần trăm không có ý nghĩa gì nếu thiếu khoảng tin cậy, mô hình và lưu lượng của nó: chúng tôi công bố cả ba.
Bench trực tiếp hằng tuần
A/B với SDK
Mỗi tuần, và mỗi khi chúng tôi chạy thủ công, một lượt đưa tất cả các bộ kiểm thử qua tất cả các mô hình: nhánh A đi thẳng tới nhà cung cấp, nhánh B đi qua lớp được dựng từ mã nguồn của main tại thời điểm đó. Đây không phải là một phiên bản đã phát hành: đây là thứ sắp được phát hành. Lượt chạy thất bại nếu bất kỳ quy tắc nào bị vi phạm, và ô nào không đo được sẽ nêu lý do.
Lượt ngày 1 thg 10, 2026 · mã nguồn main ở commit 5bec174 (phiên bản gói 0.4.35) · đã chi 21,96 US$ trên mức trần 50,00 US$ · đo được 36 trên 40 ô. banco-semanal-5bec174.json
Kết luận: không có hồi quy.
| Bộ kiểm tra | Mô hình | Trạng thái | n | Chi phí / trần | Lỗi của lớp | Những gì được đếm | B − A | Báo cáo so với chi phí giá niêm yết |
|---|---|---|---|---|---|---|---|---|
| GSM8K | openai/gpt-4o-mini | đã đo | 200 | 0,12 US$ / 0,75 US$ | 0 | câu trả lời của câu hỏi khác: 0 | độ chính xác -1,7 pp [-4,8, +1,1] | 0,00% |
| GSM8K | openai/gpt-5.4-mini | đã đo | 106 | 0,42 US$ / 0,75 US$ | 0 | câu trả lời của câu hỏi khác: 0 | độ chính xác +1,0 pp [0,0, +3,3] | 0,00% |
| GSM8K | openai/gpt-5.5 | đã đo | 24 | 0,86 US$ / 1,25 US$ | 0 | câu trả lời của câu hỏi khác: 0 | độ chính xác 0,0 pp [0,0, 0,0] | 0,00% |
| GSM8K | openai/gpt-5.6-sol | đã đo | 34 | 0,31 US$ / 1,25 US$ | 0 | câu trả lời của câu hỏi khác: 0 | độ chính xác 0,0 pp [0,0, 0,0] | 0,00% |
| GSM8K | anthropic/claude-haiku-4-5 | đã đo | 70 | 0,42 US$ / 0,75 US$ | 0 | câu trả lời của câu hỏi khác: 0 | độ chính xác -1,6 pp [-4,3, 0,0] | 0,00% |
| GSM8K | anthropic/claude-sonnet-5 | đã đo | 52 | 0,48 US$ / 1,10 US$ | 0 | câu trả lời của câu hỏi khác: 0 | độ chính xác 0,0 pp [0,0, 0,0] | 0,00% |
| GSM8K | anthropic/claude-sonnet-5-5 | đã đo | 56 | 0,47 US$ / 1,10 US$ | 0 | câu trả lời của câu hỏi khác: 0 | độ chính xác 0,0 pp [0,0, 0,0] | 0,00% |
| GSM8K | anthropic/claude-opus-5-5 | đã đo | 30 | 0,55 US$ / 1,25 US$ | 0 | câu trả lời của câu hỏi khác: 0 | độ chính xác 0,0 pp [0,0, 0,0] | 0,00% |
| GSM8K | google/gemini-3.8-flash | đã đo | 68 | 0,40 US$ / 0,75 US$ | 0 | câu trả lời của câu hỏi khác: 0 | độ chính xác 0,0 pp [0,0, 0,0] | 0,00% |
| GSM8K | google/gemini-3.1-pro-preview | không đo được: hết hạn mức hoặc giới hạn tốc độ của nhà cung cấp, không phải lớp | — | |||||
| BFCL | openai/gpt-4o-mini | đã đo | 100 | 0,03 US$ / 0,75 US$ | 0 | lời gọi công cụ bị thay đổi: 0 | độ chính xác +2,0 pp [0,0, +5,0] | 0,00% |
| BFCL | openai/gpt-5.4-mini | đã đo | 100 | 0,15 US$ / 0,75 US$ | 0 | lời gọi công cụ bị thay đổi: 0 | độ chính xác -1,0 pp [-5,0, +2,0] | 0,00% |
| BFCL | openai/gpt-5.5 | đã đo | 32 | 0,28 US$ / 1,25 US$ | 0 | lời gọi công cụ bị thay đổi: 0 | độ chính xác +6,3 pp [0,0, +15,6] | 0,00% |
| BFCL | openai/gpt-5.6-sol | đã đo | 32 | 0,18 US$ / 1,25 US$ | 0 | lời gọi công cụ bị thay đổi: 0 | độ chính xác 0,0 pp [0,0, 0,0] | 0,00% |
| BFCL | anthropic/claude-haiku-4-5 | đã đo | 100 | 0,59 US$ / 0,75 US$ | 0 | lời gọi công cụ bị thay đổi: 0 | độ chính xác 0,0 pp [0,0, 0,0] | 0,00% |
| BFCL | anthropic/claude-sonnet-5 | đã đo | 48 | 0,72 US$ / 1,10 US$ | 0 | lời gọi công cụ bị thay đổi: 0 | độ chính xác 0,0 pp [-6,3, +6,3] | 0,00% |
| BFCL | anthropic/claude-sonnet-5-5 | đã đo | 48 | 0,64 US$ / 1,10 US$ | 0 | lời gọi công cụ bị thay đổi: 0 | độ chính xác 0,0 pp [0,0, 0,0] | 0,00% |
| BFCL | anthropic/claude-opus-5-5 | đã đo | 32 | 0,47 US$ / 1,25 US$ | 0 | lời gọi công cụ bị thay đổi: 0 | độ chính xác 0,0 pp [0,0, 0,0] | 0,00% |
| BFCL | google/gemini-3.8-flash | đã đo | 100 | 0,45 US$ / 0,75 US$ | 0 | lời gọi công cụ bị thay đổi: 0 | độ chính xác +1,0 pp [0,0, +3,0] | 0,00% |
| BFCL | google/gemini-3.1-pro-preview | không đo được: hết hạn mức hoặc giới hạn tốc độ của nhà cung cấp, không phải lớp | — | |||||
| XSTest | openai/gpt-4o-mini | đã đo | 450 | 0,06 US$ / 0,75 US$ | 0 | từ chối được lưu cache: 0 · được ghi có: 0 | an toàn 0,0 pp (p = 1,00)không an toàn 0,0 pp (p = 1,00) | 0,00% |
| XSTest | openai/gpt-5.4-mini | đã đo (dừng ở mức trần chi phí) | 412 | 0,75 US$ / 0,75 US$ | 0 | từ chối được lưu cache: 0 · được ghi có: 0 | an toàn +0,9 pp (p = 0,77)không an toàn 0,0 pp (p = 1,00) | 0,00% |
| XSTest | openai/gpt-5.5 | đã đo | 99 | 1,01 US$ / 1,25 US$ | 0 | từ chối được lưu cache: 0 · được ghi có: 0 | an toàn 0,0 pp (p = 1,00)không an toàn 0,0 pp (p = 1,00) | 0,00% |
| XSTest | openai/gpt-5.6-sol | đã đo | 99 | 0,62 US$ / 1,25 US$ | 0 | từ chối được lưu cache: 0 · được ghi có: 0 | an toàn 0,0 pp (p = 1,00)không an toàn 0,0 pp (p = 1,00) | 0,00% |
| XSTest | anthropic/claude-haiku-4-5 | đã đo | 450 | 0,63 US$ / 0,75 US$ | 0 | từ chối được lưu cache: 0 · được ghi có: 0 | an toàn 0,0 pp (p = 1,00)không an toàn +0,5 pp (p = 1,00) | 0,00% |
| XSTest | anthropic/claude-sonnet-5 | đã đo | 200 | 0,87 US$ / 1,10 US$ | 0 | từ chối được lưu cache: 0 · được ghi có: 0 | an toàn 0,0 pp (p = 1,00)không an toàn +2,2 pp (p = 0,50) | 0,00% |
| XSTest | anthropic/claude-sonnet-5-5 | đã đo | 153 | 0,81 US$ / 1,10 US$ | 0 | từ chối được lưu cache: 0 · được ghi có: 0 | an toàn +1,1 pp (p = 1,00)không an toàn +3,0 pp (p = 0,50) | 0,00% |
| XSTest | anthropic/claude-opus-5-5 | đã đo (dừng ở mức trần chi phí) | 82 | 0,82 US$ / 1,25 US$ | 0 | từ chối được lưu cache: 0 · được ghi có: 0 | không an toàn -3,7 pp (p = 0,45) | 0,00% |
| XSTest | google/gemini-3.8-flash | đã đo | 448 | 0,52 US$ / 0,75 US$ | 0 | từ chối được lưu cache: 0 · được ghi có: 0 | an toàn +0,4 pp (p = 1,00)không an toàn +1,0 pp (p = 0,75) | 0,00% |
| XSTest | google/gemini-3.1-pro-preview | không đo được: hết hạn mức hoặc giới hạn tốc độ của nhà cung cấp, không phải lớp | — | |||||
| MT-Bench | openai/gpt-4o-mini | đã đo | 40 | 0,41 US$ / 1,15 US$ | 0 | — | B được chọn 48,1% [38,5% – 57,7%] | 0,00% |
| MT-Bench | openai/gpt-5.4-mini | đã đo | 40 | 0,68 US$ / 1,15 US$ | 0 | — | B được chọn 51,7% [40,0% – 65,0%] | 0,00% |
| MT-Bench | openai/gpt-5.5 | đã đo (dừng ở mức trần chi phí) | 7 | 0,65 US$ / 1,65 US$ | 0 | — | B được chọn 46,4% [28,6% – 64,3%] | 0,00% |
| MT-Bench | openai/gpt-5.6-sol | đã đo (dừng ở mức trần chi phí) | 11 | 0,97 US$ / 1,65 US$ | 0 | — | B được chọn 52,3% [45,5% – 59,1%] | 0,00% |
| MT-Bench | anthropic/claude-haiku-4-5 | đã đo | 40 | 0,79 US$ / 1,15 US$ | 0 | — | B được chọn 52,6% [44,7% – 60,5%] | 0,00% |
| MT-Bench | anthropic/claude-sonnet-5 | đã đo (dừng ở mức trần chi phí) | 19 | 1,18 US$ / 1,50 US$ | 0 | — | B được chọn 50,0% [38,5% – 59,6%] | 0,00% |
| MT-Bench | anthropic/claude-sonnet-5-5 | đã đo | 24 | 1,14 US$ / 1,50 US$ | 0 | — | B được chọn 50,0% [42,6% – 58,8%] | 0,00% |
| MT-Bench | anthropic/claude-opus-5-5 | đã đo | 16 | 1,41 US$ / 1,65 US$ | 0 | — | B được chọn 35,9% [26,6% – 43,8%] | 0,00% |
| MT-Bench | google/gemini-3.8-flash | đã đo (dừng ở mức trần chi phí) | 32 | 1,06 US$ / 1,15 US$ | 0 | — | B được chọn 39,6% [27,1% – 50,0%] | 0,00% |
| MT-Bench | google/gemini-3.1-pro-preview | không đo được: hết hạn mức hoặc giới hạn tốc độ của nhà cung cấp, không phải lớp | — | |||||
“Lỗi của lớp” là các lỗi ở nhánh B mà nhánh A không gặp. “B − A” là chênh lệch độ chính xác ở GSM8K và BFCL, chênh lệch tỷ lệ từ chối ở XSTest (p của McNemar, prompt ghép cặp) và, ở MT-Bench, tần suất giám khảo chọn B (một nửa là hòa). “Báo cáo so với chi phí giá niêm yết” so sánh chi phí lớp báo cáo cho B với chi phí được tính độc lập từ mức sử dụng do nhà cung cấp báo cáo theo cùng giá niêm yết có phiên bản; đây không phải đối chiếu hóa đơn.
Các lượt hằng tuần trước đó
- 30 thg 9, 2026 · commit ca621e2 · thất bại (số quy tắc bị vi phạm: 4). banco-semanal-ca621e2.json
- 29 thg 9, 2026 · commit d650c59 · không có hồi quy. banco-semanal-d650c59.json
- 29 thg 9, 2026 · commit 1100960 · không có hồi quy. banco-semanal.json
- 29 thg 9, 2026 · commit 105fe13 · thất bại (số quy tắc bị vi phạm: 7). banco-semanal-105fe13.json
Các lượt một phần
Lượt một phần được chạy thủ công chỉ với một số mô hình hoặc bộ kiểm thử; ví dụ, ngày còn lại của một mô hình có hạn mức hằng ngày của nhà cung cấp không đủ cho cả bốn bộ kiểm thử trong một ngày. Nó đo đúng những gì nó nêu, nhưng không phải lượt hằng tuần: không được tính để phát hành.
- 2 thg 10, 2026 · commit b349d7a · google/gemini-3.1-pro-preview · GSM8K, XSTest · không có hồi quy. banco-semanal-b349d7a-gemini-31-pro-jornada-2.json
- 1 thg 10, 2026 · commit b349d7a · google/gemini-3.1-pro-preview · BFCL, MT-Bench · không có hồi quy. banco-semanal-b349d7a-gemini-31-pro-jornada-1.json
Mức tiết kiệm đo được theo mô hình
A/B với SDK
GSM8K, với một luồng yêu cầu trong đó 30% là lặp lại chính xác và 20% là diễn đạt lại. Đây là bộ kiểm tra có lưu lượng lặp lại: mức tiết kiệm của bạn phụ thuộc vào việc lưu lượng của bạn lặp lại nhiều hay ít. Không có lặp lại, xem mục “Những gì không tiết kiệm được”.
Hai nhánh, theo từng mô hình
GSM8K, bộ kiểm tra được tạo ra để đo mức tiết kiệm. Chọn một mô hình đã đo: A đi thẳng đến nhà cung cấp, còn B đi qua lớp.
Mức tiết kiệm đo được theo mô hình, kèm khoảng tin cậy
A/B với SDKChấm là ước lượng; thanh là khoảng tin cậy; vạch là số không. Tất cả cùng một thang đo.
- 31,5% [25,7% – 36,7%] A/B với SDK
- 200 yêu cầu · 100 duy nhất
- 95,0% → 96,1%
- 0.4.31 · 28 thg 9, 2026
Chỉ hiển thị các mô hình có lượt chạy đã đo. Xem phương pháp
| Mô hình | n | Mức tiết kiệm đo được [KTC] A/B với SDK | Từ cache chính xác | Trong các lệnh gọi (tiền tố) | Độ chính xác A → B | Phiên bản · ngày |
|---|---|---|---|---|---|---|
openai/gpt-4o-mini | 200 yêu cầu · 100 duy nhất | 31,5% [25,7% – 36,7%] | 0,0124 US$ | 0,0006 US$ | 95,0% → 96,1%Δ +1,1 pp [0,0, +2,8] | 0.4.31 · 28 thg 9, 2026 |
openai/gpt-5.4-mini | 176 yêu cầu · 88 duy nhất | 31,7% [25,6% – 37,6%] | 0,0734 US$ | 0,0003 US$ | 95,6% → 93,7%Δ -1,9 pp [-5,0, 0,0] | 0.4.31 · 28 thg 9, 2026 |
openai/gpt-5.5 | 22 yêu cầu · 11 duy nhất | 33,4% [6,8% – 53,8%] | 0,0790 US$ | -0,0023 US$ | 100,0% → 100,0%Δ 0,0 pp [0,0, 0,0] | 0.4.31 · 28 thg 9, 2026 |
openai/gpt-5.6-sol | 32 yêu cầu · 16 duy nhất | 29,2% [9,5% – 46,8%] | 0,0252 US$ | -0,0003 US$ | 100,0% → 100,0%Δ 0,0 pp [0,0, 0,0] | 0.4.31 · 28 thg 9, 2026 |
anthropic/claude-haiku-4-5 | 116 yêu cầu · 58 duy nhất | 32,2% [23,6% – 40,2%] | 0,0773 US$ | 0,0002 US$ | 99,0% → 99,0%Δ 0,0 pp [0,0, 0,0] | 0.4.31 · 28 thg 9, 2026 |
anthropic/claude-opus-5-5 | 32 yêu cầu · 16 duy nhất | 77,2% [67,1% – 83,9%] | 0,0974 US$ | 0,1391 US$ | 100,0% → 100,0%Δ 0,0 pp [0,0, 0,0] | 0.4.31 · 28 thg 9, 2026 |
anthropic/claude-sonnet-5 | 62 yêu cầu · 31 duy nhất | 75,1% [69,3% – 79,6%] | 0,1054 US$ | 0,1313 US$ | 100,0% → 100,0%Δ 0,0 pp [0,0, 0,0] | 0.4.31 · 28 thg 9, 2026 |
anthropic/claude-sonnet-5-5 | 62 yêu cầu · 31 duy nhất | 77,5% [72,0% – 81,7%] | 0,0924 US$ | 0,1289 US$ | 100,0% → 100,0%Δ 0,0 pp [0,0, 0,0] | 0.4.31 · 28 thg 9, 2026 |
google/gemini-3.1-pro-preview | lớp gặp lỗi: yêu cầu không đi qua lớp | 0.4.31 · 28 thg 9, 2026 | ||||
google/gemini-3.8-flash | lớp gặp lỗi: yêu cầu không đi qua lớp | 0.4.31 · 28 thg 9, 2026 | ||||
Mức tiết kiệm đến từ đâu, theo từng vị trí: “từ cache chính xác” là những gì A đã trả cho các yêu cầu mà lớp phục vụ mà không cần gọi nhà cung cấp; “trong các lệnh gọi” là chênh lệch ở những yêu cầu thực sự đến được nhà cung cấp, chủ yếu từ cache tiền tố của nhà cung cấp (cộng thêm một chút biến động ở đầu ra). Hai phần này cộng lại thành tổng mức tiết kiệm.
Độ chính xác được đo trên các câu hỏi có đáp án đã công bố; các biến thể có một con số bị thay đổi chỉ dùng để kiểm tra rằng lớp không bao giờ trả về đáp án của một câu hỏi khác.
Việc hạ bộ nhớ đệm của gateway: một phép mô phỏng, không phải A/B
Phát lại trên gateway
Đây là lượt phát lại theo kịch bản giả định với đường cơ sở được tái dựng một phần, không phải một trong các bộ thử A/B chạy thật của trang. Chúng tôi dùng mức sử dụng do nhà cung cấp báo cáo từ các phiên Claude Code thật của một tổ chức duy nhất, chính chúng tôi, với một nhà cung cấp (Anthropic), rồi ước tính chi phí theo giá niêm yết có phiên bản khi có và không có thay đổi TTL bộ nhớ đệm của PRO. Đây không phải lần chạy kép trực tiếp hay đối chiếu hóa đơn.
Kết luận của báo cáo ngày 3 thg 10, 2026: việc hạ để lại phần ròng +2,49% hóa đơn (113,45 US$ trên 4.563,61 US$), sau khi trừ các lần trượt bộ nhớ đệm do chính nó gây ra.
- Phiên
- 51
- Yêu cầu
- 19.779
- Ngày
- 13
| Khoảng 95% | Ròng, so với hóa đơn Phát lại trên gateway |
|---|---|
| Lấy mẫu lại theo phiên (số cụm: 51) | +1,50% – +3,57% |
| Lấy mẫu lại theo ngày (số cụm: 13) | +1,73% – +4,82% |
Bootstrap với 10.000 lần lấy mẫu lại. Cả hai khoảng đều không chứa số không: với lưu lượng này, việc hạ có lãi. Thẻ ở trang chủ trích khoảng theo phiên.
Kết quả, cùng những gì bị trừ đi
| Số lần hạ | 2.583 |
| Phụ phí tiết kiệm được, gộp | +3,10% |
| Số lần trượt bộ nhớ đệm gây ra | 124 |
| Chi phí của các lần trượt đó | -0,62% |
| Ròng | +2,49% · 113,45 US$ |
| Trần: toàn bộ phụ phí một giờ | 7,2% |
Các tỷ lệ phần trăm tính trên hóa đơn theo giá niêm yết của các yêu cầu được mô phỏng (4.563,61 US$). Trần là mức tối đa mà bất kỳ chính sách TTL nào có thể thu hồi, ngay cả khi không bao giờ trượt. Mỗi tỷ lệ phần trăm được làm tròn riêng.
Theo mô hình
| Mô hình | Yêu cầu | Số lần hạ | Số lần trượt bộ nhớ đệm gây ra | Ròng, so với hóa đơn của mô hình |
|---|---|---|---|---|
claude-fable-5 | 1.921 | 23 | 1 | +4,64% |
claude-fable-5-1 | 2.236 | 25 | 0 | +1,65% |
claude-opus-5 | 8.344 | 70 | 2 | +1,61% |
claude-opus-4-8 | 1.193 | 34 | 0 | +6,49% |
claude-sonnet-5 | 6.080 | 2.427 | 121 | +1,34% |
claude-haiku-4-5 | 5 | 4 | 0 | không có tỷ lệ (số yêu cầu: 5) |
claude-sonnet-5 là trường hợp xấu: nó chiếm 94% số lần hạ và 98% số lần trượt, và phần ròng của nó gần như bằng không. Trong giai đoạn đầu của bản ghi, nó thậm chí còn lỗ: 9,4% hóa đơn của nó. Lưu lượng của nó là những luồng ngắn thường xuyên được dựng lại và quay lại sau khi năm phút đã trôi qua. Quy tắc này thực sự có lãi ở nơi việc khởi động phiên đắt và hiếm.
Cách thực hiện: mô hình bộ nhớ đệm, được công bố rõ
- Quy tắc chính là quy tắc mà gateway chạy, không phải bản sao: nó chuyển các lần ghi bộ nhớ đệm từ TTL một giờ sang TTL năm phút khi phần mới chiếm ít nhất 30% thân yêu cầu.
- Đường cơ sở là những gì nhà cung cấp đã đếm, với mức sử dụng thực, ở nơi việc hạ chưa bật; ở nơi đã bật, nó được dựng lại bằng cách hoàn tác việc hạ (xem phần giới hạn). Khi hạ, lượt được hạ trả phụ phí ghi năm phút thay vì phụ phí một giờ.
- Một lần trượt bị gây ra: nếu lượt kế tiếp của cùng luồng đến sau năm phút và trước khi hết một giờ, những gì lượt bị hạ đã ghi sẽ không còn được đọc từ bộ nhớ đệm mà phải ghi lại, và chi phí đó bị trừ đi.
- Có một biến thể thận trọng, coi như mất cả phần tiền tố dùng chung giữa các luồng khác nhau. Nó hầu như không làm con số thay đổi: +2,48%, với thêm vài lần trượt (3).
- Chỉ có số liệu tổng hợp: không prompt, phản hồi, tiêu đề hay mã định danh phiên nào rời khỏi bản ghi.
Giới hạn
- Một tổ chức, một ứng dụng khách, một nhà cung cấp. Claude Code với Anthropic, trên lưu lượng của chính chúng tôi. Không có tác nhân lập trình nào khác và không có nhà cung cấp nào khác.
- Giá niêm yết, mô phỏng. Đây không phải hóa đơn: đây là mức sử dụng thật, được tính giá theo bảng giá. Chiết khấu, hạng tài khoản hoặc gói thuê bao sẽ làm số tiền thay đổi.
- Mô hình bộ nhớ đệm là một mô hình. Nó giả định cách nhà cung cấp lập chỉ mục các mục bộ nhớ đệm; nó không quan sát điều đó. Biến thể thận trọng giới hạn rủi ro này.
- Phần lớn đường cơ sở được dựng lại. 79% số yêu cầu được ghi khi việc hạ đã bật; ở đó đường cơ sở được dựng lại bằng cách hoàn tác việc hạ thực tế, và kém chắc chắn hơn đường cơ sở của giai đoạn đầu. Riêng giai đoạn đầu đó cho một khoảng rộng hơn nhiều: từ +0,29% đến +9,12%.
- Mức trần thay đổi theo client. Nó phụ thuộc vào việc agent lập trình gửi bao nhiêu lượt ghi một giờ, và các phiên bản Claude Code gần đây gửi ít hơn: trong 19.779 yêu cầu, 7.327 yêu cầu không có lượt ghi nào để hạ.
- Khoảng trống giữa các lượt được đo từ lúc mỗi yêu cầu đến, không phải từ lúc phản hồi kết thúc: nó đếm thừa vài lần trượt, không bao giờ đếm thiếu.
- Đây không phải dự báo cho nhóm của bạn. Đây là một khoản tiết kiệm nhỏ, từ một lưu lượng duy nhất, và lưu lượng khác có thể cho con số khác, kể cả tệ hơn: hãy xem trường hợp xấu.
Trên môi trường thực tế: từ phiên bản 0.5.1 (3 thg 10, 2026), gateway trừ các lần trượt mà nó quan sát được, ngay ở lượt phải chịu chúng, nên khoản tiết kiệm từ việc hạ này trên bảng điều khiển của bạn là số ròng. Những gì đã ghi nhận trước đó không được tính lại, và bảng điều khiển đánh dấu các máy chạy gateway cũ hơn là “gộp”.
Các cam kết, được đếm
A/B với SDK
Lớp chưa bao giờ thay đổi một lệnh gọi công cụ
0 lệnh gọi bị thay đổi trong 1.325 lần so sánh BFCL, 6 mô hình, kể từ 0.4.31. Nếu lớp gặp lỗi (một lỗi ở B mà A không có), điều đó không được tính ở đây: nó thuộc mục “Lỗi mà bài kiểm tra đã tìm ra”.
Cách đếm: mọi phép so sánh của mọi lượt chạy trực tiếp kể từ phiên bản đó, nên một mô hình được đo hai lần (một lượt thử và lượt đầy đủ) được cộng cả hai. Vì vậy con số có thể vượt n trong các bảng, vốn chỉ hiển thị một lượt cho mỗi mô hình.
Không có câu trả lời từ một câu hỏi khác kể từ 0.4.31
0 trong số 198 biến thể (cùng một câu hỏi với một con số khác, do đó có đáp án khác) được phục vụ bằng đáp án của một câu hỏi khác, trên 8 mô hình trực tiếp và mọi cấu hình cache đã đo.
Phát lại ngoại tuyến toàn bộ tập kiểm tra GSM8K: 0 trong 5.813 yêu cầu, ở mỗi cấu hình trong số 5 cấu hình cache.
Cùng một tỷ lệ từ chối, có và không có lớp
XSTest, 10 mô hình được đo: không có khác biệt A/B dưới mức p = 0,05 (McNemar, prompt theo cặp). Lớp đã chuyển giao nguyên văn 4.668 phản hồi mà không thay đổi (0 bị thay đổi).
Cách đếm: phản hồi, không phải prompt. Mỗi phản hồi của nhánh B được so với văn bản của nhà cung cấp, kể cả các lần lặp lại cùng một prompt, nên số phản hồi nhiều hơn số prompt trong bảng.
| Mô hình | Prompt | Từ chối, prompt an toàn (A → B) | Từ chối, prompt không an toàn (A → B) | Phiên bản · ngày |
|---|---|---|---|---|
openai/gpt-4o-mini | 450 | 5,2% → 5,2% (n = 250, p = 1,00) | 81,5% → 81,5% (n = 200, p = 1,00) | 0.4.31 · 28 thg 9, 2026 |
openai/gpt-5.4-mini | 441 | 11,0% → 9,8% (n = 245, p = 0,63) | 87,2% → 86,7% (n = 196, p = 1,00) | 0.4.31 · 28 thg 9, 2026 |
openai/gpt-5.5 | 120 | 6,3% → 4,7% (n = 64, p = 1,00) | 80,0% → 80,0% (n = 55, p = 1,00) | 0.4.31 · 29 thg 9, 2026 |
openai/gpt-5.6-sol | 199 | 2,7% → 2,7% (n = 111, p = 1,00) | 75,6% → 76,7% (n = 86, p = 1,00) | 0.4.31 · 29 thg 9, 2026 |
anthropic/claude-haiku-4-5 | 450 | 1,6% → 2,0% (n = 250, p = 1,00) | 42,5% → 42,5% (n = 200, p = 1,00) | 0.4.31 · 29 thg 9, 2026 |
anthropic/claude-opus-5-5 | 81 | — | 67,1% → 67,1% (n = 79, p = 1,00) | 0.4.31 · 29 thg 9, 2026 |
anthropic/claude-sonnet-5 | 264 | 2,7% → 2,0% (n = 147, p = 1,00) | 68,4% → 71,8% (n = 117, p = 0,34) | 0.4.31 · 29 thg 9, 2026 |
anthropic/claude-sonnet-5-5 | 311 | 1,5% → 0,0% (n = 135, p = 0,50) | 64,3% → 65,3% (n = 98, p = 1,00) | 0.4.31 · 29 thg 9, 2026 |
google/gemini-3.1-pro-preview | 58 | 0,0% → 0,0% (n = 32, p = 1,00) | 80,8% → 84,6% (n = 26, p = 1,00) | 0.4.31 · 29 thg 9, 2026 |
google/gemini-3.8-flash | 450 | 0,4% → 0,4% (n = 249, p = 1,00) | 67,8% → 66,8% (n = 199, p = 0,73) | 0.4.31 · 29 thg 9, 2026 |
Những gì không tiết kiệm được
A/B với SDK
Không có lặp lại, mức tiết kiệm là ≈ 0%. Chúng tôi vẫn công bố điều này, vì đó là những gì bạn sẽ thấy nếu lưu lượng của bạn không lặp lại.
MT-Bench là trò chuyện hai lượt với một lớp mới cho mỗi câu hỏi: không có gì để cache tái sử dụng, và prompt hầu như không bao giờ đạt đến mức tối thiểu mà nhà cung cấp yêu cầu để cache một tiền tố. Trong BFCL, mỗi lệnh gọi công cụ đều khác nhau. Điều mà hai bộ kiểm tra này đo là lớp không làm điều gì tệ hơn; chênh lệch chi phí còn lại là nhiễu từ đầu ra của mô hình, không phải từ lớp.
| Bộ kiểm tra | Mô hình | n | Mức tiết kiệm đo được [KTC] A/B với SDK | Diễn giải | Phiên bản · ngày |
|---|---|---|---|---|---|
| BFCL | openai/gpt-4o-mini | 400 mục | 0,1% [0,0% – 0,3%] | không thể phân biệt với không | 0.4.31 · 28 thg 9, 2026 |
| BFCL | openai/gpt-5.4-mini | 400 mục | -0,2% [-1,0% – 0,5%] | không thể phân biệt với không | 0.4.31 · 28 thg 9, 2026 |
| BFCL | anthropic/claude-haiku-4-5 | 48 mục | 0,1% [0,0% – 0,2%] | không thể phân biệt với không | 0.4.31 · 29 thg 9, 2026 |
| BFCL | anthropic/claude-sonnet-5 | 48 mục | 1,5% [-1,6% – 5,8%] | không thể phân biệt với không | 0.4.31 · 29 thg 9, 2026 |
| BFCL | google/gemini-3.1-pro-preview | 97 mục | 4,8% [-6,6% – 15,6%] | không thể phân biệt với không | 0.4.31 · 29 thg 9, 2026 |
| BFCL | google/gemini-3.8-flash | 324 mục | -10,7% [-27,8% – 3,2%] | không thể phân biệt với không | 0.4.31 · 29 thg 9, 2026 |
| MT-Bench | openai/gpt-4o-mini | 80 câu hỏi | 3,3% [0,8% – 6,0%] | tiết kiệm · không thể quy cho lớp | 0.4.31 · 28 thg 9, 2026 |
| MT-Bench | openai/gpt-5.4-mini | 80 câu hỏi | -3,5% [-8,6% – 1,6%] | không thể phân biệt với không · không thể quy cho lớp | 0.4.31 · 28 thg 9, 2026 |
| MT-Bench | openai/gpt-5.5 | 8 câu hỏi | 2,1% [-4,4% – 9,7%] | không thể phân biệt với không | 0.4.31 · 29 thg 9, 2026 |
| MT-Bench | openai/gpt-5.6-sol | 13 câu hỏi | -0,4% [-21,2% – 13,5%] | không thể phân biệt với không · không thể quy cho lớp | 0.4.31 · 29 thg 9, 2026 |
| MT-Bench | anthropic/claude-haiku-4-5 | 80 câu hỏi | -2,6% [-4,6% – -0,9%] | chi phí phát sinh thêm · không thể quy cho lớp | 0.4.31 · 28 thg 9, 2026 |
| MT-Bench | anthropic/claude-opus-5-5 | 18 câu hỏi | 1,1% [-2,0% – 4,9%] | không thể phân biệt với không | 0.4.31 · 29 thg 9, 2026 |
| MT-Bench | anthropic/claude-sonnet-5 | 23 câu hỏi | 1,7% [-8,9% – 12,7%] | không thể phân biệt với không | 0.4.31 · 28 thg 9, 2026 |
| MT-Bench | anthropic/claude-sonnet-5-5 | 37 câu hỏi | -0,8% [-2,5% – 0,9%] | không thể phân biệt với không | 0.4.31 · 29 thg 9, 2026 |
Trạng thái theo mô hình và bộ kiểm tra
Mỗi ô hiển thị lần chạy trên phiên bản cao nhất của lớp. Nếu một mô hình không thể đo được, chúng tôi nêu lý do thay vì để trống.
| Mô hình | GSM8K | BFCL | XSTest | MT-Bench |
|---|---|---|---|---|
openai/gpt-4o-mini | đã đo · n = 200 0.4.31 · 28 thg 9, 2026 | đã đo · n = 400 0.4.31 · 28 thg 9, 2026 | đã đo · n = 450 0.4.31 · 28 thg 9, 2026 | đã đo · n = 80 0.4.31 · 28 thg 9, 2026 |
openai/gpt-5.4-mini | đã đo · n = 176 0.4.31 · 28 thg 9, 2026 | đã đo · n = 400 0.4.31 · 28 thg 9, 2026 | đã đo · n = 441 0.4.31 · 28 thg 9, 2026 | đã đo · n = 80 0.4.31 · 28 thg 9, 2026 |
openai/gpt-5.5 | đã đo · n = 22 0.4.31 · 28 thg 9, 2026 | không đo được: đã hết giới hạn chi tiêu 0.4.31 · 29 thg 9, 2026 | đã đo · n = 120 0.4.31 · 29 thg 9, 2026 | đã đo · n = 8 0.4.31 · 29 thg 9, 2026 |
openai/gpt-5.6-sol | đã đo · n = 32 0.4.31 · 28 thg 9, 2026 | không đo được: nhà cung cấp từ chối yêu cầu ở cả hai nhánh 0.4.31 · 29 thg 9, 2026 | đã đo · n = 199 0.4.31 · 29 thg 9, 2026 | đã đo · n = 13 0.4.31 · 29 thg 9, 2026 |
anthropic/claude-haiku-4-5 | đã đo · n = 116 0.4.31 · 28 thg 9, 2026 | đã đo · n = 48 0.4.31 · 29 thg 9, 2026 | đã đo · n = 450 0.4.31 · 29 thg 9, 2026 | đã đo · n = 80 0.4.31 · 28 thg 9, 2026 |
anthropic/claude-opus-5-5 | đã đo · n = 32 0.4.31 · 28 thg 9, 2026 | không đo được: đã hết giới hạn chi tiêu 0.4.31 · 29 thg 9, 2026 | đã đo · n = 81 0.4.31 · 29 thg 9, 2026 | đã đo · n = 18 0.4.31 · 29 thg 9, 2026 |
anthropic/claude-sonnet-5 | đã đo · n = 62 0.4.31 · 28 thg 9, 2026 | đã đo · n = 48 0.4.31 · 29 thg 9, 2026 | đã đo · n = 264 0.4.31 · 29 thg 9, 2026 | đã đo · n = 23 0.4.31 · 28 thg 9, 2026 |
anthropic/claude-sonnet-5-5 | đã đo · n = 62 0.4.31 · 28 thg 9, 2026 | không đo được: đã hết giới hạn chi tiêu 0.4.31 · 29 thg 9, 2026 | đã đo · n = 311 0.4.31 · 29 thg 9, 2026 | đã đo · n = 37 0.4.31 · 29 thg 9, 2026 |
google/gemini-3.1-pro-preview | lớp gặp lỗi: yêu cầu không đi qua lớp 0.4.31 · 28 thg 9, 2026 | đã đo · n = 97 0.4.31 · 29 thg 9, 2026 | đã đo · n = 58 0.4.31 · 29 thg 9, 2026 | không đo được: đã hết hạn ngạch của nhà cung cấp 0.4.31 · 29 thg 9, 2026 |
google/gemini-3.8-flash | lớp gặp lỗi: yêu cầu không đi qua lớp 0.4.31 · 28 thg 9, 2026 | đã đo · n = 324 0.4.31 · 29 thg 9, 2026 | đã đo · n = 450 0.4.31 · 29 thg 9, 2026 | lớp gặp lỗi: yêu cầu không đi qua lớp 0.4.31 · 29 thg 9, 2026 |
Khả năng tương thích
Tương thích không có nghĩa là đã đo. SDK hoạt động với mọi endpoint tương thích với API của OpenAI, cùng bộ chuyển đổi gốc cho Anthropic và bộ chuyển đổi gốc cho Gemini (mới trong 0.4.33). Có con số tiết kiệm trên băng thử công khai hiện chỉ có các mô hình của OpenAI và Anthropic; Gemini không có con số tiết kiệm. Điều đã đo với Gemini: Gemini 3.8 Flash, qua API gốc của nó, trong bench hằng tuần trực tiếp ngày 1 tháng 10, 2026 — cả bốn bộ thử, không có lỗi nào của lớp và không có lời từ chối nào được lưu cache hay ghi có thành tiết kiệm. Bench đó kiểm tra rằng lớp không làm hỏng gì và không tính phí quá mức; nó không đo khoản tiết kiệm. Cũng đã đo: Gemini 3.1 Pro, qua API gốc của nó, trong hai lượt một phần vào 1 – 2 tháng 10, 2026 (hạn mức hằng ngày của nhà cung cấp không đủ cho cả bốn bộ kiểm thử trong một ngày): cả bốn bộ kiểm thử, cũng không có lỗi nào của lớp và không có lời từ chối nào được lưu đệm hay tính là tiết kiệm.
Lỗi mà bài kiểm tra đã tìm ra
Bài kiểm tra không tồn tại để trông đẹp: nó tồn tại để tìm ra lỗi trước khi bạn tìm thấy. Nó đã tìm thấy những lỗi này, kèm phiên bản nơi chúng xuất hiện và phiên bản khắc phục chúng.
Cache ngữ nghĩa chưa hiệu chỉnh đã phục vụ đáp án của một câu hỏi khác 0.4.30 → 0.4.31
Khi cache ngữ nghĩa chưa được hiệu chỉnh, một biến thể với một con số khác (“three baskets” so với “two baskets”) có thể nhận được đáp án của câu hỏi gốc. Được đếm trên các biến thể GSM8K.
- Tìm thấy ở 0.4.30: 15 trên 111. gsm8k.json
- Đã khắc phục ở 0.4.31 (#383).
- Đã xác minh trực tiếp trên 0.4.31: 0 trên 198.
Lớp đã cắt bớt danh mục công cụ mà không có tín hiệu nào để làm vậy 0.4.30 → 0.4.31
Trong các cuộc trò chuyện nhiều lượt, nhánh B gửi ít công cụ hơn nhánh A mặc dù không có gì cho biết công cụ nào không cần thiết. Được đếm trên các cuộc trò chuyện nhiều lượt của BFCL.
- Tìm thấy ở 0.4.30: 20 trên 20. bfcl.json
- Đã khắc phục ở 0.4.31 (#382).
- Đã xác minh trực tiếp trên 0.4.31: 0 trên 83.
Một số lời từ chối được viết dưới dạng văn bản đã bị cache 0.4.31 → 0.4.32
Một lời từ chối mà mô hình viết dưới dạng văn bản (không có tín hiệu của API) có thể bị cache, lặp lại và được tính là tiết kiệm. Được đếm trong các prompt XSTest.
- Tìm thấy ở 0.4.31: 39 trên 2.824. xstest-0431-claude.jsonxstest-0431-gama-alta.jsonxstest-0431.json
- Đã khắc phục ở 0.4.32 (#393, #401).
- Được bench hằng tuần đo lại trực tiếp vào 1 thg 10, 2026 (mã nguồn main đã có bản sửa, commit 5bec174): 0 lời từ chối được lưu cache và 0 được ghi có, trên 2.393 prompt XSTest với 9 mô hình. banco-semanal-5bec174.json
Lời từ chối một phần bị lưu cache và được ghi có 0.4.32 → 0.4.33
Một phản hồi bắt đầu bằng việc làm theo rồi từ chối ở phần sau (“If you mean harming someone, I can't help…”), hoặc một lời xin lỗi kèm “tôi không có quyền truy cập…”, không được nhận ra là lời từ chối: lớp có thể lưu nó vào cache, lặp lại và ghi có như một khoản tiết kiệm. Được đếm trên các prompt XSTest của bench hằng tuần, với các mô hình của OpenAI và Claude.
- Bench trực tiếp hằng tuần phát hiện vào 29 thg 9, 2026 (mã nguồn main, commit 105fe13): 12 lời từ chối được phục vụ từ cache hoặc ghi vào cache và 14 được ghi có, trên 1.995 prompt XSTest với 8 mô hình. banco-semanal-105fe13.json
- Đã khắc phục ở 0.4.33 (#422).
- Được bench hằng tuần đo lại trực tiếp vào 1 thg 10, 2026 (mã nguồn main đã có bản sửa, commit 5bec174): 0 lời từ chối được lưu cache và 0 được ghi có, trên 2.393 prompt XSTest với 9 mô hình. banco-semanal-5bec174.json
Một bộ lọc nội dung của Gemini đã bị cache như một câu trả lời 0.4.31 → 0.4.32
Gemini đánh dấu bộ lọc của mình bằng một lý do dừng riêng, mà lớp không nhận ra đó là một lời từ chối, nên nó có thể bị cache và lặp lại. Được đếm trong các prompt XSTest.
- Tìm thấy ở 0.4.31: 6 trên 508. xstest-0431-gama-alta.json
- Đã khắc phục ở 0.4.32 (#402).
- Được bench hằng tuần đo lại trực tiếp vào 1 thg 10, 2026 (mã nguồn main có bản sửa, commit 5bec174) với google/gemini-3.8-flash: 0 lời từ chối được lưu cache hoặc ghi có, trên 448 prompt XSTest. Lần chạy đó không đo được google/gemini-3.1-pro-preview (hết hạn mức hoặc giới hạn tốc độ của nhà cung cấp, không phải lớp); ở đó vẫn chưa được xác minh. banco-semanal-5bec174.json
Gemini không đi qua lớp 0.4.31 → 0.4.32
Lớp đã gửi một trường riêng của API OpenAI đến mọi điểm cuối tương thích, và Gemini từ chối trường đó: mọi yêu cầu ở nhánh B đều thất bại. Được đếm trong các yêu cầu GSM8K.
- Tìm thấy ở 0.4.31: 504 trên 504. gsm8k-0431-gama-alta.json
- Đã khắc phục ở 0.4.32 (#402).
- Được bench hằng tuần đo lại trực tiếp vào 1 thg 10, 2026 (mã nguồn main có bản sửa, commit 5bec174) với google/gemini-3.8-flash: 0 lỗi chỉ có khi qua lớp, trên 68 mục GSM8K. Lần chạy đó không đo được google/gemini-3.1-pro-preview (hết hạn mức hoặc giới hạn tốc độ của nhà cung cấp, không phải lớp); ở đó vẫn chưa được xác minh. banco-semanal-5bec174.json
Với Gemini 3, lượt thứ hai có công cụ đã thất bại 0.4.31 → 0.4.32
Lớp không trả về chữ ký suy nghĩ (thought signature) mà Gemini 3 yêu cầu ở mỗi lệnh gọi công cụ, nên lượt tiếp theo bị từ chối. Được đếm trong các lượt tiếp nối nhiều lượt của BFCL.
- Tìm thấy ở 0.4.31: 50 trên 50. bfcl-0431-gama-alta.json
- Đã khắc phục ở 0.4.32 (#402).
- Chưa được đo lại trong một báo cáo đã công bố: bench hằng tuần ngày 1 thg 10, 2026 (mã nguồn main có bản sửa, commit 5bec174) đã đo google/gemini-3.8-flash trong bộ thử này, nhưng bản tóm tắt chỉ đếm các mục một lượt, không đếm các lượt tiếp nối nhiều lượt nơi lỗi này xảy ra. Chừng nào chưa có báo cáo nào đếm chúng, chúng tôi chưa coi là đã xác minh. Lần chạy đó không đo được google/gemini-3.1-pro-preview (hết hạn mức hoặc giới hạn tốc độ của nhà cung cấp, không phải lớp); ở đó vẫn chưa được xác minh. banco-semanal-5bec174.json
Với các yêu cầu song song, việc chỉnh mức suy nghĩ của Gemini đến tay client dưới dạng lỗi 0.4.35 → 0.4.36
Gemini Flash từ chối mức suy nghĩ MINIMAL; bộ chuyển đổi gốc thử lại một lần với LOW và ghi nhớ giá trị thay thế. Với hai yêu cầu cùng chạy qua một lớp, một yêu cầu so sánh lời từ chối với phần thân mà yêu cầu kia đã sửa, không nhận ra nó và chuyển lỗi cho client. Được đếm là lỗi chỉ có khi qua lớp, trong các prompt XSTest của bench hằng tuần với Gemini.
- Được bench hằng tuần trực tiếp phát hiện vào 30 thg 9, 2026 (mã nguồn main, commit ca621e2) với google/gemini-3.8-flash: 1 lỗi chỉ có khi qua lớp, trên 450 mục XSTest. banco-semanal-ca621e2.json
- Đã khắc phục ở 0.4.36 (#442).
- Được bench hằng tuần đo lại trực tiếp vào 1 thg 10, 2026 (mã nguồn main có bản sửa, commit 5bec174) với google/gemini-3.8-flash: 0 lỗi chỉ có khi qua lớp, trên 448 mục XSTest. Lần chạy đó không đo được google/gemini-3.1-pro-preview (hết hạn mức hoặc giới hạn tốc độ của nhà cung cấp, không phải lớp); ở đó vẫn chưa được xác minh. banco-semanal-5bec174.json
Cách tái lập
Mã nguồn của bài kiểm tra nằm trong kho mã mở, và phương pháp gói gọn trong năm bước. Với khóa nhà cung cấp của riêng bạn, bạn có thể chạy lại và so sánh từng con số với báo cáo của chúng tôi.
- Bộ dữ liệu. Tải từng bộ dữ liệu công khai tại commit trong bảng ở trên và kiểm tra sha256 của từng tệp trước khi dùng. Nếu không khớp, đó không phải cùng một bộ dữ liệu.
- Lớp. Cài
@bivelio/savings-layertừ npm ở phiên bản mà báo cáo ghi và kiểm tra sha256 củadist/index.js: mỗi báo cáo đều ghi giá trị của nó. - Hai nhánh cho mỗi prompt. A đi thẳng tới nhà cung cấp; B gửi cùng prompt, tới cùng mô hình và với cùng giới hạn đầu ra, qua lớp với cấu hình mặc định. Một phần prompt được lặp lại hoặc diễn đạt lại, như trong lưu lượng thực, và thứ tự A/B được bốc thăm.
- Mức sử dụng và giá niêm yết làm bằng chứng cho việc định giá. Cộng chi phí từng nhánh từ
usagedo nhà cung cấp báo cáo, theo giá niêm yết có phiên bản. Mức tiết kiệm là1 − chi phí B / chi phí A, kèm khoảng tin cậy; đây không phải đối chiếu hóa đơn. - Chất lượng, trong cùng lần chạy. Chấm điểm câu trả lời của hai nhánh theo cùng một cách (đáp án chính xác với GSM8K, lời gọi công cụ với BFCL, từ chối hay không với XSTest, một giám khảo với MT-Bench) và so sánh với báo cáo JSON của cùng bộ kiểm tra và phiên bản.
Các báo cáo
Mỗi lần chạy để lại một báo cáo JSON gồm thiết kế, giới hạn và từng lời gọi được đo: usage, chi phí mỗi nhánh và phân loại câu trả lời. Chúng được phục vụ từ chính trang web này.
Các báo cáo được phục vụ đúng như bài kiểm tra đã ghi, với một ngoại lệ: dữ liệu về môi trường của người đo (đường dẫn ổ đĩa, địa chỉ email) được loại bỏ. Với XSTest, không công bố văn bản của bất kỳ câu trả lời nào, chỉ có phân loại của nó.
Tự bạn hãy đo chúng tôi
Một phép đo độc lập có giá trị hơn phép đo của chúng tôi. Mã nguồn của bài kiểm tra nằm trong kho mã mở: nếu bạn muốn đo lại, hoặc đo lớp bằng công cụ của riêng bạn hay bằng lưu lượng của bạn, hãy viết cho chúng tôi và chúng tôi sẽ cung cấp những gì bạn cần.
Viết cho chúng tôi tại support@bivelio.com