Savings Layer là một phần của nền tảng BiVelio

Hóa đơn LLM của bạn, trong tầm kiểm soát. Được đo ở mỗi lời gọi.

Savings trả lời những gì ứng dụng của bạn lặp lại mà không gọi lại nhà cung cấp, và đo mỗi lệnh gọi bằng bộ đếm của họ.

Bảng điều khiển Savings với dữ liệu của băng thử công khai: khoản tiết kiệm đo được và phân bổ theo mô hình.
Bảng điều khiển với dữ liệu của băng thử công khai
OpenAIAnthropicGoogleĐo trực tiếp bằng bộ đếm của từng nhà cung cấp
Hai sản phẩm

Token của bạn đi đâu: vào ứng dụng hay vào agent lập trình của bạn?

Cả hai đều được cấp phép theo ghế và đều đếm bằng chính bộ đếm của nhà cung cấp. Chúng làm những việc khác nhau, nên mỗi sản phẩm đưa ra lời hứa riêng — và hôm nay chỉ một trong hai có con số tiết kiệm đã công bố.

SDK

Cho ứng dụng Node.js, viết bằng JavaScript hoặc TypeScript, gọi một API LLM bằng khóa của chính bạn và trả tiền cho từng token.

SDK bọc lời gọi ngay trong mã của bạn, chỉ gửi cho nhà cung cấp những gì phải trả và trả về một SavingsReport kèm mỗi phản hồi.

Con số chúng tôi công bố
OpenAIgpt-4o-mini
31,5%hóa đơn giảm (khoảng tin cậy 95%: từ 25,7% đến 36,7%) trên một luồng mà 30% số yêu cầu là lặp lại y hệt — GSM8K, SDK 0.4.31

Không phải dự báo: bạn tiết kiệm bao nhiêu tùy vào mức độ lặp lại của lưu lượng. Chỉ phần được bộ đếm của nhà cung cấp xác nhận mới được tính trong báo cáo tiết kiệm của bạn — kể cả các lượt gọi lặp lại được phục vụ mà không gọi nhà cung cấp, mỗi lượt được định giá bằng bộ đếm của lượt gọi giống hệt đã được thực hiện.

Cài đặt
pnpm add @bivelio/savings-layer
Hướng dẫn cài đặt đầy đủ

Gateway

Cho những ai dùng Claude Code, Codex CLI hoặc agent lập trình khác với khóa API.

Một lệnh đặt một bộ đo cục bộ trước terminal của bạn, không cần sửa mã. Gateway đếm từng lượt gọi mà nhà cung cấp có báo cáo mức sử dụng, bằng chính bộ đếm của nhà cung cấp — với các mô hình trong danh mục giá của chúng tôi — và cộng dồn chúng trong bảng điều khiển của bạn, theo ngày và theo mô hình.

Con số chúng tôi công bố
Anthropic
2,5%hóa đơn nhờ việc hạ bộ nhớ đệm của PRO, đã trừ các lần trượt bộ nhớ đệm mà nó gây ra (khoảng 95%: từ 1,5% đến 3,6%). Mô phỏng theo giá niêm yết trên 51 phiên Claude Code của một tổ chức duy nhất, chính chúng tôi.

Đây không phải là dự báo cho nhóm của bạn: đó là một tổ chức, một nhà cung cấp và giá niêm yết, và là khoản tiết kiệm nhỏ, thấy rõ ở nơi chi tiêu cho Anthropic cao. Với PRO, trên các mô hình Anthropic, gateway chuyển các lần ghi bộ nhớ đệm từ TTL một giờ sang TTL năm phút, chỉ ở những lượt mà một phần lớn prompt là mới — như lượt đầu tiên của một phiên hoặc sau khi nén ngữ cảnh — và giữ nguyên các lượt nối tiếp của một phiên đang chạy. Điều đó thay đổi giá, không bao giờ thay đổi những gì mô hình đọc, và chỉ phần được bộ đếm của nhà cung cấp xác nhận mới được tính trong báo cáo tiết kiệm của bạn.

Cài đặt
npm i -g @bivelio/savings-layer
export BIVELIO_SERVICE_KEY=bvk_…
bvsala claude
Hướng dẫn cài đặt đầy đủ
SDK — cho ứng dụng JavaScript và TypeScript dùng khóa API
Xây dựng cho lập trình viên

Bớt đau đầu vì hóa đơn. Không cần đổi nhà cung cấp.

Bốn sự thật về gói này. Không có điều nào là lời hứa.

dependencies: {}

Không phụ thuộc lúc chạy

Một bundle ESM duy nhất. Không có gì được cài cạnh mã của bạn mà không do chúng tôi viết; tokenizer chính xác là peer tùy chọn.

report.cost.basis

Một SavingsReport cho mỗi lời gọi

Bốn sổ cái không bao giờ được cộng gộp, chi phí kèm cơ sở (đo được hay ước tính) và dấu vết theo từng giai đoạn. Đúng thứ bảng điều khiển của bạn đọc.

app → provider api

Lưu lượng của bạn vẫn đi thẳng

SDK bọc lời gọi ngay trong tiến trình của bạn. Prompt của bạn không đi qua BiVelio: chúng tôi chỉ nhận số đếm và chi phí.

layer.generateStream(request)

Streaming, cùng một báo cáo

generateStream() trao cho bạn câu trả lời ngay khi nhà cung cấp viết ra và kết thúc bằng cùng SavingsReport như generate(), theo cùng quy tắc về cơ sở: bộ đếm cuối cùng của nhà cung cấp được đọc khi stream kết thúc, và một stream thiếu bộ đếm đó được báo cáo là không đo được và không bao giờ được tính là khoản tiết kiệm đã đo. Với hợp đồng đầu ra, câu trả lời đến đã được xác thực, trọn vẹn trong một lần.

Nói một cách dễ hiểu

SDK thực sự làm gì?

Bốn ý tưởng, bốn đoạn hoạt hình tám giây.

01

AI tính tiền theo từng chữ

Mỗi yêu cầu gửi đến AI được trả tiền theo phần văn bản đi vào và đi ra. Savings đứng giữa con đường đó: một yêu cầu nó đã thấy và đã xác minh sẽ được trả lời mà không cần gọi lại nhà cung cấp, và phần bạn không phải trả rơi vào chiếc lọ của bạn.

02

Bạn không trả hai lần cho cùng một thứ

AI đọc lại ở mỗi lượt mọi thứ bạn đã gửi — và nhà cung cấp tính phí lần nữa. Savings chuẩn bị từng yêu cầu để nhà cung cấp áp dụng giá ưu đãi cho phần lặp lại. Khoản giảm giá là của nhà cung cấp; phần của chúng tôi là yêu cầu nó đúng cách.

03

Một biên lai bạn có thể kiểm chứng

Chúng tôi không xin niềm tin. Mỗi khoản tiết kiệm được đo bằng bộ đếm chính thức của nhà cung cấp — chính bộ đếm dùng để tính tiền bạn — và hiện trên biên lai của bạn. Điều gì không đối chiếu được với hóa đơn thì không bao giờ được công bố.

04

Đo miễn phí, sau đó trả theo ghế

Bắt đầu với giấy phép Đo lường miễn phí: lớp chạy ở chế độ bóng và cho thấy nó sẽ tiết kiệm bao nhiêu trên lưu lượng của chính bạn. Để bật các đòn bẩy, bạn trả một khoản phí cố định theo ghế, hoặc gói Nhóm, dù bạn có tiết kiệm hay không — và không có hoa hồng trên khoản tiết kiệm.

Các đoạn hoạt hình minh họa ý tưởng. Những con số thật — đo với nhà cung cấp thật — nằm ngay bên dưới.

Không hứa hẹn: đo lường

Làm sao chúng tôi biết nó tiết kiệm? Chúng tôi đo — và chúng tôi công bố từng lượt thử một.

Mỗi kịch bản chạy hai lần với nhà cung cấp thật: nguyên trạng, và có Savings đứng trước. Cả hai kết quả được đếm bằng chính bộ đếm của nhà cung cấp — bộ đếm định giá hóa đơn của bạn. Đây là kết quả, kèm biên độ sai số:

Đo với nhà cung cấp thật
OpenAIgpt-4o-mini
31,5%hóa đơn giảm (khoảng tin cậy 95%: từ 25,7% đến 36,7%) trên một luồng mà 30% số yêu cầu là lặp lại y hệt — GSM8K, SDK 0.4.31
Anthropicclaude-sonnet-5
75,1%cùng luồng (khoảng tin cậy 95%: từ 69,3% đến 79,6%). Khoảng 41% hóa đơn ban đầu là chiết khấu bộ nhớ đệm tiền tố của chính Anthropic — của nhà cung cấp, không phải của chúng tôi, và được hiển thị riêng

Mỗi đòn bẩy rơi vào sổ riêng của nó, và các sổ không bao giờ được cộng lại. Trong bộ thử này, khoản tiết kiệm đến từ các yêu cầu lặp lại mà SDK phục vụ không cần gọi nhà cung cấp và, với Claude, từ bộ nhớ đệm tiền tố của chính nhà cung cấp. Gói npm không kèm bộ nén.

Tương thích với
OpenAIAnthropicGeminiMistralLlamaDeepSeekPerplexityHugging FaceNVIDIA NIMAzure OpenAIBedrockOllamavLLM

Tương thích không có nghĩa là đã đo. SDK hoạt động với mọi endpoint tương thích với API của OpenAI, cùng bộ chuyển đổi gốc cho Anthropic và bộ chuyển đổi gốc cho Gemini (mới trong 0.4.33). Có con số tiết kiệm trên băng thử công khai hiện chỉ có các mô hình của OpenAI và Anthropic; Gemini không có con số tiết kiệm. Điều đã đo với Gemini: Gemini 3.8 Flash, qua API gốc của nó, trong bench hằng tuần trực tiếp ngày 1 tháng 10, 2026 — cả bốn bộ thử, không có lỗi nào của lớp và không có lời từ chối nào được lưu cache hay ghi có thành tiết kiệm. Bench đó kiểm tra rằng lớp không làm hỏng gì và không tính phí quá mức; nó không đo khoản tiết kiệm. Cũng đã đo: Gemini 3.1 Pro, qua API gốc của nó, trong hai lượt một phần vào 1 – 2 tháng 10, 2026 (hạn mức hằng ngày của nhà cung cấp không đủ cho cả bốn bộ kiểm thử trong một ngày): cả bốn bộ kiểm thử, cũng không có lỗi nào của lớp và không có lời từ chối nào được lưu đệm hay tính là tiết kiệm.

Bài kiểm tra là một thí nghiệm công bằng: cùng một nhiệm vụ chạy hai lần — không có Savings và có Savings — và cùng một bộ đếm của nhà cung cấp đo cả hai.

Diễn giải, không thuật ngữ

Trên một luồng mà 30% số yêu cầu lặp lại y hệt, hóa đơn giảm 31,5% — trong khoảng 25,7% đến 36,7% với độ tin cậy 95%. Bạn tiết kiệm bao nhiêu tùy vào mức độ lặp lại của lưu lượng của bạn.

Một tỷ lệ phần trăm không có ý nghĩa gì nếu thiếu khoảng tin cậy, mô hình và lưu lượng của nó: chúng tôi công bố cả ba.

Hạch toán trung thực

Mỗi loại tiết kiệm được đếm riêng — để không con số nào bị thổi phồng.

Mỗi SavingsReport chia khoản tiết kiệm vào bốn sổ — lệnh gọi tránh được, văn bản đã loại bỏ, văn bản đã nén và chiết khấu bộ nhớ đệm của chính nhà cung cấp — và không bao giờ cộng chúng thành một con số tiếp thị.

Trên băng thử công khai (2026-09-28), khoản SDK đã cài tiết kiệm được đến từ sổ thứ nhất — các yêu cầu lặp lại được phục vụ mà không gọi nhà cung cấp — và, với Claude, từ sổ thứ tư, là chiết khấu của chính nhà cung cấp. Gói npm không kèm bộ nén. Một sổ chưa có con số công bố thì được mô tả ở đây, không được quảng cáo.

01

avoided_calls

Các lệnh gọi LLM, truy xuất và công cụ chưa từng được thực thi.

02

eliminated_tokens

Thông tin bị loại bỏ vì đơn giản là không cần thiết.

03

compressed_tokens

Thông tin được giữ lại, nhưng mã hóa bằng ít token hơn.

04

provider_cached_tokens

Vẫn nằm trong prompt, nhưng được tính phí hoặc xử lý rẻ hơn.

SDK · một đòn bẩy, trên dữ liệu của bạn, trước khi trả tiền

Dán dữ liệu của bạn. Xem SDK sẽ gửi bao nhiêu token.

Tại đây, bộ chọn định dạng thật của SDK chạy trong trình duyệt của bạn, trên dữ liệu của bạn. Không có gì rời khỏi trang này và bạn không cần tài khoản.

Thử một ví dụ

…hoặc dán JSON của bạn vào đây. Không có gì rời khỏi trình duyệt của bạn.

Đang tải trình tối ưu và tokenizer chính xác…

Đây là gì và không phải là gì: một đòn bẩy — cách dữ liệu có cấu trúc được viết vào prompt — trên token đầu vào của dữ liệu này. Nó chỉ áp dụng cho dữ liệu bạn truyền vào SDK dưới dạng structuredData, không áp dụng cho JSON đã viết sẵn trong tin nhắn của bạn. Đây không phải hóa đơn của bạn: các lời gọi được tránh, bộ nhớ đệm của nhà cung cấp và đầu ra không có ở đây, và nhiều lượt gọi hoàn toàn không mang dữ liệu có cấu trúc. Với toàn bộ SDK, con số chúng tôi công bố là con số trong phần đo lường, kèm ghi chú của nó.

Năm dòng để bắt đầu

Chạy nó trong ứng dụng của riêng bạn. Prompt của bạn không bao giờ chạm tới máy chủ của chúng tôi.

Đặt SDK trước nhà cung cấp của bạn. Mỗi phản hồi đều mang theo một SavingsReport đầy đủ mà bạn có thể vẽ biểu đồ — cùng những con số mà bảng điều khiển đọc.

# 1 · gói
pnpm add @bivelio/savings-layer

# 2 · giấy phép (từ bảng điều khiển của bạn)
export BIVELIO_LICENSE_KEY=…

# 3 · bọc lệnh gọi — đây là toàn bộ thay đổi mã
const layer = createSavingsLayer({ provider, licenseKey, … });
const { text, report } = await layer.generate({ model, messages });

console.log(report.cost.netSavingsRatio)  // ← khoản tiết kiệm, đã đo

Hoặc để một lệnh tự điều chỉnh cho stack của bạn. init đọc package.json của bạn (Next.js, Express, Vercel AI SDK, Mastra, LangChain.js, SDK của Anthropic hoặc của OpenAI) và in ra dòng cài đặt, mã chính xác cho adapter của bạn và một bước kiểm tra không tốn token: khi giấy phép của bạn đã sẵn sàng, lớp tự trả lời ngay trên máy của bạn mà không gọi mô hình. Lệnh này không ghi gì nếu bạn không yêu cầu.

npx @bivelio/savings-layer@latest init
Salesforce HubSpot Odoo Zapier n8n UiPath

Nơi các tự động hóa của bạn đã sống. Thứ được đo là lời gọi tới API của nhà cung cấp bằng khóa của bạn: trong một ứng dụng Node.js, SDK bọc lời gọi đó; từ mã khác dùng SDK chính thức của OpenAI hoặc Anthropic, gateway đứng chắn phía trước và ghi nhận nó với mô hình có giá niêm yết.

Gateway — cho agent lập trình dùng khóa API
Gateway · terminal lập trình

Dùng Claude Code với khóa API? Xem chi tiêu thật, từng token một.

Một lệnh duy nhất đặt một bộ đo cục bộ trước terminal của bạn, không cần sửa mã: bạn xuất khóa dịch vụ và khởi chạy agent qua bvsala. Prompt của bạn không bao giờ rời khỏi máy — bảng điều khiển của bạn chỉ nhận số đếm và chi phí.

npm i -g @bivelio/savings-layer
export BIVELIO_SERVICE_KEY=bvk_…

bvsala claude

Gateway đo, bằng chính bộ đếm của nhà cung cấp, mọi yêu cầu mà nhà cung cấp của bạn có báo cáo mức sử dụng (với các mô hình trong danh mục giá của chúng tôi) và, giống như SDK, chỉ chạy khi có giấy phép đang hoạt động: nó lấy giấy phép bằng khóa dịch vụ của bạn và xác minh chữ ký ngay trên máy của bạn. Với giấy phép PRO, trên các mô hình Anthropic, nó còn áp dụng mặc định một đòn bẩy: chuyển các lần ghi bộ nhớ đệm từ TTL một giờ sang TTL năm phút, chỉ ở những lượt mà một phần lớn prompt là mới — như lượt đầu tiên của một phiên hoặc sau khi nén ngữ cảnh — và giữ nguyên các lượt nối tiếp. Điều này thay đổi giá, không bao giờ thay đổi nội dung mà mô hình đọc. Các đòn bẩy khác vẫn tắt cho đến khi bạn bật chúng. Skill savings-mode đã sẵn sàng cho các giới hạn của bạn, hiệu quả còn chờ đo. Gateway cũng hoạt động với Codex CLI, Goose, Qwen Code, opencode, Kilo, Aider và, với khóa Anthropic của riêng bạn, GitHub Copilot CLI; với các công cụ khác như Cline hoặc Continue, bvsala doctor in ra cấu hình chính xác. Cursor không thể đo được, còn Gemini CLI thì chưa. Xem cách hoạt động →

Python hay bất kỳ ngôn ngữ nào khác? Trỏ SDK chính thức của OpenAI hoặc Anthropic tới gateway và mọi yêu cầu mà nhà cung cấp báo cáo mức sử dụng, với mô hình có giá niêm yết, đều được ghi vào bảng điều khiển này theo giá đó; log của gateway sẽ báo khi có yêu cầu không được đo. bvsala doctor in ra base URL cho từng SDK. Với streaming của OpenAI, hãy yêu cầu mức sử dụng ngay trong yêu cầu (stream_options.include_usage).

Skill — cho agent lập trình dùng gói thuê bao
savings-mode · skill miễn phí

Skill kéo giãn giới hạn gói thuê bao của bạn

Không có hóa đơn không có nghĩa là không đau: cửa sổ năm giờ và giới hạn tuần. savings-mode là một skill thuần chỉ dẫn — không proxy, lưu lượng của bạn nguyên vẹn — cắt hai khối thực sự đốt giới hạn: đầu ra của mô hình và kết quả công cụ. Nó miễn phí; điều bạn trả cho Savings là biết nó tiết kiệm cho bạn bao nhiêu.

01

đọc bộ đệm

Toàn bộ ngữ cảnh được đọc lại mỗi lượt — vì thế giữ nó gọn rất quan trọng.

02

ghi bộ đệm (một giờ)

Mỗi kết quả công cụ được ghi vào bộ đệm với phụ phí trước khi được đọc lại.

03

đầu ra của mô hình

Một phần nhỏ số token, với giá mỗi token cao nhất; skill tấn công trực tiếp vào đó.

Chi phí của một phiên Claude Code đi về đâu, theo thứ tự: đọc bộ nhớ đệm, ghi bộ nhớ đệm một giờ và đầu ra của mô hình — đo bằng đồng hồ của chúng tôi trên lưu lượng của chính chúng tôi, đối chiếu với bộ đếm của nhà cung cấp. Báo cáo đó chưa được công bố, nên chúng tôi không hiển thị các con số của nó. Hiệu quả của chính skill sẽ được công bố khi đã đo bằng A/B — không bao giờ trước đó.

npx -y @bivelio/savings-layer skill

Một lệnh duy nhất: cài vào ~/.claude/skills và tự kích hoạt khi cuộc trò chuyện nói về giới hạn hoặc tiết kiệm token.

Book 15-min callChúng tôi sẽ cho bạn biết bạn tiết kiệm được bao nhiêu với lưu lượng của mình, không cần cài gì.
Các gói

Đo miễn phí. Trả theo ghế khi bạn muốn khoản tiết kiệm.

Bắt đầu với Đo lường: miễn phí và không cần thẻ. Lớp chạy ở chế độ bóng trên lưu lượng của chính bạn và bảng điều khiển cho thấy nó sẽ tiết kiệm bao nhiêu, được định giá bằng bộ đếm của nhà cung cấp. Pro và Nhóm được tính theo ghế, bằng EUR, dù bạn có tiết kiệm hay không, và không có hoa hồng trên khoản tiết kiệm.

Đo lường

Miễn phí

Không cần thẻ. Lớp ở chế độ bóng cho một tổ chức, tối đa 5 ghế và 20.000 yêu cầu mỗi ngày: không có gì bạn gửi bị thay đổi, không có gì được phục vụ từ bộ nhớ đệm, không bao giờ là một phần của bất kỳ khoản hoa hồng nào — và bạn thấy nó sẽ tiết kiệm bao nhiêu. Cần @bivelio/savings-layer 0.4.33 trở lên.

Bắt đầu miễn phí →

Pro

15 € / ghế / tháng

Hoặc 150 € / ghế / năm. Mọi tối ưu hóa, biên lai cho từng yêu cầu và bảng điều khiển. Không hoa hồng.

Chọn Pro →

Nhóm

129 € / tháng

Bao gồm 10 ghế; mỗi ghế thêm 12 € / tháng. Hoặc 1.290 € / năm. Không hoa hồng.

Chọn Nhóm →

Enterprise

Tùy chỉnh

Nhiều ghế hơn mức thanh toán trực tuyến cho phép, hợp đồng riêng hoặc điều kiện hóa đơn thỏa thuận: viết cho chúng tôi.

  • Mọi tối ưu hóa của BV‑SALA, không giới hạn
  • Biên lai cho mỗi yêu cầu: SavingsReport với bốn sổ cái, đo được và ước tính tách riêng
  • Bảng điều khiển tiết kiệm & phân tích cho nhóm
  • Prompt của bạn không bao giờ rời khỏi hạ tầng của bạn

Một ghế là một máy hoặc danh tính dịch vụ, không phải một người. Bạn trả tiền cho số ghế mà gói đăng ký bao gồm; bảng điều khiển cho biết có bao nhiêu ghế được dùng trong tháng này (hoạt động ít nhất 3 ngày; CI và các trình chạy tạm thời không được tính).

Chưa bao gồm VAT. Nếu công ty của quý vị có mã số VAT của EU, cơ chế reverse charge sẽ được áp dụng.

Bạn đã dùng mô hình trước đây, có hoa hồng trên khoản tiết kiệm đo được? Bạn giữ nguyên nó; điều khoản nằm trong điều khoản giá.

Công ty và hệ sinh thái

BiVelio là thành viên của NVIDIA Inception Program.

Chương trình của NVIDIA dành cho các startup xây dựng bằng AI.

Tìm hiểu chương trình
NVIDIA Inception Program