Giá API Mistral AI so với API trả tiền theo token không kiểm duyệt

Câu trả lời ngắn gọn

Nếu bạn đang tìm kiếm giá API Mistral AI, câu trả lời trung thực là không có một con số duy nhất. Mistral định giá từng mô hình riêng biệt, thường với một tỷ lệ cho token đầu vào và tỷ lệ cao hơn cho token đầu ra, và danh sách thay đổi khi các mô hình được thêm vào hoặc ngừng hoạt động. Hãy truy cập trang giá của họ, chọn mô hình bạn thực sự định gọi và ghi lại cả hai tỷ lệ cho mỗi 1 triệu token.

API trên trang web này có một mô hình và một giá: $0.15 cho mỗi 1M token đầu vào và $0.50 cho mỗi 1M token đầu ra. Bạn nạp tiền tín dụng trả trước, tiêu hết và không có gì gia hạn. Phần còn lại của bài viết này cung cấp cho bạn công thức, một bộ ví dụ tính toán với hai mức giá đó và một script ngắn đo lường lưu lượng của bạn, để bạn có thể đặt các số liệu của nhà cung cấp khác cạnh số liệu của chúng tôi và thấy sự khác biệt về tiền.

Một điều cần làm rõ ngay từ đầu: đây không phải là API chính thức của Mistral. Đây là một dịch vụ độc lập chạy một mô hình trọng số mở, được tinh chỉnh để trả lời mà không từ chối nội dung cho mục đích sử dụng người trưởng thành hợp pháp. Nếu bạn cần một mô hình chính thức cụ thể của Mistral theo tên, đây không phải là sản phẩm phù hợp và phần so sánh bên dưới sẽ không thay đổi điều đó.

Cách xây dựng hóa đơn theo token

API mô hình ngôn ngữ đếm văn bản bằng token, là các mảnh từ. Một từ tiếng Anh ngắn thường là một token và một từ dài hoặc lạ là nhiều token. Bạn trả tiền cho hai luồng: các token bạn gửi (prompt, bao gồm tin nhắn hệ thống và lịch sử trò chuyện) và các token mô hình viết lại (completion). Token đầu ra đắt hơn vì tạo ra chúng tốn nhiều tài nguyên tính toán hơn là đọc prompt.

Công thức giống nhau ở mọi nơi:

cost = input_tokens / 1,000,000 x input_rate + output_tokens / 1,000,000 x output_rate

Hai thói quen giúp ước lượng chính xác hơn. Thứ nhất, đếm toàn bộ prompt trên mỗi yêu cầu. Một ứng dụng trò chuyện gửi lại toàn bộ lịch sử mỗi lượt, vì vậy tin nhắn thứ mười trong một cuộc hội thoại mang theo chín tin nhắn trước đó làm đầu vào. Thứ hai, nhớ rằng cửa sổ ngữ cảnh được chia sẻ: ở đây là 100.000 token cho prompt cộng với completion cùng nhau, và một completion có thể sử dụng bất kỳ không gian còn lại nào mà prompt để lại.

Ví dụ tính toán ở mức $0,15 và $0,50

Bảng dưới đây sử dụng tỷ lệ của API này. Mỗi hàng hiển thị phép tính, để bạn có thể thay thế bằng tỷ lệ của nhà cung cấp khác và tính lại.

Khối công việc	Token vào / ra	Phép tính	Chi phí
Một lượt chat	2,000 / 500	0.0003 + 0.00025	$0.00055
10.000 lượt trò chuyện	20M / 5M	3.00 + 2.50	$5.50
Tóm tắt một tài liệu dài	50,000 / 1,000	0.0075 + 0.0005	$0.008
Điền đầy cửa sổ ngữ cảnh một lần	98,000 / 2,000	0.0147 + 0.001	$0.0157
Ứng dụng nhỏ, một tháng	5M / 2M	0.75 + 1.00	$1.75
Ứng dụng tải cao, một tháng	200M / 50M	30.00 + 25.00	$55.00

Hãy xem hàng thứ ba. Đọc một tài liệu 50.000 token tốn ít hơn một xu, vì đầu vào là phần rẻ hơn. Phần đắt tiền là các câu trả lời dài. Một khối lượng công việc tạo ra nhiều văn bản, chẳng hạn như tiểu thuyết, nhập vai hoặc soạn thảo hàng loạt, bị chi phối bởi tỷ lệ $0,50, vì vậy hãy ước lượng cẩn thận khối lượng đầu ra của bạn và xem xét vượt ra ngoài số lượng prompt.

Biến ngân sách thành các yêu cầu

Số tiền nạp tiền tối thiểu là $20. Với kích thước lượt trò chuyện ở trên ($0.00055 mỗi lượt) thì đó là khoảng 36.000 lượt. Các khoản nạp tiền lớn hơn có thêm bonus: +5% từ $50, +10% từ $100 và +15% từ $200. Vậy $50 mua được $52.50 tín dụng, $100 mua được $110, và $200 mua được $230. Các khoản nạp tiền là bất kỳ số nguyên nào từ $20 đến $500.

Những điều cần so sánh ngoài tỷ lệ chính

Hai API có cùng tỷ lệ theo token vẫn có thể có chi phí rất khác nhau. Đây là những mục đáng kiểm tra trên bất kỳ trang giá nào, bao gồm cả trang của chúng tôi.

• Mô hình bạn đang trả tiền. Giá thấp hơn trên một mô hình nhỏ hơn không phải là tiết kiệm nếu bạn cần chạy lại các câu trả lời. Hãy thử các prompt của bạn trên mỗi mô hình ứng viên.
• Việc từ chối và thử lại. Nếu một mô hình từ chối một yêu cầu hợp pháp và bạn phải viết lại và gửi lại, bạn sẽ trả tiền cho các nỗ lực bổ sung trên hầu hết các dịch vụ. Ở đây, các yêu cầu bị lỗi hoặc bị từ chối không được tính phí.
• Mô hình tính phí. Tín dụng trả trước không có đăng ký nghĩa là một tháng không hoạt động không tốn gì. Tín dụng ở đây không bao giờ hết hạn.
• Gói miễn phí. Các gói miễn phí được dùng để thử nghiệm và thường đi kèm với giới hạn tốc độ chặt chẽ. Xem cách lấy khóa API để biết tín dụng dùng thử có sẵn ở đây, và kiểm tra những gì Mistral hiện đang cung cấp ở phía họ.
• Giới hạn tốc độ. Giá thấp cũng vô ích nếu bạn chạm trần ngay khi bắt đầu. Khóa đầy đủ ở đây cho phép 8 yêu cầu đồng thời và 300 yêu cầu mỗi phút; khóa dùng thử cho phép 2 và 60.
• Mức chi tiêu tối thiểu. Các dịch vụ trả trước có mức tối thiểu. Mức của chúng tôi là $20.

Khi API của chính Mistral là lựa chọn tốt hơn

Đôi khi câu trả lời đúng là ở lại với nhà cung cấp. Chọn Mistral trực tiếp nếu bạn cần một trong các mô hình có tên của họ vì lý do chính sách hoặc khả năng tái lập, nếu bạn cần các tính năng mà dịch vụ này không cung cấp như embedding, đầu vào hình ảnh hoặc tinh chỉnh, hoặc nếu công ty của bạn yêu cầu hợp đồng và điều khoản hỗ trợ với nhà sản xuất mô hình. API này chỉ dành cho văn bản: hoàn tất hội thoại và danh sách mô hình, không có gì khác.

Hãy chọn một endpoint độc lập như thế này khi các yếu tố quyết định khác biệt: bạn muốn có câu trả lời mà không bị từ chối nội dung cho mục đích sử dụng người trưởng thành hợp pháp, bạn thích thanh toán theo token từ số dư trả trước, hoặc bạn đã có mã viết dựa trên SDK của OpenAI và muốn thay đổi hai cài đặt thay vì viết lại client. Trang về API Mistral-style uncensored giải thích chi tiết hơn về phía mô hình.

Cũng có một giới hạn cứng đáng được nêu rõ: dịch vụ không tạo ra nội dung tình dục liên quan đến người chưa thành niên, dưới bất kỳ hình thức nào, và không có gói giá nào thay đổi điều đó.

Đo lường lưu lượng của chính bạn trước khi quyết định

Ước lượng từ bảng chỉ đi được một đoạn. Phương pháp tốt hơn là gửi một ngày prompt thực và đọc các đếm token mà API báo cáo. Mọi phản hồi không streaming đều bao gồm một đối tượng usage, và các phản hồi streaming báo cáo usage ở cuối. Script bên dưới cộng dồn một lô và in hóa đơn theo các mức giá của API này. Để so sánh, hãy thay đổi hai hằng số tốc độ thành bất kỳ giá trị nào mà nhà cung cấp khác hiện đang liệt kê.

Copyfrom openai import OpenAI

client = OpenAI(
    base_url="https://api.mistralapi.com/v1",
    api_key="YOUR_API_KEY",
)

IN_RATE = 0.15   # dollars per 1M input tokens
OUT_RATE = 0.50  # dollars per 1M output tokens

prompts = [
    "Summarize the plot of Hamlet in five sentences.",
    "Write a product description for a steel water bottle.",
    "Explain what a mutex is to a new developer.",
]

tin = tout = 0
for p in prompts:
    r = client.chat.completions.create(
        model="uncensored",
        messages=[{"role": "user", "content": p}],
    )
    tin += r.usage.prompt_tokens
    tout += r.usage.completion_tokens

cost = tin / 1e6 * IN_RATE + tout / 1e6 * OUT_RATE
print(f"in={tin} out={tout} cost=${cost:.6f}")
print("per 1,000 requests: $%.4f" % (cost / len(prompts) * 1000))

Chạy nó với vài trăm prompt từ nhật ký thực của bạn, không phải ba cái mẫu. Sau đó nhân với số lượng yêu cầu hàng tháng của bạn. Tiêu đề phản hồi X-Balance-USD cũng hiển thị tín dụng còn lại của bạn sau mỗi yêu cầu, đây là một cách kiểm tra chéo hữu ích đối với các số bạn đã tính. Chi tiết yêu cầu đầy đủ có trong quickstart, và bảng giá hiện tại có trên trang định giá.

Ba mức ngân sách, ba loại người dùng

Các mức giá trừu tượng khó cảm nhận, vì vậy đây là ba hồ sơ thực tế, mỗi hồ sơ được tính toán ở $0.15 và $0.50 cho mỗi 1M token.

Người dùng nghiệp dư

Một người trò chuyện trong nửa giờ mỗi ngày, khoảng 30 lượt với 3.000 token đầu vào và 300 token đầu ra mỗi lượt. Một lượt tốn 0.00045 + 0.00015 = $0.0006. Ba mươi lượt mỗi ngày trong 30 ngày là 900 lượt, vậy $0.54 cho tháng. Khoản nạp tiền nhỏ nhất là $20 sẽ kéo dài nhiều năm ở tốc độ đó, và vì tín dụng không bao giờ hết hạn, đó không phải là vấn đề.

Bot hỗ trợ

Một cửa hàng nhỏ trả lời 1.500 phiếu mỗi ngày, mỗi phiếu với 1.200 token đầu vào (văn bản chính sách cộng với tin nhắn của khách hàng) và 250 token đầu ra. Một phiếu tốn 0.00018 + 0.000125 = $0.000305. Một ngày là $0.4575, và một tháng 30 ngày là khoảng $13.73. Ở đây prompt hệ thống là chi phí đầu vào lớn nhất, vì vậy việc rút ngắn nó sẽ mang lại lợi ích trực tiếp.

Bộ xử lý lô

Một pipeline gắn nhãn 100.000 tài liệu, mỗi tài liệu 2.000 token đầu vào và 200 token đầu ra. Đầu vào là 200M token, tức là $30.00. Đầu ra là 20M token, tức là $10.00. Toàn bộ công việc là $40.00, và bạn có thể thấy hóa đơn trước khi chạy nó bằng cách nhân một mẫu.

Các hồ sơ này cho thấy tại sao bảng giá đơn lẻ là chưa đủ. Người dùng cá nhân quan tâm đến khoản nạp tiền tối thiểu, bot hỗ trợ về độ dài prompt, và công việc lô về tốc độ đầu ra và giới hạn đồng thời. Khóa đầy đủ cho phép 8 yêu cầu cùng lúc, vì vậy một lô 100.000 tài liệu là một câu hỏi về thông lượng cũng như giá cả.

Những sai lầm phổ biến khi so sánh giá

• Chỉ so sánh tốc độ đầu vào. Nhiều ứng dụng chi phần lớn tiền cho đầu ra. Luôn so sánh cả hai cột.
• Bỏ qua sự phát triển của lịch sử. Một cuộc trò chuyện có bộ nhớ dài gửi lại cùng các tin nhắn đầu tiên nhiều lần. Hãy cắt ngắn hoặc tóm tắt các lượt cũ nếu chi phí quan trọng.
• Quên prompt hệ thống. Một khối hướng dẫn 1.500 token được tính phí là đầu vào trong mọi yêu cầu.
• Sử dụng token từ một tokenizer để ước lượng tokenizer khác. Các mô hình khác nhau chia văn bản khác nhau. Hãy sử dụng số lượng token mà API trả về, không phải đếm từ nhân với một phỏng đoán.
• Nhầm lẫn giữa phí miễn phí với khả năng chịu tải. Gói miễn phí trả lời câu hỏi "chuyện này có hoạt động không?" Nó hiếm khi trả lời "chuyện này có chịu được lưu lượng thực sự không?"

Hướng dẫn khác

• Gói miễn phí API Mistral: Giới hạn và giải pháp trả trước
• API Mistral không kiểm duyệt: Trả theo token