Gói miễn phí API Mistral: Giới hạn và giải pháp trả trước

Những gì bạn có thể mong đợi từ gói miễn phí API Mistral

Hầu hết mọi người tìm kiếm gói miễn phí API Mistral đều muốn biết ba điều: họ nhận được bao nhiêu yêu cầu, các mô hình nào được bao gồm và điều gì xảy ra khi họ vượt quá giới hạn. Mistral quyết định cả ba điều này, và các con số có thể được điều chỉnh, vì vậy bất kỳ số liệu nào được sao chép vào bài viết như thế này sẽ nhanh chóng lỗi thời. Hãy truy cập trang tài liệu và thanh toán của họ và đọc trực tiếp các giới hạn hiện tại.

Điều bạn có thể dự đoán là đặc điểm của các gói miễn phí. Các khoản cho phép miễn phí trên toàn ngành thường có một số đặc điểm chung: giới hạn tốc độ thấp hơn các gói trả phí, giới hạn về token hoặc yêu cầu mỗi kỳ, các điều khoản về cách sử dụng prompt và không có cam kết về dung lượng trong giờ cao điểm. Tất cả những điều đó không phải là lời chỉ trích. Gói miễn phí là một công cụ tiếp thị và kiểm tra, và nó hoạt động tốt cho mục đích đó.

Nó trở thành vấn đề khi một nguyên mẫu lặng lẽ chuyển thành sản phẩm. Ngày mà ứng dụng của bạn có người dùng thực, bạn muốn các giới hạn dự đoán được, một số dư có thể xem được và câu trả lời cho câu hỏi "sẽ xảy ra gì nếu mô hình từ chối một yêu cầu hoàn toàn hợp pháp?" Phần còn lại của trang này bao gồm cách lập kế hoạch cho thời điểm đó.

Danh sách kiểm tra để đọc điều khoản của bất kỳ gói miễn phí nào

Trước khi xây dựng bất cứ thứ gì trên khoản cho phép miễn phí, hãy trả lời các câu hỏi này từ các trang của nhà cung cấp. Ghi lại các câu trả lời kèm ngày tháng, vì chúng sẽ thay đổi.

1. Giới hạn yêu cầu là bao nhiêu? Hãy tìm số yêu cầu mỗi phút, token mỗi phút và bất kỳ giới hạn hàng tháng nào, dưới dạng các số riêng biệt.
2. Các mô hình nào được bao gồm? Truy cập miễn phí đôi khi chỉ áp dụng cho một số mô hình nhất định.
3. Dữ liệu có thể được dùng để huấn luyện không? Việc sử dụng miễn phí trên một số dịch vụ có thể đi kèm với các điều khoản dữ liệu khác với việc sử dụng trả phí. Hãy đọc phần quyền riêng tư, không phải phần giá cả.
4. Có được phép sử dụng thương mại không? Một số gói miễn phí chỉ dành cho đánh giá.
5. Lộ trình nâng cấp là gì? Hãy tìm hiểu chi phí của tài khoản trả phí là bao nhiêu và liệu các giới hạn có tăng ngay lập tức hay không.
6. Các quy tắc về nội dung là gì? Nếu trường hợp sử dụng của bạn là truyện hư cấu, nhập vai hoặc các dạng viết dành cho người trưởng thành khác nhưng hợp pháp, hãy kiểm tra cách mô hình xử lý trước khi bạn đầu tư thời gian cho prompt.

Mục cuối cùng là lý do khiến nhiều người chuyển sang một dịch vụ khác. Một mô hình có cơ chế từ chối tích hợp có thể vượt qua mười prompt thử nghiệm đầu tiên của bạn và sau đó từ chối prompt thứ mười một, và một gói miễn phí cho bạn rất ít không gian để thử nghiệm xung quanh vấn đề đó.

Dùng thử tại đây, với các con số cụ thể

API này độc lập với Mistral và cung cấp một gói dùng thử nhỏ thay vì gói miễn phí vĩnh viễn. Người dùng mới đăng ký bằng Google hoặc bằng email và mật khẩu, sau đó nhấp một lần vào trang khóa API để nhận $0.50 tín dụng. Không có bước thẻ. Tín dụng có hiệu lực trong 7 ngày và giới hạn một lần cho mỗi người.

Khóa dùng thử chạy dưới các giới hạn thấp hơn so với khóa đã nạp tiền: 2 yêu cầu đồng thời và 60 yêu cầu mỗi phút. Điều đó là đủ để kiểm tra một tập lệnh, một ứng dụng chat kiểu SillyTavern hoặc một tác vụ batch nhỏ, nhưng không đủ cho một ứng dụng công khai.

$0.50 mua được gì

Giá cho token là $0.15 cho mỗi 1 triệu token đầu vào và $0.50 cho mỗi 1 triệu token đầu ra. Một số ngân sách cụ thể:

• Chỉ có đầu vào, không có đầu ra: $0.50 / $0.15 cho mỗi 1M là khoảng 3,33M token trong prompt.
• Chỉ đầu ra: $0.50 / $0.50 cho mỗi 1M là chính xác 1M token văn bản được tạo.
• Một yêu cầu nhỏ điển hình với 1.000 token đầu vào và 300 token đầu ra tốn 0,00015 + 0,00015 = $0,0003. Vì vậy, $0.50 chi trả khoảng 1.666 yêu cầu như vậy.
• Một yêu cầu tài liệu dài với 20.000 token đầu vào và 1.000 token đầu ra tốn 0,003 + 0,0005 = $0,0035, vì vậy khoảng 142 yêu cầu như vậy.

Trong thực tế, điều đó đủ để chạy vài trăm prompt thực tế từ trường hợp sử dụng của bạn, đây chính xác là những gì một bài đánh giá cần. Nếu câu trả lời không như ý, bạn chỉ mất 50 cent và không có thẻ nào được lưu trữ.

Chuyển từ gói dùng thử sang môi trường production

Khi dùng thử hoạt động, bước nâng cấp là một khoản nạp tiền trả trước với số nguyên bất kỳ từ $20 đến $500. Không có gói đăng ký và tín dụng không bao giờ hết hạn, vì vậy việc nạp tiền tối thiểu và để nó trong một tháng sẽ không tốn thêm chi phí. Các khoản lớn hơn thêm một khoản thưởng: +5% từ $50, +10% từ $100, +15% từ $200. Vì vậy, khoản nạp $200 sẽ cho bạn $230 tín dụng.

Khóa API được nạp tiền nâng giới hạn lên 8 yêu cầu đồng thời và 300 yêu cầu mỗi phút. Với kích thước yêu cầu nhỏ từ trên ($0.0003 mỗi yêu cầu), việc nạp $20 bao gồm khoảng 66.000 yêu cầu: 20 / 0.0003 là 66.666. Để xem bảng giá đầy đủ, hãy truy cập trang giá.

Thanh toán bằng tiền mã hóa (USDT trên TRC20, USDC trên Base).

Sự khác biệt bạn sẽ cảm nhận rõ nhất là tính dự đoán được. Thay vì tự hỏi liệu khoản cho phép miễn phí dùng chung có bị giới hạn tốc độ hôm nay hay không, bạn có một số dư bằng đô la, một tiêu đề trên mọi phản hồi hiển thị số dư đó và hai giới hạn được tài liệu hóa. Một yêu cầu bị lỗi hoặc bị từ chối sẽ không được tính phí, vì vậy một ngày xấu phía máy chủ sẽ không làm hao hụt tín dụng của bạn.

Mã: chạy dùng thử và theo dõi số dư

API tuân theo định dạng chat của OpenAI, vì vậy SDK hiện tại của bạn sẽ hoạt động với một URL cơ sở và khóa mới. Tập lệnh này gửi một yêu cầu, in câu trả lời và đọc số dư còn lại từ tiêu đề X-Balance-USD.

Copyfrom openai import OpenAI

client = OpenAI(
    base_url="https://api.mistralapi.com/v1",
    api_key="YOUR_API_KEY",
)

raw = client.chat.completions.with_raw_response.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Give me three names for a fantasy tavern."}],
    max_tokens=200,
)
resp = raw.parse()

print(resp.choices[0].message.content)
print("tokens in/out:", resp.usage.prompt_tokens, resp.usage.completion_tokens)
print("balance left: $", raw.headers.get("X-Balance-USD"))

Chạy nó vài lần và bạn sẽ thấy số dư thay đổi theo phần nhỏ của một xu. Đó là cách tốt nhất để xây dựng cảm nhận về chi phí thực sự của các prompt của bạn trước khi bạn quyết định nạp tiền. Nếu bạn muốn làm điều tương tự từ shell:

Copycurl -i https://api.mistralapi.com/v1/chat/completions   -H "Authorization: Bearer YOUR_API_KEY"   -H "Content-Type: application/json"   -d '{"model":"uncensored","messages":[{"role":"user","content":"Say hello."}],"max_tokens":20}'

Cờ -i in ra các tiêu đề phản hồi, bao gồm X-Request-Id, X-Balance-USD và hai tiêu đề X-RateLimit-Limit. Hãy giữ lại ID yêu cầu nếu bạn từng liên hệ với hỗ trợ.

Xử lý giới hạn tốc độ mà không làm mất yêu cầu

Các giới hạn tồn tại trên mọi gói, miễn phí hoặc trả phí, vì vậy hãy viết logic thử lại một lần. API này trả về HTTP 429 trong ba trường hợp. Mã lỗi rate_limited có nghĩa là bạn đã vượt quá số yêu cầu mỗi phút. Mã concurrency có nghĩa là quá nhiều yêu cầu đang được xử lý cùng lúc. Một phản hồi 429 với tiêu đề Retry-After: 5 có nghĩa là quá tải tạm thời. Trong cả ba trường hợp, phản ứng đúng là đợi và gửi lại yêu cầu.

Copyimport time
from openai import OpenAI, RateLimitError

client = OpenAI(base_url="https://api.mistralapi.com/v1", api_key="YOUR_API_KEY")

def ask(prompt, tries=5):
    for attempt in range(tries):
        try:
            r = client.chat.completions.create(
                model="uncensored",
                messages=[{"role": "user", "content": prompt}],
            )
            return r.choices[0].message.content
        except RateLimitError:
            time.sleep(5 * (attempt + 1))
    raise RuntimeError("still rate limited after retries")

Với khóa dùng thử, hãy giữ nhóm worker của bạn ở mức hai hoặc ít hơn. Một yêu cầu truyền phát giữ vị trí độ đồng thời của nó cho đến khi luồng kết thúc, vì vậy hai luồng dài có thể chặn một yêu cầu thứ ba ngay cả khi bạn ở xa mức 60 mỗi phút.

Một kế hoạch đánh giá thực tế cho gói dùng thử

Nửa đô la có giá trị lớn nếu bạn chi tiêu cho các bài kiểm tra phù hợp. Một kế hoạch hiệu quả:

1. Thu thập 100 đến 200 prompt thực tế. Sử dụng các tin nhắn người dùng thực, vé hỗ trợ hoặc lời mở đầu câu chuyện từ dự án của bạn, không phải các ví dụ tự tạo. Bao gồm những prompt khó xử mà một mô hình khác có thể từ chối.
2. Chạy chúng một lần với cài đặt cố định. Sử dụng nhiệt độ thấp để bạn đang đánh giá mô hình chứ không phải đang đoán mò.
3. Đọc mẫu bằng tay. Hai mươi phản hồi là đủ để nhận ra một mẫu. Ghi chú bất kỳ phản hồi nào bạn không muốn gửi đi.
4. Đo lường token. Tính trung bình các số đếm prompt và hoàn thành từ usage.
5. Dự toán hóa đơn hàng tháng. Nhân chi phí mỗi yêu cầu với khối lượng bạn dự kiến.

Để tham chiếu: 200 prompt với 800 token đầu vào và 400 token đầu ra sử dụng 160.000 token đầu vào (0,024 đô la) và 80.000 token đầu ra (0,04 đô la), do đó một lượt chạy đầy đủ tốn $0,064. Bạn có thể chạy bộ kiểm thử đó khoảng bảy lần trong gói dùng thử $0,50, và thời hạn 7 ngày hiếm khi là giới hạn. Thay đổi prompt hệ thống giữa các lượt chạy là cách tinh chỉnh rẻ nhất bạn từng làm.

Hãy dừng dùng thử sớm nếu câu trả lời chưa đủ tốt cho nhiệm vụ của bạn. Không có gì tự gia hạn, và bạn chưa nhập thẻ, nên không có gì để hủy.

Lựa chọn phù hợp với bạn

Hãy sử dụng gói miễn phí khi bạn đang kiểm tra xem một mô hình có đủ khả năng không, khi bạn đang viết hướng dẫn, hoặc khi khối lượng chỉ là một vài yêu cầu mỗi ngày. Hãy sử dụng khóa trả trước khi những người khác phụ thuộc vào kết quả đầu ra, khi bạn cần biết trước các giới hạn của mình, hoặc khi trường hợp sử dụng của bạn nằm ở vị trí mà một mô hình nghiêm ngặt hơn có thể từ chối. Hướng dẫn nhanh bao gồm việc chuyển đổi trong vài dòng nếu bạn đang đến từ một tích hợp Mistral hiện có.

Hãy nhớ một nguyên tắc bất kể bạn chọn gói nào: dịch vụ không tạo nội dung khiêu dâm liên quan đến người chưa thành niên, và không gói hoặc cài đặt nào thay đổi điều đó.

Hướng dẫn khác

• Bảng giá API Mistral AI so với API trả tiền theo token không kiểm duyệt
• API Mistral không kiểm duyệt: Trả theo token