Darmowy poziom API Mistral: Limity i alternatywa z przedpłaconym kredytem

Czego spodziewać się po darmowym poziomie API Mistral

Większość osób wyszukujących darmowy poziom API Mistral chce wiedzieć trzy rzeczy: ile otrzymują zapytań, które modele są włączone i co się dzieje, gdy ich potrzeby wykraczają poza darmowy limit. Mistral decyduje o wszystkich trzech, a liczby te są takie, że szybko ulegają zmianie, więc każda liczba skopiowana do artykułu takiego jak ten szybko straci na aktualności. Otwórz ich dokumentację i strony rozliczeń i przeczytaj bieżące limity bezpośrednio.

Możesz przewidzieć kształt. Darmowe przydziały w całej branży często dzielą kilka cech: niższe limity zapytań niż w planach płatnych, limit tokenów lub zapytań na okres, warunki dotyczące tego, jak mogą być używane prompty, i brak obietnicy pojemności w godzinach szczytu. Nic z tego nie jest krytyką. Darmowy poziom to narzędzie marketingowe i testowe i dobrze radzi sobie z tym zadaniem.

Staje się problemem, gdy prototyp cicho zamienia się w produkt. W dniu, gdy Twoja aplikacja ma prawdziwych użytkowników, chcesz przewidywalnych limitów, salda, które możesz zobaczyć, i odpowiedzi na pytanie „co się stanie, jeśli model odrzuci w pełni prawne zapytanie?”. Reszta tej strony pokrywa, jak zaplanować ten moment.

Checklista do czytania warunków dowolnego darmowego poziomu

Zanim zbudujesz cokolwiek na darmowym przydziale, odpowiedz na te pytania ze stron dostawcy. Zapisz odpowiedzi z datą, ponieważ się zmieniają.

1. Jaki jest limit zapytań? Szukaj liczby zapytań na minutę, tokenów na minutę oraz dowolnego miesięcznego limitu jako oddzielnych liczb.
2. Które modele są objęte? Dostęp darmowy czasem dotyczy tylko niektórych modeli.
3. Czy dane mogą być używane do trenowania? Darmowe użycie w niektórych usługach ma inne warunki dotyczące danych niż użycie płatne. Przeczytaj sekcję prywatności, a nie sekcję cenową.
4. Czy dozwolone jest użycie komercyjne? Niektóre darmowe plany są tylko do oceny.
5. Jaka jest ścieżka aktualizacji? Sprawdź, ile kosztuje konto płatne i czy limity rosną natychmiast.
6. Jakie są zasady dotyczące treści? Jeśli Twój przypadek użycia to fikcja, roleplay lub inny rodzaj twórczości dla dorosłych, który jest prawny, sprawdź, jak model sobie z tym radzi, zanim zainwestujesz czas w prompty.

Ostatni punkt jest powodem, dla którego wielu ludzi kończy na innej usłudze. Model z wbudowanymi odrzuceniami może przejść Twoje pierwsze dziesięć testowych promptów, a potem odrzuci jedenasty, a darmowy poziom daje Ci mało miejsca na eksperymentowanie wokół tego.

Próba tutaj, w liczbach

To API jest niezależne od Mistral i oferuje mały kredyt próbny zamiast stałego darmowego poziomu. Nowi użytkownicy logują się przez Google lub e-mail z hasłem, a następnie klikają raz na stronie klucza API, aby odebrać $0,50 kredytu. Nie ma kroku z kartą. Ważny przez 7 dni i limitowany do jednej osoby.

Klucz okresu próbnego działa pod niższymi limitami niż klucz z finansowaniem: 2 równoległe zapytania i 60 zapytań na minutę. To wystarczy do przetestowania skryptu, klienta czatu w stylu SillyTavern lub małego zadania wsadowego, ale nie wystarczy dla aplikacji publicznej.

Co kupuje $0,50

Ceny tokenów to $0,15 za 1M wejściowych i $0,50 za 1M wyjściowych. Niektóre konkretne budżety:

• Tylko dane wejściowe, bez wyjścia: $0,50 / $0,15 za 1M to około 3,33M tokenów promptu.
• Wszystko wyjście: $0,50 / $0,50 za 1M to dokładnie 1M tokenów tekstu wygenerowanego.
• Typowe małe zapytanie z 1000 tokenami wejściowymi i 300 wyjściowymi kosztuje 0,00015 + 0,00015 = $0,0003. Więc $0,50 pokrywa około 1666 takich zapytań.
• Długie zapytanie dokumentu z 20 000 tokenami wejściowymi i 1000 wyjściowymi kosztuje 0,003 + 0,0005 = $0,0035, więc około 142 takich zapytań.

W praktyce to wystarczy na uruchomienie kilku setek prawdziwych promptów z Twojego przypadku użycia, co jest dokładnie tym, czego wymaga ocena. Jeśli odpowiedzi nie są tym, czego chcesz, straciłeś 50 centów i żadna karta nie była nigdy w systemie.

Przejście od próby do produkcji

Kiedy okres próbny się kończy, następny krok to przedpłacone doładowanie dowolną kwotą całkowitą od $20 do $500. Nie ma subskrypcji, a kredyt nigdy nie wygasa, więc doładowanie minimum i pozostawienie go na miesiąc nie kosztuje nic dodatkowego. Większe kwoty dodają bonus: +5% od $50, +10% od $100, +15% od $200. Doładowanie $200 daje więc $230 kredytu.

Klucz z finansowaniem podnosi limity do 8 równoległych zapytań i 300 zapytań na minutę. Przy rozmiarze małego zapytania z powyżej ($0,0003 za każde), doładowanie $20 pokrywa około 66 000 zapytań: 20 / 0,0003 to 66 666. Pełną listę cen znajdziesz na stronie ceny.

Płatność kryptowalutami (USDT na TRC20, USDC na Base).

Różnicę, którą poczujesz najbardziej, to przewidywalność. Zamiast zastanawiać się, czy wspólny darmowy przydział jest limitowany dzisiaj, masz saldo w dolarach, nagłówek w każdej odpowiedzi, który je pokazuje, i dwa udokumentowane limity. Nieudane lub odrzucone zapytanie nie jest rozliczane, więc zły dzień po stronie serwera nie zjada Twojego kredytu.

Kod: uruchom próbę i obserwuj stan konta

API podąża za formatem czatu OpenAI, więc Twoje istniejące SDK działa z nowym adresem bazowym i kluczem. Ten skrypt wysyła jedno zapytanie, drukuje odpowiedź i odczytuje pozostałe saldo z nagłówka X-Balance-USD.

Copyfrom openai import OpenAI

client = OpenAI(
    base_url="https://api.mistralapi.com/v1",
    api_key="YOUR_API_KEY",
)

raw = client.chat.completions.with_raw_response.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Give me three names for a fantasy tavern."}],
    max_tokens=200,
)
resp = raw.parse()

print(resp.choices[0].message.content)
print("tokens in/out:", resp.usage.prompt_tokens, resp.usage.completion_tokens)
print("balance left: $", raw.headers.get("X-Balance-USD"))

Uruchom go kilka razy i zobaczysz, jak saldo zmienia się o ułamki centa. To najlepszy sposób, aby zbudować poczucie tego, ile naprawdę kosztują Twoje prompty, zanim zdecydujesz się na doładowanie. Jeśli chcesz tego samego z powłoki:

Copycurl -i https://api.mistralapi.com/v1/chat/completions   -H "Authorization: Bearer YOUR_API_KEY"   -H "Content-Type: application/json"   -d '{"model":"uncensored","messages":[{"role":"user","content":"Say hello."}],"max_tokens":20}'

Flaga -i drukuje nagłówki odpowiedzi, w tym X-Request-Id, X-Balance-USD i dwa nagłówki X-RateLimit-Limit. Zachowaj identyfikator zapytania, jeśli kiedykolwiek skontaktujesz się z wsparciem.

Obsługa limitów zapytań bez utraty zapytań

Limity istnieją w każdym planie, darmowym lub płatnym, więc napisz logikę ponownych prób raz. To API odpowiada kodem HTTP 429 w trzech sytuacjach. Kod błędu rate_limited oznacza, że przekroczyłeś liczbę zapytań na minutę. Kod concurrency oznacza, że zbyt wiele zapytań było w locie jednocześnie. 429 z nagłówkiem Retry-After: 5 oznacza tymczasowe przeciążenie. We wszystkich trzech przypadkach właściwą reakcją jest poczekanie i ponowne wysłanie zapytania.

Copyimport time
from openai import OpenAI, RateLimitError

client = OpenAI(base_url="https://api.mistralapi.com/v1", api_key="YOUR_API_KEY")

def ask(prompt, tries=5):
    for attempt in range(tries):
        try:
            r = client.chat.completions.create(
                model="uncensored",
                messages=[{"role": "user", "content": prompt}],
            )
            return r.choices[0].message.content
        except RateLimitError:
            time.sleep(5 * (attempt + 1))
    raise RuntimeError("still rate limited after retries")

Na kluczu okresu próbnego utrzymuj pulę workerów na poziomie dwóch lub mniej. Strumieniowane zapytanie zajmuje slot równoległości, dopóki strumieniowanie się nie zakończy, więc dwa długie strumienie mogą zablokować trzecie zapytanie, nawet jeśli jesteś daleko poniżej 60 na minutę.

Realistyczny plan oceny dla próby

Pół dolara idzie daleko, jeśli wydasz go na odpowiednie testy. Plan, który dobrze działa:

1. Zbierz 100 do 200 prawdziwych promptów. Użyj rzeczywistych wiadomości użytkowników, zgłoszeń wsparcia lub starterów historii z Twojego projektu, nie wymyślonych przykładów. Uwzględnij te niezręczne, które inny model mógłby odrzucić.
2. Uruchom je raz ze stałymi ustawieniami. Użyj niskiej temperatury, aby oceniać model, a nie kości.
3. Przeczytaj próbkę ręcznie. Wystarczy dwadzieście odpowiedzi, aby zauważyć wzorzec. Znotuj te, których nie chciałbyś wypuścić.
4. Zmierz tokeny. Uśrednij liczbę tokenów prompt i uzupełnienia z usage.
5. Przewidź miesięczny rachunek. Pomnóż koszt zapytania przez oczekiwany wolumen.

Dla skali: 200 promptów po 800 tokenów wejściowych i 400 wyjściowych zużywa 160 000 tokenów wejściowych (0,024 dolara) i 80 000 tokenów wyjściowych (0,04 dolara), więc jeden pełny przebieg kosztuje $0,064. Możesz uruchomić ten zestaw testowy około siedem razy w ramach kredytu $0,50, a ważność przez 7 dni rzadko jest limitem. Zmiana promptu systemowego między przebiegami to najtańsze dopasowywanie modelu, jakie możesz zrobić.

Zatrzymaj próbę wcześniej, jeśli odpowiedzi nie są wystarczająco dobre do Twojego zadania. Nic się nie odnawia, a karta nie została podana, więc nie ma nic do anulowania.

Która ścieżka Ci odpowiada

Użyj darmowego poziomu, gdy sprawdzasz, czy model jest wystarczająco zdolny, gdy piszesz samouczek lub gdy objętość to garść zapytań dziennie. Użyj klucza z przedpłatą, gdy inni zależą od wyniku, gdy musisz znać swoje limity z góry lub gdy Twój przypadek użycia znajduje się tam, gdzie ściślejszy model mógłby odmówić. Szybki start obejmuje przełączenie w kilku liniach, jeśli przechodzisz z istniejącej integracji Mistral.

Zapamiętaj jedną zasadę niezależnie od wyboru: usługa nie generuje treści seksualnych z udziałem nieletnich, a żaden poziom ani ustawienie tego nie zmienia.

Więcej przewodników

• Cennik API Mistral AI vs API bez cenzury z płatnością za token
• Mistral API bez cenzury: płatność za token