PL ▾
koszt Claude API.com

API LLM bez cenzury w przejrzystych cenach

https://api.claudeapicost.com/v1

claudeapicost.comPobierz klucz API

Najlepszy lokalny LLM do roleplay vs API w chmurze

Najlepszym lokalnym LLM do roleplay jest największy model dostrojony do roleplay, który Twoja karta graficzna jest w stanie uruchomić z używalną długością kontekstu. Jeśli oznacza to małe modele lub krótką pamięć, API w chmurze może Ci lepiej służyć.

Zaktualizowano

Lokalny komputer GPU i świetlista chmura połączone wstążką bąbelków czatu, porównanie lokalnych i chmurowych LLM do roleplay

Kluczowe punkty

Co decyduje o najlepszym lokalnym modelu do roleplay

Osoby pytające o najlepszy lokalny LLM do roleplay zwykle chcą poznać nazwę. Nazwy starzeją się w ciągu kilku tygodni, więc użyj kryteriów, które pozostają aktualne.

  • Liczba parametrów. Większe modele lepiej utrzymują głos postaci i śledzą wątki fabularne. Małe modele mają tendencję do powtórzeń i zapominania szczegółów.
  • Kwantyzacja. Wersja 4-bitowa lub 5-bitowa znacznie zmniejsza zużycie pamięci przy umiarkowanej utracie jakości. Poniżej 4 bitów spadek staje się łatwiejszy do zauważenia w długich scenach.
  • Długość kontekstu. Roleplay to długa rozmowa. Model musi jednocześnie trzymać kartę postaci, notatki o świecie i ostatnie tury.
  • Dostrajanie. Modele trenowane na fikcji i dialogach piszą lepszą prozę niż ogólni asystenci, a wiele lokalnych modeli dostrojonych jest tak, aby pomijać odrzucenia treści dla legalnej fikcji dla dorosłych.
  • Prędkość. Odpowiedź przychodząca z prędkością czytania brzmi jak rozmowa. Ta, która czołga się, przerywa płynność.

W przypadku aktualnych wyborów przeczytaj najnowsze wątki społeczności i tablice liderów dla używanego przez Ciebie narzędzia, takiego jak Ollama, LM Studio lub KoboldCpp. Sprawdzaj daty, ponieważ ulubieniec z ostatniego kwartału często jest już zastąpiony.

Gdzie lokalne modele napotykają ścianę

Limit rzadko wynika z pliku modelu. To pamięć. Wagi wymagają VRAM-u lub szybkiej pamięci RAM systemu, a bufor kontekstu rośnie wraz z każdym tokenem historii. Uruchomienie modelu mieszczącego się w 4 000 tokenach kontekstu jest łatwe; utrzymanie 30 000 tokenów historii w pamięci z przyzwoitą prędkością wymaga znacznie więcej zasobów.

Większość lokalnych konfiguracji do roleplay idzie więc na kompromis w jednym z trzech sposobów:

  1. Mniejszy model, który pisze płaskie postacie.
  2. Krótkie okno kontekstu, które sprawia, że postać zapomina wcześniejsze sceny.
  3. Przenoszenie warstw na CPU, co spowalnia odpowiedzi.

Nic z tego nie sprawia, że lokalne rozwiązanie jest złym wyborem. Jeśli już posiadasz mocną kartę GPU, te kompromisy mogą być dla Ciebie akceptowalne. Oznacza to jednak, że uczciwa odpowiedź na pytanie „jaki model lokalny” zależy najpierw od Twojego sprzętu, a dopiero potem od modelu.

Co API w chmurze zmienia

Hostowane API przenosi problem pamięci na kogoś innego. Ta usługa udostępnia jeden model o otwartych wagach z oknem kontekstu 100 000 tokenów (prompt i uzupełnienie łącznie), więc długa historia, szczegółowa karta postaci i wpisy w księdze lore mieszczą się bez przycinania. Nie ma pobierania, wyboru kwantyzacji ani problemów ze sterownikami.

Jest też kompatybilny z OpenAI. Każda aplikacja front-end, która potrafi komunikować się z endpointem w stylu OpenAI, zadziała: ustaw Base URL na https://api.claudeapicost.com/v1, użyj swojego klucza API i ustaw model na uncensored. Model jest dostrojony do odpowiadania bez odrzucania treści w ramach legalnego użytku przez dorosłych. Twarda zasada to brak treści seksualnych z udziałem nieletnich.

Kompromisy są oczywiste. Twoje prompty opuszczają Twoją maszynę. Usługa jest tylko tekstowa. Zależysz od połączenia sieciowego. Prompty nie są używane do trenowania, a strona prywatności zawiera szczegóły, ale lokalny model pozostaje jedyną konfiguracją, w której nic nigdy nie opuszcza Twojego komputera.

Koszty: Twój sprzęt versus opłata za token

Lokalne wnioskowanie wydaje się darmowe, ponieważ koszt jest poniesiony z góry w sprzęcie i prądzie. Koszt w chmurze jest mały na wiadomość i widoczny. Oto matematyka dla tego API: $0,15 za 1 mln tokenów wejściowych i $0,50 za 1 mln tokenów wyjściowych.

Weź turę roleplay, w której aplikacja wysyła 6 000 tokenów historii i otrzymuje odpowiedź o długości 300 tokenów:

  • Wejście: 6 000 / 1 000 000 x $0,15 = $0,0009
  • Wyjście: 300 / 1 000 000 x $0,50 = $0,00015
  • Łącznie na turę: $0,00105
ZużycieTuryKoszt
Miesiąc lekkiego obciążenia1 000 tur przy 6 000 wej / 300 wyj$1.05
Miesiąc ciężkiego obciążenia10 000 tur przy 6 000 wej / 300 wyj$10.50
Ciężki miesiąc, długa pamięć10 000 tur przy 20 000 wej / 300 wyj$31.50

Wiersz dotyczący długiej pamięci wychodzi na 20 000 tokenów × $0,15 za 1 mln = $0,003 wejścia plus $0,00015 wyjścia, czyli $0,00315 na turę i $31,50 za 10 000 tur. Koszt wejścia dominuje w długich rozmowach, dlatego podsumowanie starych wątków oszczędza prawdziwe pieniądze.

Doładowania zaczynają się od $20, z bonusem +5% przy kwocie $50, +10% przy $100 i +15% przy $200, a kredyt nigdy nie wygasa. Ta strona akceptuje płatności krypto (USDT w sieci TRC20 lub USDC na Base). Szczegóły znajdziesz na stronie z cenami, a w artykule mity i fakty dotyczące cen dowiesz się, jak w praktyce zachowuje się rozliczenie za tokeny.

Jak podjąć decyzję

Użyj tej listy kontrolnej.

Zostań lokalnie, jeśli

  • Masz już kartę GPU z dużą ilością pamięci i lubisz konfigurować.
  • Nic nie może opuścić Twojej maszyny, z jakiegokolwiek powodu.
  • Twoje sesje są krótkie, a styl małego modelu Ci odpowiada.
  • Chcesz działać offline.

Użyj API w chmurze, jeśli

  • Twój sprzęt wymusza krótkie okno kontekstu lub wolne odpowiedzi.
  • Prowadzisz długie kampanie, w których liczy się ciągłość.
  • Uruchamiasz aplikację do towarzyszenia lub fikcji dla innych dorosłych i potrzebujesz wielu równoległych rozmów. Pełny klucz pozwala na 8 równoległych zapytań i 300 zapytań na minutę.
  • Chcesz wypróbować model bez konfiguracji. Nowi użytkownicy mogą jednorazowym kliknięciem odebrać darmowy kredyt próbny w wysokości $0,50, ważny przez 7 dni, bez podawania karty.

Jeśli pasujesz do obu list, połącz je. Miej lokalny model do sesji prywatnych i używaj API do długich.

Konfiguracja hybrydowa w kilku linijkach

Ponieważ serwery Ollama, LM Studio i llama.cpp wystawiają endpointy w stylu OpenAI, kod klienta nie musi wiedzieć, który z nich stoi za interfejsem. Ten fragment kodu Pythona zmienia konfigurację za pomocą jednej zmiennej środowiskowej:

import os
from openai import OpenAI

if os.getenv("USE_CLOUD") == "1":
    client = OpenAI(
        base_url="https://api.claudeapicost.com/v1",
        api_key=os.environ["API_KEY"],
    )
    model = "uncensored"
else:
    client = OpenAI(base_url="http://localhost:11434/v1", api_key="local")
    model = "your-local-model"

reply = client.chat.completions.create(
    model=model,
    messages=[
        {"role": "system", "content": "You are Mira, a dry-witted ship engineer in a sci-fi story."},
        {"role": "user", "content": "The reactor is humming wrong again."},
    ],
    temperature=0.9,
    stream=True,
)
for chunk in reply:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="")

Powyższy adres URL to domyślny port Ollamy; zmień go, jeśli używasz innego serwera. Dokumentacja opisuje strumieniowanie, tryb JSON i wywoływanie funkcji, a strona z kluczem to miejsce, gdzie się rejestrujesz za pomocą Google lub e-maila i hasła.

Ustawienia istotne dla obu tras

Dobra kreacja postaci zależy bardziej od struktury promptu niż od silnika. Kilka nawyków pomaga zarówno w modelach lokalnych, jak i chmurowych:

  • Umieść głos postaci, jej cele i nawyki mówienia w wiadomości systemowej i trzymaj ją krótką.
  • Używaj temperature na poziomie około 0,8 do 1,0 dla żywej rozmowy i obniż go, jeśli postać zacznie się rozpisywać. API przekazuje temperature, top_p, stop, seed oraz kary.
  • Ustaw karę częstotliwości lub obecności, jeśli odpowiedzi powtarzają frazy.
  • Podsumowuj stare sceny od czasu do czasu zamiast wysyłać cały dziennik. W chmurze jest to tańsze, a lokalnie szybsze.

Pierwsze kroki w dziesięć minut

Jeśli koszty są akceptowalne, wypróbuj kredyt próbny za darmo. Zarejestruj się na stronie z kluczem, odbierz jednorazowy kredyt próbny za $0,50 (jeden na osobę, ważny przez 7 dni), wklej bazowy URL i klucz do swojego interfejsu roleplay oraz ustaw model na uncensored. Przy koszcie około $0,00105 za turę z wcześniejszego przykładu, $0,50 wystarcza na około 476 tur, ponieważ 0,50 / 0,00105 = 476,19.

Klucz próbny jest ograniczony do 2 równoległych zapytań i 60 zapytań na minutę, co jest w zupełności wystarczające dla jednej osoby czatującej. Uruchom tę samą scenę, której używasz do oceniania modeli lokalnych, i porównaj spójność głosu, pamięć wcześniejszych szczegółów i prędkość odpowiedzi na swoich kartach postaci. Ten test jest bardziej przydatny niż dowolny benchmark, ponieważ jakość roleplay to kwestia gustu.

Pamiętaj o zasadzie dotyczącej nieletnich w każdej fikcji, którą piszesz: treści seksualne z udziałem nieletnich są zawsze zabronione w każdym ujęciu.

Pytania i odpowiedzi

Czy model lokalny jest lepszy niż API w chmurze do odgrywania ról?

To zależy od Twojego sprzętu i priorytetów. Lokalne daje prywatność i brak opłaty za wiadomość, podczas gdy API w chmurze daje długie okno kontekstu i brak konfiguracji. Wielu ludzi używa obu.

Jak duże okno kontekstu potrzebuję do długiego odgrywania ról?

Karty postaci, notatki o świecie i ostatnie tury często razem zajmują kilka tysięcy tokenów, a długie kampanie mogą przekraczać 20 000. To API oferuje 100 000 tokenów okna kontekstu, łącznie z promptem i uzupełnieniem.

Czy mogę używać SillyTavern lub podobnych interfejsów z API?

Tak, każdy interfejs, który akceptuje endpoint kompatybilny z OpenAI, działa. Użyj bazowego URL, swojego klucza i ID modelu uncensored.

Czy API pozwala na wszystkie treści?

Model jest dostrojony do odpowiadania bez odrzucania treści dla legalnej fikcji dla dorosłych. Treści seksualne z udziałem nieletnich są zawsze zabronione.

Jak mogę zapłacić, jeśli chcę wypróbować rozwiązanie chmurowe?

Ta strona akceptuje płatności kryptowalutami (USDT w sieci TRC20, USDC na Base), z doładowaniami od $20. Po rejestracji dostępny jest jednorazowy kredyt próbny za $0,50.

Twój klucz jest o jeden formularz stąd

Utwórz konto, skopiuj klucz, zmień bazowy URL. To cała konfiguracja.

Pobierz klucz API