Co decyduje o najlepszym lokalnym modelu do roleplay
Osoby pytające o najlepszy lokalny LLM do roleplay zwykle chcą poznać nazwę. Nazwy starzeją się w ciągu kilku tygodni, więc użyj kryteriów, które pozostają aktualne.
- Liczba parametrów. Większe modele lepiej utrzymują głos postaci i śledzą wątki fabularne. Małe modele mają tendencję do powtórzeń i zapominania szczegółów.
- Kwantyzacja. Wersja 4-bitowa lub 5-bitowa znacznie zmniejsza zużycie pamięci przy umiarkowanej utracie jakości. Poniżej 4 bitów spadek staje się łatwiejszy do zauważenia w długich scenach.
- Długość kontekstu. Roleplay to długa rozmowa. Model musi jednocześnie trzymać kartę postaci, notatki o świecie i ostatnie tury.
- Dostrajanie. Modele trenowane na fikcji i dialogach piszą lepszą prozę niż ogólni asystenci, a wiele lokalnych modeli dostrojonych jest tak, aby pomijać odrzucenia treści dla legalnej fikcji dla dorosłych.
- Prędkość. Odpowiedź przychodząca z prędkością czytania brzmi jak rozmowa. Ta, która czołga się, przerywa płynność.
W przypadku aktualnych wyborów przeczytaj najnowsze wątki społeczności i tablice liderów dla używanego przez Ciebie narzędzia, takiego jak Ollama, LM Studio lub KoboldCpp. Sprawdzaj daty, ponieważ ulubieniec z ostatniego kwartału często jest już zastąpiony.
Gdzie lokalne modele napotykają ścianę
Limit rzadko wynika z pliku modelu. To pamięć. Wagi wymagają VRAM-u lub szybkiej pamięci RAM systemu, a bufor kontekstu rośnie wraz z każdym tokenem historii. Uruchomienie modelu mieszczącego się w 4 000 tokenach kontekstu jest łatwe; utrzymanie 30 000 tokenów historii w pamięci z przyzwoitą prędkością wymaga znacznie więcej zasobów.
Większość lokalnych konfiguracji do roleplay idzie więc na kompromis w jednym z trzech sposobów:
- Mniejszy model, który pisze płaskie postacie.
- Krótkie okno kontekstu, które sprawia, że postać zapomina wcześniejsze sceny.
- Przenoszenie warstw na CPU, co spowalnia odpowiedzi.
Nic z tego nie sprawia, że lokalne rozwiązanie jest złym wyborem. Jeśli już posiadasz mocną kartę GPU, te kompromisy mogą być dla Ciebie akceptowalne. Oznacza to jednak, że uczciwa odpowiedź na pytanie „jaki model lokalny” zależy najpierw od Twojego sprzętu, a dopiero potem od modelu.
Co API w chmurze zmienia
Hostowane API przenosi problem pamięci na kogoś innego. Ta usługa udostępnia jeden model o otwartych wagach z oknem kontekstu 100 000 tokenów (prompt i uzupełnienie łącznie), więc długa historia, szczegółowa karta postaci i wpisy w księdze lore mieszczą się bez przycinania. Nie ma pobierania, wyboru kwantyzacji ani problemów ze sterownikami.
Jest też kompatybilny z OpenAI. Każda aplikacja front-end, która potrafi komunikować się z endpointem w stylu OpenAI, zadziała: ustaw Base URL na https://api.claudeapicost.com/v1, użyj swojego klucza API i ustaw model na uncensored. Model jest dostrojony do odpowiadania bez odrzucania treści w ramach legalnego użytku przez dorosłych. Twarda zasada to brak treści seksualnych z udziałem nieletnich.
Kompromisy są oczywiste. Twoje prompty opuszczają Twoją maszynę. Usługa jest tylko tekstowa. Zależysz od połączenia sieciowego. Prompty nie są używane do trenowania, a strona prywatności zawiera szczegóły, ale lokalny model pozostaje jedyną konfiguracją, w której nic nigdy nie opuszcza Twojego komputera.
Koszty: Twój sprzęt versus opłata za token
Lokalne wnioskowanie wydaje się darmowe, ponieważ koszt jest poniesiony z góry w sprzęcie i prądzie. Koszt w chmurze jest mały na wiadomość i widoczny. Oto matematyka dla tego API: $0,15 za 1 mln tokenów wejściowych i $0,50 za 1 mln tokenów wyjściowych.
Weź turę roleplay, w której aplikacja wysyła 6 000 tokenów historii i otrzymuje odpowiedź o długości 300 tokenów:
- Wejście: 6 000 / 1 000 000 x $0,15 = $0,0009
- Wyjście: 300 / 1 000 000 x $0,50 = $0,00015
- Łącznie na turę: $0,00105
| Zużycie | Tury | Koszt |
|---|---|---|
| Miesiąc lekkiego obciążenia | 1 000 tur przy 6 000 wej / 300 wyj | $1.05 |
| Miesiąc ciężkiego obciążenia | 10 000 tur przy 6 000 wej / 300 wyj | $10.50 |
| Ciężki miesiąc, długa pamięć | 10 000 tur przy 20 000 wej / 300 wyj | $31.50 |
Wiersz dotyczący długiej pamięci wychodzi na 20 000 tokenów × $0,15 za 1 mln = $0,003 wejścia plus $0,00015 wyjścia, czyli $0,00315 na turę i $31,50 za 10 000 tur. Koszt wejścia dominuje w długich rozmowach, dlatego podsumowanie starych wątków oszczędza prawdziwe pieniądze.
Doładowania zaczynają się od $20, z bonusem +5% przy kwocie $50, +10% przy $100 i +15% przy $200, a kredyt nigdy nie wygasa. Ta strona akceptuje płatności krypto (USDT w sieci TRC20 lub USDC na Base). Szczegóły znajdziesz na stronie z cenami, a w artykule mity i fakty dotyczące cen dowiesz się, jak w praktyce zachowuje się rozliczenie za tokeny.
Jak podjąć decyzję
Użyj tej listy kontrolnej.
Zostań lokalnie, jeśli
- Masz już kartę GPU z dużą ilością pamięci i lubisz konfigurować.
- Nic nie może opuścić Twojej maszyny, z jakiegokolwiek powodu.
- Twoje sesje są krótkie, a styl małego modelu Ci odpowiada.
- Chcesz działać offline.
Użyj API w chmurze, jeśli
- Twój sprzęt wymusza krótkie okno kontekstu lub wolne odpowiedzi.
- Prowadzisz długie kampanie, w których liczy się ciągłość.
- Uruchamiasz aplikację do towarzyszenia lub fikcji dla innych dorosłych i potrzebujesz wielu równoległych rozmów. Pełny klucz pozwala na 8 równoległych zapytań i 300 zapytań na minutę.
- Chcesz wypróbować model bez konfiguracji. Nowi użytkownicy mogą jednorazowym kliknięciem odebrać darmowy kredyt próbny w wysokości $0,50, ważny przez 7 dni, bez podawania karty.
Jeśli pasujesz do obu list, połącz je. Miej lokalny model do sesji prywatnych i używaj API do długich.
Konfiguracja hybrydowa w kilku linijkach
Ponieważ serwery Ollama, LM Studio i llama.cpp wystawiają endpointy w stylu OpenAI, kod klienta nie musi wiedzieć, który z nich stoi za interfejsem. Ten fragment kodu Pythona zmienia konfigurację za pomocą jednej zmiennej środowiskowej:
import os
from openai import OpenAI
if os.getenv("USE_CLOUD") == "1":
client = OpenAI(
base_url="https://api.claudeapicost.com/v1",
api_key=os.environ["API_KEY"],
)
model = "uncensored"
else:
client = OpenAI(base_url="http://localhost:11434/v1", api_key="local")
model = "your-local-model"
reply = client.chat.completions.create(
model=model,
messages=[
{"role": "system", "content": "You are Mira, a dry-witted ship engineer in a sci-fi story."},
{"role": "user", "content": "The reactor is humming wrong again."},
],
temperature=0.9,
stream=True,
)
for chunk in reply:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="")
Powyższy adres URL to domyślny port Ollamy; zmień go, jeśli używasz innego serwera. Dokumentacja opisuje strumieniowanie, tryb JSON i wywoływanie funkcji, a strona z kluczem to miejsce, gdzie się rejestrujesz za pomocą Google lub e-maila i hasła.
Ustawienia istotne dla obu tras
Dobra kreacja postaci zależy bardziej od struktury promptu niż od silnika. Kilka nawyków pomaga zarówno w modelach lokalnych, jak i chmurowych:
- Umieść głos postaci, jej cele i nawyki mówienia w wiadomości systemowej i trzymaj ją krótką.
- Używaj
temperaturena poziomie około 0,8 do 1,0 dla żywej rozmowy i obniż go, jeśli postać zacznie się rozpisywać. API przekazujetemperature,top_p,stop,seedoraz kary. - Ustaw karę częstotliwości lub obecności, jeśli odpowiedzi powtarzają frazy.
- Podsumowuj stare sceny od czasu do czasu zamiast wysyłać cały dziennik. W chmurze jest to tańsze, a lokalnie szybsze.
Pierwsze kroki w dziesięć minut
Jeśli koszty są akceptowalne, wypróbuj kredyt próbny za darmo. Zarejestruj się na stronie z kluczem, odbierz jednorazowy kredyt próbny za $0,50 (jeden na osobę, ważny przez 7 dni), wklej bazowy URL i klucz do swojego interfejsu roleplay oraz ustaw model na uncensored. Przy koszcie około $0,00105 za turę z wcześniejszego przykładu, $0,50 wystarcza na około 476 tur, ponieważ 0,50 / 0,00105 = 476,19.
Klucz próbny jest ograniczony do 2 równoległych zapytań i 60 zapytań na minutę, co jest w zupełności wystarczające dla jednej osoby czatującej. Uruchom tę samą scenę, której używasz do oceniania modeli lokalnych, i porównaj spójność głosu, pamięć wcześniejszych szczegółów i prędkość odpowiedzi na swoich kartach postaci. Ten test jest bardziej przydatny niż dowolny benchmark, ponieważ jakość roleplay to kwestia gustu.
Pamiętaj o zasadzie dotyczącej nieletnich w każdej fikcji, którą piszesz: treści seksualne z udziałem nieletnich są zawsze zabronione w każdym ujęciu.
