Was das beste lokale Modell für Roleplay bestimmt
Leute, die nach dem besten lokalen LLM für Roleplay fragen, wollen meist einen Namen. Namen veralten schnell, also nutze Kriterien, die Bestand haben.
- Parameteranzahl. Größere Modelle bewahren die Stimme eines Charakters besser und verfolgen Handlungsfäden. Kleine wiederholen sich eher und vergessen Details.
- Quantisierung. Ein 4-Bit- oder 5-Bit-Build reduziert den Speicherverbrauch erheblich bei einem moderaten Qualitätsverlust. Unter 4 Bit wird der Verlust in langen Szenen leichter sichtbar.
- Kontextlänge. Roleplay ist ein langes Gespräch. Das Modell muss die Charakterkarte, die Welt-Notizen und die aktuellen Nachrichten gleichzeitig halten.
- Feinabstimmung. Modelle, die auf Fiktion und Dialoge trainiert wurden, schreiben bessere Prosa als allgemeine Assistenten, und viele lokale Fine-Tunes sind darauf trainiert, Ablehnungen für legale Erwachsenenfiktion zu überspringen.
- Geschwindigkeit. Eine Antwort, die in Lesegeschwindigkeit ankommt, fühlt sich wie ein Gespräch an. Eine, die schleicht, unterbricht den Fluss.
Für aktuelle Empfehlungen lies neuere Community-Foren und Leaderboards für das von dir genutzte Tool, wie Ollama, LM Studio oder KoboldCpp. Prüfe die Daten, denn der Favorit vom letzten Quartal ist oft schon ersetzt.
Wo lokale Modelle an ihre Grenzen stoßen
Die Grenze ist fast nie die Modelldatei. Es ist der Speicher. Gewichte benötigen VRAM oder schnellen Systemspeicher, und der Kontext-Cache wächst darauf auf mit jedem Token des Verlaufs. Ein Modell zu betreiben, das bei 4.000 Token Kontext passt, ist einfach; 30.000 Token Geschichte im Speicher bei einer anständigen Geschwindigkeit zu halten, braucht viel mehr.
Die meisten lokalen Roleplay-Setups gehen daher auf einem von drei Wegen Kompromisse ein:
- Ein kleineres Modell, das flachere Charaktere schreibt.
- Ein kurzes Kontextfenster, das den Charakter frühere Szenen vergessen lässt.
- Das Auslagern von Schichten auf die CPU, was Antworten verlangsamt.
Das macht Lokal nicht zu einer schlechten Wahl. Wenn du bereits eine starke GPU besitzt, sind diese Kompromisse vielleicht in Ordnung für dich. Es bedeutet nur, dass die ehrliche Antwort auf „welches lokale Modell“ zuerst von deiner Hardware und dann vom Modell abhängt.
Was eine Cloud-API verändert
Eine gehostete API verlagert das Speicherproblem auf jemand anderen. Dieser Dienst bietet ein Open-Weight-Modell mit einem Kontextfenster von 100.000 Token (Prompt und Completion zusammen), sodass eine lange Geschichte, eine detaillierte Charakterkarte und Lorebook-Einträge ohne Kürzung passen. Kein Download, keine Quantisierungs-Wahl und keine Treiberprobleme.
Es ist auch OpenAI-kompatibel. Jedes Frontend, das mit einem OpenAI-ähnlichen Endpunkt kommunizieren kann, funktioniert: Setze die Base URL auf https://api.claudeapicost.com/v1, verwende deinen Schlüssel und stelle das Modell auf uncensored. Das Modell ist darauf trainiert, ohne Inhaltsfilter bei legaler Erwachsenennutzung zu antworten. Die harte Regel ist: Keine sexuellen Inhalte mit Minderjährigen.
Die Kompromisse sind klar. Deine Prompts verlassen deinen Rechner. Der Dienst ist nur Text. Du bist auf eine Netzwerkverbindung angewiesen. Prompts werden nicht zum Training verwendet, und die Datenschutzseite enthält die Details, aber ein lokales Modell bleibt die einzige Konfiguration, bei der nichts deinen Computer verlässt.
Kosten: Deine Hardware versus Pay-per-Token
Lokale Inferenz fühlt sich kostenlos an, weil die Kosten im Voraus in Hardware und Strom investiert werden. Cloud-Kosten sind pro Nachricht gering und sichtbar. Hier ist die Mathematik für diese API, bei $0,15 pro 1M Input-Token und $0,50 pro 1M Output-Token.
Nimm einen Roleplay-Runde, bei dem die App 6.000 Token Verlauf sendet und eine 300-Token-Antwort erhält:
- Input: 6.000 / 1.000.000 x $0,15 = $0,0009
- Output: 300 / 1.000.000 x $0,50 = $0,00015
- Gesamt pro Runde: $0,00105
| Nutzung | Runden | Kosten |
|---|---|---|
| Leichter Monat | 1.000 Runden bei 6.000 rein / 300 raus | $1.05 |
| Schwerer Monat | 10.000 Runden bei 6.000 Eingabe / 300 Ausgabe | $10.50 |
| Monat mit hohem Volumen, langer Speicher | 10.000 Runden bei 20.000 Eingabe / 300 Ausgabe | $31.50 |
Die Zeile mit langem Speicher ergibt 20.000 Token x $0,15 pro 1 Mio. = $0,003 Eingabe plus $0,00015 Ausgabe, also $0,00315 pro Runde und $31,50 für 10.000 Runden. Die Eingabe dominiert die Kosten in langen Chats, weshalb eine Zusammenfassung alter Szenen echtes Geld spart.
Aufladungen beginnen bei $20, mit einem Bonus von +5 % ab $50, +10 % ab $100 und +15 % ab $200, und das Guthaben verfällt nie. Diese Seite akzeptiert per Krypto (USDT on TRC20 oder USDC on Base). Siehe die Preisseite für die Details und den Artikel Preismythen und Fakten dazu, wie die tokenbasierte Abrechnung in der Praxis funktioniert.
Wie du entscheidest
Nutze diese Checkliste.
Bleib lokal, wenn
- Du bereits eine GPU mit viel Speicher hast und das Tuning genießt.
- Nichts deine Maschine verlassen darf, aus welchem Grund auch immer.
- Deine Sitzungen kurz sind und der Stil eines kleinen Modells zu dir passt.
- Du möchtest offline arbeiten.
Nutze eine Cloud-API, wenn
- Deine Hardware ein kurzes Kontextfenster oder langsame Antworten erzwingt.
- Du lange Kampagnen spielst, bei denen Kontinuität wichtig ist.
- Du eine Begleiter- oder Fiktions-App für andere Erwachsene betreibst und viele parallele Chats benötigst. Ein vollständiger Schlüssel erlaubt 8 parallele Anfragen und 300 Anfragen pro Minute.
- Du ein Modell ohne Einrichtung ausprobieren möchtest. Neue Nutzer können mit einem Klick $0,50 an Testguthaben beanspruchen, gültig für 7 Tage, ohne Kreditkarte.
Wenn du in beide Kategorien passt, kombiniere sie. Halte ein lokales Modell für private Sitzungen bereit und nutze die API für lange.
Eine Hybrid-Einrichtung in wenigen Zeilen
Da Ollama, LM Studio und der Server von llama.cpp alle Endpunkte im OpenAI-Stil anbieten, muss sich der Client-Code nicht darum kümmern, welcher dahinterliegt. Dieses Python-Snippet wechselt über eine Umgebungsvariable:
import os
from openai import OpenAI
if os.getenv("USE_CLOUD") == "1":
client = OpenAI(
base_url="https://api.claudeapicost.com/v1",
api_key=os.environ["API_KEY"],
)
model = "uncensored"
else:
client = OpenAI(base_url="http://localhost:11434/v1", api_key="local")
model = "your-local-model"
reply = client.chat.completions.create(
model=model,
messages=[
{"role": "system", "content": "You are Mira, a dry-witted ship engineer in a sci-fi story."},
{"role": "user", "content": "The reactor is humming wrong again."},
],
temperature=0.9,
stream=True,
)
for chunk in reply:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="")
Die lokale URL oben ist der Standardport von Ollama; ändere ihn, wenn du einen anderen Server verwendest. Die Dokumentation behandelt Streaming, JSON-Modus und Function Calling, und die Schlüssel-Seite ist der Ort, an dem du dich mit Google oder mit E-Mail und Passwort anmeldest.
Einstellungen, die für beide Wege wichtig sind
Gutes Character-Writing hängt mehr von der Prompt-Struktur als von der Engine ab. Einige Gewohnheiten helfen bei lokalen und Cloud-Modellen:
- Gib die Stimme, die Ziele und die Sprechgewohnheiten des Charakters in die Systemnachricht ein und halte sie kurz.
- Verwende
temperatureum 0,8 bis 1,0 für lebhaften Dialog und senke es, wenn der Character zu schwafeln beginnt. Die API übergibttemperature,top_p,stop,seedund die Strafen. - Setze einen Frequency- oder Presence-Penalty, wenn Antworten Phrasen wiederholen.
- Fasse alte Szenen von Zeit zu Zeit zusammen, statt den gesamten Log zu senden. Das ist in der Cloud günstiger und lokal schneller.
Erste Schritte in zehn Minuten
Wenn die Kostenrechnung akzeptabel aussieht, kostet der Test nichts. Melde dich auf der Schlüssel-Seite an, beanspruche das Ein-Klick-Testguthaben von $0,50 (eines pro Person, 7 Tage gültig), füge die Base URL und den Schlüssel in dein Roleplay-Frontend ein und stelle das Modell auf uncensored. Bei etwa $0,00105 pro Runde des früheren Beispiels reichen $0,50 für rund 476 Runden, da 0,50 / 0,00105 = 476,19 ergibt.
Der Test-Schlüssel ist auf 2 parallele Anfragen und 60 Anfragen pro Minute begrenzt, was für eine Person, die chattet, mehr als ausreichend ist. Führe die gleiche Szene aus, die du nutzt, um lokale Modelle zu bewerten, und vergleiche die Stimmkonsistenz, das Gedächtnis für frühere Details und die Antwortgeschwindigkeit bei deinen eigenen Charakterkarten. Dieser Test ist nützlicher als jedes Benchmark, da die Qualität von Roleplay eine Frage des Geschmacks ist.
Behalte die Regel zu Minderjährigen im Kopf für jede Fiktion, die du schreibst: Sexuelle Inhalte mit Minderjährigen sind niemals erlaubt, in jeder Darstellung.
