Wat bepaalt het beste lokale model voor roleplay
Mensen die om de beste lokale LLM voor roleplay vragen, willen meestal een naam. Namen verouderen snel, dus gebruik criteria die blijvend zijn.
- Aantal parameters. Grotere modellen behouden de stem van een personage beter en volgen verhaallijnen nauwkeuriger. Kleine modellen neigen tot herhaling en vergeten details.
- Kwantisatie. Een 4-bit of 5-bit build vermindert het geheugengebruik aanzienlijk met een bescheiden kwaliteitsverlies. Onder de 4 bits wordt het kwaliteitsverlies duidelijker merkbaar in lange scènes.
- Contextlengte. Roleplay is een lang gesprek. Het model moet de personagekaart, de wereldnotities en de recente beurtjes tegelijk vasthouden.
- Fine-tuning. Modellen die zijn getraind op fictie en dialoog schrijven beter proza dan algemene assistenten, en veel lokale fine-tunes zijn getraind om weigeringen over te slaan voor legale fictie voor volwassenen.
- Snelheid. Een antwoord dat op leessnelheid aankomt, voelt als een gesprek. Een antwoord dat langzaam is, breekt de flow.
Voor huidige keuzes, lees recente community-threads en leaderboards voor de tool die je gebruikt, zoals Ollama, LM Studio of KoboldCpp. Controleer de data, want de favoriet van afgelopen kwartaal is vaak al vervangen.
Waar lokale modellen tegen een muur aanlopen
De limiet is bijna nooit het modelbestand. Het is geheugen. Gewichten hebben VRAM of snel systeemgeheugen nodig, en de contextcache groeit daarbovenop met elke token van geschiedenis. Een model draaien dat past in 4.000 tokens aan context is eenvoudig; 30.000 tokens aan verhaal in geheugen houden op een fatsoenlijke snelheid vereist veel meer.
De meeste lokale roleplay-opstellingen maken daarom op een van de drie manieren compromissen:
- Een kleiner model, dat vlakke personages schrijft.
- Een kort contextvenster, waardoor het personage eerdere scènes vergeet.
- Het offloaden van lagen naar de CPU, waardoor antwoorden langzaam zijn.
Dit maakt lokaal geen slechte keuze. Als je al een sterke GPU hebt, zijn deze afwegingen misschien prima voor je. Het betekent wel dat het eerlijke antwoord op "welk lokaal model" eerst afhangt van je hardware en pas van het model.
Wat een cloud-API verandert
Een gehoste API verplaatst het geheugenprobleem naar iemand anders. Deze service biedt één open-weight model met een contextvenster van 100.000 tokens (prompt en completion samen), zodat een lang verhaal, een gedetailleerde personagekaart en lorebook-inhoud passen zonder in te korten. Er is geen download, geen keuze in kwantisatie en geen driverproblemen.
Het is ook OpenAI-compatible. Elke frontend die kan communiceren met een OpenAI-style endpoint werkt: stel de base URL in op https://api.claudeapicost.com/v1, gebruik je sleutel en stel het model in op uncensored. Het model is afgestemd om zonder inhoudsbeperkingen te antwoorden voor legaal gebruik door volwassenen. De harde regel is geen seksuele inhoud met minderjarigen.
De afwegingen zijn duidelijk. Je prompts verlaten je machine. De service is alleen tekst. Je bent afhankelijk van een netwerkverbinding. Prompts worden niet gebruikt voor training, en de privacy pagina heeft de details, maar een lokaal model blijft de enige opstelling waarbij er nooit iets je computer verlaat.
Kosten: je hardware versus pay-per-token
Lokale inferentie voelt gratis aan omdat de kosten vooraf worden betaald in hardware en elektriciteit. Cloudkosten zijn klein per bericht en zichtbaar. Hier is de berekening voor deze API, bij $0,15 per 1M input tokens en $0,50 per 1M output tokens.
Neem een roleplay-beurt waarbij de app 6.000 tokens aan geschiedenis stuurt en een antwoord van 300 tokens krijgt:
- Input: 6.000 / 1.000.000 x $0,15 = $0,0009
- Output: 300 / 1.000.000 x $0,50 = $0,00015
- Totaal per beurt: $0,00105
| Gebruik | Beurten | Kosten |
|---|---|---|
| Lichte maand | 1.000 beurten bij 6.000 in / 300 uit | $1.05 |
| Zware maand | 10.000 beurten bij 6.000 in / 300 uit | $10.50 |
| Zware maand, lang geheugen | 10.000 beurten bij 20.000 in / 300 uit | $31.50 |
De lange-geheugenrij komt neer op 20.000 tokens x $0,15 per 1M = $0,003 input plus $0,00015 output, dus $0,00315 per beurt en $31,50 voor 10.000 beurten. Input domineert de kosten bij lange chats, wat betekent dat een samenvatting van oude scènes echte besparingen oplevert.
Opwaarderingen beginnen bij $20, met een bonus van +5% vanaf $50, +10% vanaf $100 en +15% vanaf $200, en tegoed vervalt nooit. Deze site accepteert via crypto (USDT on TRC20 of USDC on Base). Zie de prijspagina voor de details, en het artikel over prijzenmythes en feiten voor hoe de facturatie per token in de praktijk werkt.
Hoe te beslissen
Gebruik deze checklist.
Blijf lokaal als
- Je al een GPU hebt met veel geheugen en van afstellen houdt.
- Er niets je machine mag verlaten, om welke reden dan ook.
- Je sessies kort zijn en de stijl van een klein model bij je past.
- Je offline wilt draaien.
Gebruik een cloud-API als
- Je hardware een kort contextvenster of trage antwoorden afdwingt.
- Je lange campagnes speelt waarbij continuïteit belangrijk is.
- Je een companion- of fictie-app voor andere volwassenen draait en veel gelijktijdige chats nodig hebt. Een volledige sleutel staat 8 gelijktijdige verzoeken en 300 verzoeken per minuut toe.
- Je een model zonder installatie wilt proberen. Nieuwe gebruikers kunnen met één klik $0,50 aan proeftegoed claimen, geldig voor 7 dagen, zonder creditcard.
Als je in beide lijsten past, combineer ze dan. Houd een lokaal model aan voor privésessies en gebruik de API voor lange sessies.
Een hybride opstelling in een paar regels
Omdat de servers van Ollama, LM Studio en llama.cpp allemaal OpenAI-stijl endpoints blootleggen, hoeft je clientcode niet te weten wat erachter zit. Deze Python-snippet schakelt via één omgevingsvariabele:
import os
from openai import OpenAI
if os.getenv("USE_CLOUD") == "1":
client = OpenAI(
base_url="https://api.claudeapicost.com/v1",
api_key=os.environ["API_KEY"],
)
model = "uncensored"
else:
client = OpenAI(base_url="http://localhost:11434/v1", api_key="local")
model = "your-local-model"
reply = client.chat.completions.create(
model=model,
messages=[
{"role": "system", "content": "You are Mira, a dry-witted ship engineer in a sci-fi story."},
{"role": "user", "content": "The reactor is humming wrong again."},
],
temperature=0.9,
stream=True,
)
for chunk in reply:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="")
De lokale URL hierboven is de standaardpoort van Ollama; wijzig deze als je een andere server gebruikt. Voor het cloudgedeelte behandelen de docs streaming, JSON-modus en function calling, en op de API-sleutelpagina log je in met Google of met e-mail en wachtwoord.
Instellingen die ertoe doen voor beide routes
Goede karakterbeschrijvingen zijn meer afhankelijk van de promptstructuur dan van de engine. Een paar gewoontes helpen bij zowel lokale als cloud-modellen:
- Zet de stem, doelen en spreekgewoonten van het personage in het system message en houd het kort.
- Gebruik
temperaturerond 0,8 tot 1,0 voor levendige dialogen en verlaag het als het personage begint te afdwalen. De API geefttemperature,top_p,stop,seeden de straffen door. - Stel een frequentie- of aanwezigheidsstraf in als antwoorden zinnen herhalen.
- Vat oude scènes af en toe samen in plaats van de hele log te versturen. Het is goedkoper in de cloud en sneller lokaal.
Aan de slag in tien minuten
Als de kostenberekening acceptabel lijkt, is een proefversie kosteloos om uit te proberen. Meld je aan op de sleutelpagina, claim het trialtegoed van $0,50 met één klik (één per persoon, geldig voor 7 dagen), plak de base URL en sleutel in je roleplay front-end en stel het model in op uncensored. Bij ongeveer $0,00105 per beurt van het eerdere voorbeeld dekt $0,50 ongeveer 476 beurten, omdat 0,50 / 0,00105 = 476,19.
De proefsleutel is beperkt tot 2 gelijktijdige verzoeken en 60 verzoeken per minuut, wat meer dan genoeg is voor één persoon die chat. Voer dezelfde scène uit die je gebruikt om lokale modellen te beoordelen en vergelijk stemconsistentie, geheugen van eerdere details en antwoordtempo op je eigen personagekaarten. Die test is nuttiger dan elke benchmark, omdat roleplaykwaliteit een kwestie van smaak is.
Houd de minderjarigenregel in gedachten voor elke fictie die je schrijft: seksuele inhoud met minderjarigen is nooit toegestaan, in welke vorm dan ook.
