NL ▾
claudeapicost.com

Ongecensureerde LLM API tegen transparante prijzen

https://api.claudeapicost.com/v1

claudeapicost.comAPI-sleutel aanvragen

Beste lokale LLM voor roleplay vs. een cloud-API

De beste lokale LLM voor roleplay is het grootste roleplay-getune model dat je GPU kan draaien op een bruikbare contextlengte. Als dat kleine modellen of korte geheugen betekent, kan een cloud-API je beter dienen.

Bijgewerkt

Een lokale GPU-computer en een gloeiende cloud, verbonden door een lint van chatbellen, die lokale en cloud roleplay LLM's vergelijken

Belangrijkste punten

Wat bepaalt het beste lokale model voor roleplay

Mensen die om de beste lokale LLM voor roleplay vragen, willen meestal een naam. Namen verouderen snel, dus gebruik criteria die blijvend zijn.

  • Aantal parameters. Grotere modellen behouden de stem van een personage beter en volgen verhaallijnen nauwkeuriger. Kleine modellen neigen tot herhaling en vergeten details.
  • Kwantisatie. Een 4-bit of 5-bit build vermindert het geheugengebruik aanzienlijk met een bescheiden kwaliteitsverlies. Onder de 4 bits wordt het kwaliteitsverlies duidelijker merkbaar in lange scènes.
  • Contextlengte. Roleplay is een lang gesprek. Het model moet de personagekaart, de wereldnotities en de recente beurtjes tegelijk vasthouden.
  • Fine-tuning. Modellen die zijn getraind op fictie en dialoog schrijven beter proza dan algemene assistenten, en veel lokale fine-tunes zijn getraind om weigeringen over te slaan voor legale fictie voor volwassenen.
  • Snelheid. Een antwoord dat op leessnelheid aankomt, voelt als een gesprek. Een antwoord dat langzaam is, breekt de flow.

Voor huidige keuzes, lees recente community-threads en leaderboards voor de tool die je gebruikt, zoals Ollama, LM Studio of KoboldCpp. Controleer de data, want de favoriet van afgelopen kwartaal is vaak al vervangen.

Waar lokale modellen tegen een muur aanlopen

De limiet is bijna nooit het modelbestand. Het is geheugen. Gewichten hebben VRAM of snel systeemgeheugen nodig, en de contextcache groeit daarbovenop met elke token van geschiedenis. Een model draaien dat past in 4.000 tokens aan context is eenvoudig; 30.000 tokens aan verhaal in geheugen houden op een fatsoenlijke snelheid vereist veel meer.

De meeste lokale roleplay-opstellingen maken daarom op een van de drie manieren compromissen:

  1. Een kleiner model, dat vlakke personages schrijft.
  2. Een kort contextvenster, waardoor het personage eerdere scènes vergeet.
  3. Het offloaden van lagen naar de CPU, waardoor antwoorden langzaam zijn.

Dit maakt lokaal geen slechte keuze. Als je al een sterke GPU hebt, zijn deze afwegingen misschien prima voor je. Het betekent wel dat het eerlijke antwoord op "welk lokaal model" eerst afhangt van je hardware en pas van het model.

Wat een cloud-API verandert

Een gehoste API verplaatst het geheugenprobleem naar iemand anders. Deze service biedt één open-weight model met een contextvenster van 100.000 tokens (prompt en completion samen), zodat een lang verhaal, een gedetailleerde personagekaart en lorebook-inhoud passen zonder in te korten. Er is geen download, geen keuze in kwantisatie en geen driverproblemen.

Het is ook OpenAI-compatible. Elke frontend die kan communiceren met een OpenAI-style endpoint werkt: stel de base URL in op https://api.claudeapicost.com/v1, gebruik je sleutel en stel het model in op uncensored. Het model is afgestemd om zonder inhoudsbeperkingen te antwoorden voor legaal gebruik door volwassenen. De harde regel is geen seksuele inhoud met minderjarigen.

De afwegingen zijn duidelijk. Je prompts verlaten je machine. De service is alleen tekst. Je bent afhankelijk van een netwerkverbinding. Prompts worden niet gebruikt voor training, en de privacy pagina heeft de details, maar een lokaal model blijft de enige opstelling waarbij er nooit iets je computer verlaat.

Kosten: je hardware versus pay-per-token

Lokale inferentie voelt gratis aan omdat de kosten vooraf worden betaald in hardware en elektriciteit. Cloudkosten zijn klein per bericht en zichtbaar. Hier is de berekening voor deze API, bij $0,15 per 1M input tokens en $0,50 per 1M output tokens.

Neem een roleplay-beurt waarbij de app 6.000 tokens aan geschiedenis stuurt en een antwoord van 300 tokens krijgt:

  • Input: 6.000 / 1.000.000 x $0,15 = $0,0009
  • Output: 300 / 1.000.000 x $0,50 = $0,00015
  • Totaal per beurt: $0,00105
GebruikBeurtenKosten
Lichte maand1.000 beurten bij 6.000 in / 300 uit$1.05
Zware maand10.000 beurten bij 6.000 in / 300 uit$10.50
Zware maand, lang geheugen10.000 beurten bij 20.000 in / 300 uit$31.50

De lange-geheugenrij komt neer op 20.000 tokens x $0,15 per 1M = $0,003 input plus $0,00015 output, dus $0,00315 per beurt en $31,50 voor 10.000 beurten. Input domineert de kosten bij lange chats, wat betekent dat een samenvatting van oude scènes echte besparingen oplevert.

Opwaarderingen beginnen bij $20, met een bonus van +5% vanaf $50, +10% vanaf $100 en +15% vanaf $200, en tegoed vervalt nooit. Deze site accepteert via crypto (USDT on TRC20 of USDC on Base). Zie de prijspagina voor de details, en het artikel over prijzenmythes en feiten voor hoe de facturatie per token in de praktijk werkt.

Hoe te beslissen

Gebruik deze checklist.

Blijf lokaal als

  • Je al een GPU hebt met veel geheugen en van afstellen houdt.
  • Er niets je machine mag verlaten, om welke reden dan ook.
  • Je sessies kort zijn en de stijl van een klein model bij je past.
  • Je offline wilt draaien.

Gebruik een cloud-API als

  • Je hardware een kort contextvenster of trage antwoorden afdwingt.
  • Je lange campagnes speelt waarbij continuïteit belangrijk is.
  • Je een companion- of fictie-app voor andere volwassenen draait en veel gelijktijdige chats nodig hebt. Een volledige sleutel staat 8 gelijktijdige verzoeken en 300 verzoeken per minuut toe.
  • Je een model zonder installatie wilt proberen. Nieuwe gebruikers kunnen met één klik $0,50 aan proeftegoed claimen, geldig voor 7 dagen, zonder creditcard.

Als je in beide lijsten past, combineer ze dan. Houd een lokaal model aan voor privésessies en gebruik de API voor lange sessies.

Een hybride opstelling in een paar regels

Omdat de servers van Ollama, LM Studio en llama.cpp allemaal OpenAI-stijl endpoints blootleggen, hoeft je clientcode niet te weten wat erachter zit. Deze Python-snippet schakelt via één omgevingsvariabele:

import os
from openai import OpenAI

if os.getenv("USE_CLOUD") == "1":
    client = OpenAI(
        base_url="https://api.claudeapicost.com/v1",
        api_key=os.environ["API_KEY"],
    )
    model = "uncensored"
else:
    client = OpenAI(base_url="http://localhost:11434/v1", api_key="local")
    model = "your-local-model"

reply = client.chat.completions.create(
    model=model,
    messages=[
        {"role": "system", "content": "You are Mira, a dry-witted ship engineer in a sci-fi story."},
        {"role": "user", "content": "The reactor is humming wrong again."},
    ],
    temperature=0.9,
    stream=True,
)
for chunk in reply:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="")

De lokale URL hierboven is de standaardpoort van Ollama; wijzig deze als je een andere server gebruikt. Voor het cloudgedeelte behandelen de docs streaming, JSON-modus en function calling, en op de API-sleutelpagina log je in met Google of met e-mail en wachtwoord.

Instellingen die ertoe doen voor beide routes

Goede karakterbeschrijvingen zijn meer afhankelijk van de promptstructuur dan van de engine. Een paar gewoontes helpen bij zowel lokale als cloud-modellen:

  • Zet de stem, doelen en spreekgewoonten van het personage in het system message en houd het kort.
  • Gebruik temperature rond 0,8 tot 1,0 voor levendige dialogen en verlaag het als het personage begint te afdwalen. De API geeft temperature, top_p, stop, seed en de straffen door.
  • Stel een frequentie- of aanwezigheidsstraf in als antwoorden zinnen herhalen.
  • Vat oude scènes af en toe samen in plaats van de hele log te versturen. Het is goedkoper in de cloud en sneller lokaal.

Aan de slag in tien minuten

Als de kostenberekening acceptabel lijkt, is een proefversie kosteloos om uit te proberen. Meld je aan op de sleutelpagina, claim het trialtegoed van $0,50 met één klik (één per persoon, geldig voor 7 dagen), plak de base URL en sleutel in je roleplay front-end en stel het model in op uncensored. Bij ongeveer $0,00105 per beurt van het eerdere voorbeeld dekt $0,50 ongeveer 476 beurten, omdat 0,50 / 0,00105 = 476,19.

De proefsleutel is beperkt tot 2 gelijktijdige verzoeken en 60 verzoeken per minuut, wat meer dan genoeg is voor één persoon die chat. Voer dezelfde scène uit die je gebruikt om lokale modellen te beoordelen en vergelijk stemconsistentie, geheugen van eerdere details en antwoordtempo op je eigen personagekaarten. Die test is nuttiger dan elke benchmark, omdat roleplaykwaliteit een kwestie van smaak is.

Houd de minderjarigenregel in gedachten voor elke fictie die je schrijft: seksuele inhoud met minderjarigen is nooit toegestaan, in welke vorm dan ook.

Vragen en antwoorden

Is een lokaal model beter dan een cloud-API voor roleplay?

Het hangt af van je hardware en prioriteiten. Lokaal geeft privacy en geen per-bericht vergoeding, terwijl een cloud-API een lang contextvenster en geen installatie geeft. Veel mensen gebruiken beide.

Hoeveel context heb ik nodig voor lange roleplay?

Personagekaarten, wereldnotities en recente beurten lopen vaak op tot enkele duizenden tokens, en lange campagnes kunnen 20.000 overschrijden. Deze API biedt 100.000 tokens aan context, prompt plus completion.

Kan ik SillyTavern of vergelijkbare front ends gebruiken met de API?

Ja, elke front end die een OpenAI-compatible endpoint accepteert werkt. Gebruik de base URL, je sleutel en de model ID uncensored.

Staat de API alle inhoud toe?

Het model is afgestemd om zonder inhoudelijke weigeringen te antwoorden voor legaal gebruik door volwassenen. Seksuele inhoud met minderjarigen is nooit toegestaan.

Hoe kan ik betalen als ik de cloud-route wil uitproberen?

Deze site accepteert betalingen met crypto (USDT op TRC20, USDC op Base), met opwaarderingen vanaf $20. Een één-klik proefversie van $0,50 is beschikbaar na aanmelding.

Je sleutel is nog maar één formulier verwijderd

Maak een account aan, kopieer de sleutel, pas de base URL aan. Dat is de hele setup.

API-sleutel aanvragen