Qu'est-ce qui détermine le meilleur modèle local pour le jeu de rôle
Les personnes cherchant le meilleur LLM local pour le jeu de rôle veulent souvent un nom. Les noms deviennent vite obsolètes, utilisez donc des critères qui restent pertinents.
- Nombre de paramètres. Les modèles plus grands conservent mieux la voix d'un personnage et suivent les intrigues. Les petits ont tendance à se répéter et à oublier les détails.
- Quantification. Une version 4-bit ou 5-bit réduit considérablement l'utilisation de la mémoire avec une perte de qualité modeste. En dessous de 4 bits, la baisse devient plus visible dans les scènes longues.
- Longueur du contexte. Le jeu de rôle est une longue conversation. Le modèle doit maintenir la carte de personnage, les notes de monde et les derniers échanges simultanément.
- Ajustement fin. Les modèles ajustés sur la fiction et le dialogue écrivent une prose meilleure que les assistants généraux, et de nombreux ajustements locaux sont entraînés à sauter les refus pour la fiction adulte légale.
- Vitesse. Une réponse qui arrive à la vitesse de lecture semble être une conversation. Une qui rampe brise le flux.
Pour les sélections actuelles, lisez les fils de discussion récents et les classements pour l'outil que vous utilisez, comme Ollama, LM Studio ou KoboldCpp. Vérifiez les dates, car le favori du dernier trimestre est souvent déjà remplacé.
Où les modèles locaux butent
La limite est presque toujours la mémoire, rarement le fichier du modèle. Les poids nécessitent de la VRAM ou une RAM système rapide, et le cache de contexte s'ajoute à cela avec chaque token d'historique. Exécuter un modèle tenant dans 4 000 tokens de contexte est facile ; conserver 30 000 tokens d'histoire en mémoire à une vitesse décente nécessite beaucoup plus.
La plupart des configurations de jeu de rôle local font donc des compromis selon l'une des trois approches suivantes :
- Un modèle plus petit, qui écrit des personnages plus plats.
- Une fenêtre de contexte courte, qui fait oublier au personnage les scènes antérieures.
- Le déchargement des couches vers le CPU, ce qui ralentit les réponses.
Rien de tout cela ne rend le local un mauvais choix. Si vous possédez déjà un GPU puissant, ces compromis peuvent vous convenir. Cela signifie simplement que la réponse honnête à « quel modèle local » dépend d'abord de votre matériel, puis du modèle.
Ce qu'une API cloud change
Une API hébergée déplace le problème de mémoire vers quelqu'un d'autre. Ce service expose un seul modèle à poids ouverts avec une fenêtre de contexte de 100 000 tokens (prompt et complétion ensemble), donc une longue histoire, une carte de personnage détaillée et des entrées de livre de lore tiennent sans réduction. Pas de téléchargement, pas de choix de quantification et pas de problème de pilote.
Il est également compatible OpenAI. Toute interface capable de parler à un endpoint de style OpenAI fonctionne : définissez l'URL de base sur https://api.claudeapicost.com/v1, utilisez votre clé, et définissez le modèle sur uncensored. Le modèle est ajusté pour répondre sans refus de contenu pour un usage adulte légal. La règle stricte est l'absence de contenu sexuel impliquant des mineurs.
Les compromis sont clairs. Vos prompts quittent votre machine. Le service est uniquement textuel. Vous dépendez d'une connexion réseau. Les prompts ne sont pas utilisés pour l'entraînement, et la page de confidentialité a les détails, mais un modèle local reste la seule configuration où rien ne quitte jamais votre ordinateur.
Coût : votre matériel contre paiement au token
L'inférence locale semble gratuite car le coût est payé d'avance en matériel et électricité. Le coût cloud est faible par message et visible. Voici le calcul pour cette API, à $0,15 par 1M de tokens d'entrée et $0,50 par 1M de tokens de sortie.
Prenez un tour de jeu de rôle où l'application envoie 6 000 tokens d'historique et reçoit une réponse de 300 tokens :
- Entrée : 6 000 / 1 000 000 x $0,15 = $0,0009
- Sortie : 300 / 1 000 000 x 0,50 $ = 0,00015 $
- Total par tour : 0,00105 $
| Utilisation | Tours | Coût |
|---|---|---|
| Mois léger | 1 000 tours à 6 000 entrées / 300 sorties | $1.05 |
| Mois intensif | 10 000 tours à 6 000 entrées / 300 sorties | $10.50 |
| Mois intensif, longue mémoire | 10 000 tours à 20 000 entrées / 300 sorties | $31.50 |
La ligne à longue mémoire revient à 20 000 tokens x 0,15 $ par 1M = 0,003 $ d'entrée plus 0,00015 $ de sortie, soit 0,00315 $ par tour et 31,50 $ pour 10 000 tours. L'entrée domine le coût dans les longues conversations, c'est pourquoi un résumé des anciennes scènes fait économiser de l'argent réel.
Les recharges démarrent à 20 $, avec un bonus de +5 % à partir de 50 $, +10 % à partir de 100 $ et +15 % à partir de 200 $, et le crédit n'expire jamais. Ce site accepte par crypto (USDT sur TRC20 ou USDC sur Base). Consultez la page de tarification pour les détails, et l'article mythes et réalités sur la tarification pour comprendre comment fonctionne la facturation par token en pratique.
Comment décider
Utilisez cette liste de contrôle.
Restez local si
- Vous avez déjà un GPU avec beaucoup de mémoire et aimez ajuster.
- Rien ne doit quitter votre machine, pour quelque raison que ce soit.
- Vos sessions sont courtes et le style d'un petit modèle vous convient.
- Vous voulez travailler hors ligne.
Utilisez une API cloud si
- Votre matériel impose une fenêtre de contexte courte ou des réponses lentes.
- Vous menez de longues campagnes où la continuité est importante.
- Vous exécutez une application de compagnon ou de fiction pour adultes et avez besoin de nombreuses conversations simultanées. Une clé complète permet 8 requêtes simultanées et 300 requêtes par minute.
- Vous voulez essayer un modèle sans configuration. Les nouveaux utilisateurs peuvent obtenir 0,50 $ de crédit d'essai en un clic, valable 7 jours, sans carte bancaire.
Si vous correspondez aux deux listes, combinez-les. Conservez un modèle local pour les sessions privées et utilisez l'API pour les sessions longues.
Une configuration hybride en quelques lignes
Comme les serveurs d'Ollama, LM Studio et llama.cpp exposent tous des endpoints de style OpenAI, votre code client n'a pas à se soucier de ce qui se trouve derrière. Cet extrait Python permet de basculer via une seule variable d'environnement :
import os
from openai import OpenAI
if os.getenv("USE_CLOUD") == "1":
client = OpenAI(
base_url="https://api.claudeapicost.com/v1",
api_key=os.environ["API_KEY"],
)
model = "uncensored"
else:
client = OpenAI(base_url="http://localhost:11434/v1", api_key="local")
model = "your-local-model"
reply = client.chat.completions.create(
model=model,
messages=[
{"role": "system", "content": "You are Mira, a dry-witted ship engineer in a sci-fi story."},
{"role": "user", "content": "The reactor is humming wrong again."},
],
temperature=0.9,
stream=True,
)
for chunk in reply:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="")
L'URL locale ci-dessus est le port par défaut d'Ollama ; modifiez-le si vous utilisez un autre serveur. Pour la partie cloud, la documentation couvre le streaming, le mode JSON et l'appel de fonctions, et la page des clés est l'endroit où vous vous inscrivez avec Google ou avec adresse e-mail et mot de passe.
Paramètres importants pour les deux méthodes
Une bonne écriture de personnage dépend davantage de la structure du prompt que du moteur. Quelques habitudes aident pour les modèles locaux et cloud :
- Placez la voix, les objectifs et les habitudes de langage du personnage dans le message système, et gardez-le court.
- Utilisez
temperatureautour de 0,8 à 1,0 pour un dialogue animé et réduisez-la si le personnage commence à divaguer. L'API transmettemperature,top_p,stop,seedet les pénalités. - Définissez une pénalité de fréquence ou de présence si les réponses répètent des phrases.
- Résumez les anciennes scènes de temps en temps au lieu d'envoyer tout le journal. C'est moins cher dans le cloud et plus rapide en local.
Pour commencer en dix minutes
Si le calcul des coûts semble acceptable, un essai ne coûte rien à tester. Inscrivez-vous sur la page des clés, réclamez le crédit d'essai en un clic de 0,50 $ (un par personne, valable 7 jours), collez l'URL de base et la clé dans votre interface de jeu de rôle, et définissez le modèle sur uncensored. À environ 0,00105 $ par tour de l'exemple précédent, 0,50 $ couvre environ 476 tours, car 0,50 / 0,00105 = 476,19.
La clé d'essai est limitée à 2 requêtes simultanées et 60 requêtes par minute, ce qui est largement suffisant pour une personne qui discute. Lancez la même scène que vous utilisez pour évaluer les modèles locaux, et comparez la cohérence de la voix, la mémoire des détails précédents et la vitesse de réponse sur vos propres cartes de personnage. Ce test est plus utile que n'importe quel benchmark, car la qualité du jeu de rôle relève du goût.
Gardez à l'esprit la règle concernant les mineurs pour toute fiction que vous écrivez : le contenu sexuel impliquant des mineurs n'est jamais autorisé, sous aucune forme.
