Qué decide el mejor modelo local para roleplay
Las personas que buscan el mejor LLM local para roleplay suelen querer un nombre. Los nombres caducan en semanas, así que usa criterios que se mantengan vigentes.
- Conteo de parámetros. Los modelos más grandes mantienen mejor la voz de un personaje y rastrean mejor las tramas. Los pequeños tienden a repetirse y olvidan detalles.
- Cuantización. Una versión de 4 bits o 5 bits reduce mucho el uso de memoria con una pérdida de calidad modesta. Por debajo de 4 bits, la caída es más fácil de notar en escenas largas.
- Longitud del contexto. El roleplay es una conversación larga. El modelo tiene que contener la tarjeta de personaje, las notas del mundo y los turnos recientes al mismo tiempo.
- Ajuste fino. Los modelos ajustados en ficción y diálogo escriben mejor prosa que los asistentes generales, y muchos ajustes finos locales están entrenados para omitir rechazos para ficción adulta legal.
- Velocidad. Una respuesta que llega a velocidad de lectura se siente como una conversación. Una que se arrastra rompe el flujo.
Para las selecciones actuales, lee hilos recientes de la comunidad y tablas de clasificación para la herramienta que uses, como Ollama, LM Studio o KoboldCpp. Verifica las fechas, porque el favorito del último trimestre a menudo ya ha sido reemplazado.
Dónde los modelos locales se quedan cortos
El límite casi nunca es el archivo del modelo. Es la memoria. Los pesos necesitan VRAM o RAM rápida del sistema, y la caché de contexto crece encima de eso con cada token de historial. Ejecutar un modelo que cabe en 4.000 tokens de contexto es fácil; mantener 30.000 tokens de historia en memoria a una velocidad decente necesita mucho más.
Por lo tanto, la mayoría de las configuraciones de roleplay local sacrifican calidad en uno de estos tres aspectos:
- Un modelo más pequeño, que escribe personajes más planos.
- Una ventana de contexto corta, que hace que el personaje olvide escenas anteriores.
- Pasar capas a la CPU, lo que hace que las respuestas sean lentas.
Nada de esto hace que lo local sea una mala opción. Si ya tienes una GPU potente, estos compromisos pueden ser adecuados para ti. Significa que la respuesta honesta a "qué modelo local" depende primero de tu hardware y segundo del modelo.
Qué cambia una API en la nube
Una API alojada traslada el problema de memoria a otra persona. Este servicio expone un único modelo de pesos abiertos con una ventana de contexto de 100.000 tokens (prompt y completion juntos), así que una historia larga, una tarjeta de personaje detallada y entradas de libro de lore caben sin recortar. No hay descarga, no hay opción de cuantización ni problemas de controladores.
También es compatible con OpenAI. Cualquier interfaz que pueda hablar con un endpoint estilo OpenAI funciona: establece la URL base en https://api.claudeapicost.com/v1, usa tu clave y establece el modelo en uncensored. El modelo está ajustado para responder sin rechazos de contenido para uso adulto legal. La regla estricta es sin contenido sexual que involucre menores de edad.
Los compromisos son claros. Tus prompts salen de tu máquina. El servicio es solo texto. Dependes de una conexión de red. Los prompts no se usan para entrenamiento, y la página de privacidad tiene los detalles, pero un modelo local sigue siendo la única configuración donde nada sale nunca de tu computadora.
Costo: tu hardware versus pago por token
La inferencia local se siente gratuita porque el costo se paga por adelantado en hardware y electricidad. El costo en la nube es pequeño por mensaje y visible. Aquí están los cálculos para esta API, a $0.15 por 1M de tokens de entrada y $0.50 por 1M de tokens de salida.
Toma un turno de roleplay donde la aplicación envía 6.000 tokens de historial y recibe una respuesta de 300 tokens:
- Entrada: 6,000 / 1,000,000 x $0.15 = $0.0009
- Salida: 300 / 1.000.000 x $0,50 = $0,00015
- Total por turno: $0.00105
| Uso | Turnos | Costo |
|---|---|---|
| Mes ligero | 1.000 turnos con 6.000 de entrada / 300 de salida | $1.05 |
| Mes pesado | 10.000 turnos con 6.000 de entrada / 300 de salida | $10.50 |
| Mes pesado, memoria larga | 10.000 turnos con 20.000 de entrada / 300 de salida | $31.50 |
La fila de memoria larga da 20.000 tokens × $0,15 por 1M = $0,003 de entrada más $0,00015 de salida, es decir, $0,00315 por turno y $31,50 para 10.000 turnos. La entrada domina el coste en chats largos, por eso resumir escenas antiguas ahorra dinero real.
Las recargas comienzan en $20, con un bono de +5% desde $50, +10% desde $100 y +15% desde $200, y el crédito no caduca. Este sitio acepta por cripto (USDT en TRC20 o USDC en Base). Consulta la página de precios para los detalles, y el artículo mitos y hechos de precios para ver cómo se comporta la facturación por token en la práctica.
Cómo decidir
Usa esta lista de verificación.
Mantente local si
- Ya tienes una GPU con mucha memoria y disfrutas ajustando.
- Nada debe salir de tu máquina, por cualquier razón.
- Tus sesiones son cortas y el estilo de un modelo pequeño te conviene.
- Quieres ejecutarlo sin conexión.
Usa una API en la nube si
- Tu hardware limita la ventana de contexto o hace lentas las respuestas.
- Juegas campañas largas donde la continuidad es importante.
- Ejecutas una aplicación de compañía o ficción para adultos y necesitas muchas conversaciones simultáneas. Una clave completa permite 8 peticiones simultáneas y 300 peticiones por minuto.
- Quieres probar un modelo sin configuración. Los usuarios nuevos pueden reclamar $0.50 de crédito de prueba con un solo clic, válido por 7 días, sin necesidad de tarjeta.
Si cumples ambas listas, combínalas. Mantén un modelo local para sesiones privadas y usa la API para las largas.
Una configuración híbrida en pocas líneas
Como Ollama, LM Studio y el servidor de llama.cpp exponen todos endpoints al estilo OpenAI, el código de tu cliente no necesita preocuparse por cuál está detrás. Este fragmento de Python cambia mediante una variable de entorno:
import os
from openai import OpenAI
if os.getenv("USE_CLOUD") == "1":
client = OpenAI(
base_url="https://api.claudeapicost.com/v1",
api_key=os.environ["API_KEY"],
)
model = "uncensored"
else:
client = OpenAI(base_url="http://localhost:11434/v1", api_key="local")
model = "your-local-model"
reply = client.chat.completions.create(
model=model,
messages=[
{"role": "system", "content": "You are Mira, a dry-witted ship engineer in a sci-fi story."},
{"role": "user", "content": "The reactor is humming wrong again."},
],
temperature=0.9,
stream=True,
)
for chunk in reply:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="")
La URL local anterior es el puerto por defecto de Ollama; cámbialo si usas otro servidor. Para la parte en la nube, la documentación cubre streaming, modo JSON y llamadas a funciones, y la página de claves es donde te registras con Google o con correo electrónico y contraseña.
Configuraciones importantes para ambas rutas
Una buena escritura de personajes depende más de la estructura del prompt que del motor. Algunos hábitos ayudan tanto en modelos locales como en la nube:
- Coloca la voz, los objetivos y los hábitos de habla del personaje en el mensaje del sistema, y mantenlo breve.
- Usa
temperaturealrededor de 0.8 a 1.0 para un diálogo animado y bájalo si el personaje empieza a divagar. La API pasatemperature,top_p,stop,seedy las penalizaciones. - Establece una penalización de frecuencia o presencia si las respuestas repiten frases.
- Resume las escenas antiguas de vez en cuando en lugar de enviar todo el registro. Es más barato en la nube y más rápido localmente.
Empezar en diez minutos
Si el cálculo de costes te parece aceptable, una prueba no tiene coste. Regístrate en la página de claves, reclama el crédito de prueba con un clic de $0,50 (uno por persona, válido durante 7 días), pega la URL base y la clave en tu interfaz de roleplay y establece el modelo en uncensored. A unos $0,00105 por turno del ejemplo anterior, $0,50 cubren aproximadamente 476 turnos, ya que 0,50 / 0,00105 = 476,19.
La clave de prueba está limitada a 2 peticiones simultáneas y 60 peticiones por minuto, lo cual es suficiente para una persona chateando. Ejecuta la misma escena que usas para juzgar modelos locales y compara la consistencia de la voz, la memoria de detalles anteriores y la velocidad de respuesta en tus propias tarjetas de personaje. Esa prueba es más útil que cualquier benchmark, porque la calidad del roleplay es una cuestión de gusto.
Ten en cuenta la regla de los menores para cualquier ficción que escribas: el contenido sexual que involucre a menores nunca está permitido, bajo ningún planteamiento.
