Что определяет лучшую локальную модель для ролевых игр
Люди, ищущие лучшую локальную LLM для ролевой игры, обычно хотят услышать название. Названия устаревают за недели, поэтому используйте критерии, которые остаются актуальными.
- Количество параметров. Большие модели лучше сохраняют голос персонажа и отслеживают сюжетные линии. Маленькие модели склонны повторяться и забывать детали.
- Квантование. Сборка с 4-битным или 5-битным квантованием значительно снижает использование памяти при умеренной потере качества. Ниже 4 бит падение качества становится заметным в длинных сценах.
- Длина контекста. Ролевая игра — это длинный разговор. Модель должна одновременно удерживать карточку персонажа, заметки о мире и недавние реплики.
- Тонкая настройка. Модели, настроенные на художественной литературе и диалогах, пишут более качественный текст, чем общие ассистенты, и многие локальные модели с тонкой настройкой обучены игнорировать отказы для законной взрослой художественной литературы.
- Скорость. Ответ, приходящий со скоростью чтения, ощущается как разговор. Тот, что ползёт, нарушает поток.
Для текущих выборов читайте недавние обсуждения сообщества и таблицы лидеров для используемого вами инструмента, такого как Ollama, LM Studio или KoboldCpp. Проверяйте даты, потому что любимая модель прошлого квартала часто уже заменена.
Где локальные модели упираются в стену
Предел почти никогда не является файлом модели. Это память. Веса требуют VRAM или быстрой системной RAM, а кэш контекста растёт поверх этого с каждым токеном истории. Запуск модели, которая помещается в контекст 4 000 токенов, прост; удержание 30 000 токенов истории в памяти при приличной скорости требует гораздо большего.
Поэтому большинство локальных настроек для ролевых игр идут на компромисс одним из трёх способов:
- Меньшая модель, которая пишет более плоских персонажей.
- Короткое контекстное окно, из-за которого персонаж забывает более ранние сцены.
- Выгрузка слоёв на CPU, что замедляет ответы.
Ничто из этого не делает локальную модель плохим выбором. Если у вас уже есть мощная видеокарта, эти компромиссы могут вас устроить. Это означает, что честный ответ на вопрос «какая локальная модель» зависит от вашего оборудования в первую очередь и от модели во вторую.
Что меняет облачный API
Размещённый API переносит проблему памяти на другого человека. Этот сервис предоставляет одну модель с открытыми весами с контекстным окном в 100 000 токенов (промпт и завершение вместе), поэтому длинная история, детальная карточка персонажа и записи из лорбука помещаются без сокращений. Нет загрузки, нет выбора квантования и нет проблем с драйверами.
Он также совместим с OpenAI. Любой интерфейс, который может общаться с эндпоинтом в стиле OpenAI, работает: установите базовый URL в https://api.claudeapicost.com/v1, используйте ваш ключ и установите модель в uncensored. Модель настроена на ответы без отказов по контенту для законного использования взрослыми. Строгое правило — отсутствие сексуального контента с участием несовершеннолетних.
Компромиссы очевидны. Ваши промпты покидают ваш компьютер. Сервис работает только с текстом. Вы зависите от сетевого соединения. Промпты не используются для обучения, а на странице конфиденциальности есть подробности, но локальная модель остаётся единственной настройкой, при которой ничего никогда не покидает ваш компьютер.
Стоимость: ваше оборудование против оплаты за токен
Локальный вывод кажется бесплатным, потому что стоимость оплачивается заранее оборудованием и электричеством. Стоимость облака мала за сообщение и видна. Вот математика для этого API: $0,15 за 1 млн входных токенов и $0,50 за 1 млн выходных токенов.
Возьмём реплику ролевой игры, где приложение отправляет 6 000 токенов истории и получает ответ на 300 токенов:
- Вход: 6 000 / 1 000 000 × $0,15 = $0,0009
- Выход: 300 / 1 000 000 x $0,50 = $0,00015
- Итого за реплику: $0,00105
| Использование | Реплики | Стоимость |
|---|---|---|
| Лёгкий месяц | 1 000 реплик при 6 000 на входе / 300 на выходе | $1.05 |
| Тяжёлый месяц | 10 000 реплик при 6 000 на входе / 300 на выходе | $10.50 |
| Тяжёлый месяц, длинная память | 10 000 реплик при 20 000 на входе / 300 на выходе | $31.50 |
Строка с длинной памятью рассчитывается как 20 000 токенов x $0,15 за 1 млн = $0,003 на вход плюс $0,00015 на выход, итого $0,00315 за реплику и $31,50 за 10 000 реплик. Входные токены доминируют в стоимости в длинных чатах, поэтому суммаризация старых сцен экономит реальные деньги.
Пополнение начинается от $20, с бонусом +5% от $50, +10% от $100 и +15% от $200, и кредит не сгорает. Этот сайт принимает оплату криптовалютой (USDT on TRC20 или USDC on Base). Подробности см. на странице цен, а в статье мифы и факты о ценообразовании — как ведёт себя оплата за токен на практике.
Как принять решение
Используйте этот чек-лист.
Оставайтесь локальными, если
- У вас уже есть GPU с достаточной памятью и вам нравится тонкая настройка.
- Ничего не должно покидать ваш компьютер по любой причине.
- Ваши сессии короткие, а стиль маленькой модели вам подходит.
- Вы хотите работать офлайн.
Используйте облачный API, если
- Ваше оборудование ограничивает размер контекстного окна или замедляет ответы.
- Вы ведёте длинные сессии, где важна непрерывность контекста.
- Вы запускаете приложение-компаньона или художественное приложение для других взрослых и вам нужно много параллельных чатов. Полный ключ позволяет 8 параллельных запросов и 300 запросов в минуту.
- Вы хотите попробовать модель без настройки. Новые пользователи могут получить $0,50 пробного баланса в один клик, срок действия — 7 дней, карта не нужна.
Если вы подходите под оба списка, объедините их. Храните локальную модель для приватных сессий, а облачный API — для длинных.
Гибридная настройка в нескольких строках
Поскольку серверы Ollama, LM Studio и llama.cpp предоставляют эндпоинты в стиле OpenAI, вашему клиентскому коду не нужно знать, какой из них используется. Этот фрагмент кода на Python переключается с помощью одной переменной окружения:
import os
from openai import OpenAI
if os.getenv("USE_CLOUD") == "1":
client = OpenAI(
base_url="https://api.claudeapicost.com/v1",
api_key=os.environ["API_KEY"],
)
model = "uncensored"
else:
client = OpenAI(base_url="http://localhost:11434/v1", api_key="local")
model = "your-local-model"
reply = client.chat.completions.create(
model=model,
messages=[
{"role": "system", "content": "You are Mira, a dry-witted ship engineer in a sci-fi story."},
{"role": "user", "content": "The reactor is humming wrong again."},
],
temperature=0.9,
stream=True,
)
for chunk in reply:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="")
Указанный выше локальный URL — это порт Ollama по умолчанию; измените его, если используете другой сервер. В разделе документации для облачной части описаны потоковая передача, JSON-режим и вызов функций, а на странице ключей вы можете зарегистрироваться через Google или по электронной почте и паролю.
Настройки, которые важны для обоих вариантов
Качество письма персонажа зависит от структуры промпта больше, чем от движка. Несколько привычек помогут как для локальных, так и для облачных моделей:
- Поместите голос, цели и речевые привычки персонажа в системное сообщение и держите его кратким.
- Используйте
temperatureоколо 0,8–1,0 для живого диалога и снизьте его, если персонаж начинает болтать. API передаёт параметрыtemperature,top_p,stop,seedи штрафы. - Установите штраф за частоту или присутствие, если ответы повторяют фразы.
- Регулярно суммируйте старые сцены вместо отправки всего журнала. В облаке это дешевле, а локально — быстрее.
Начало работы за десять минут
Если расчёты стоимости кажутся приемлемыми, пробный период стоит попробовать бесплатно. Зарегистрируйтесь на странице ключей, получите одноразовый пробный баланс в $0,50 (по одному на человека, действует 7 дней), вставьте базовый URL и ключ в интерфейс для ролевой игры и установите модель uncensored. При стоимости около $0,00105 за реплику из предыдущего примера $0,50 покрывают примерно 476 реплик, так как 0,50 / 0,00105 = 476,19.
Пробный ключ ограничен 2 параллельными запросами и 60 запросами в минуту, чего более чем достаточно для одного человека в чате. Запустите тот же сценарий, который вы используете для оценки локальных моделей, и сравните согласованность голоса, память о предыдущих деталях и скорость ответа на ваших собственных карточках персонажей. Этот тест более полезен, чем любой бенчмарк, потому что качество ролевой игры — вопрос вкуса.
Имейте в виду правило для несовершеннолетних при написании любой художественной литературы: сексуальный контент с участием несовершеннолетних никогда не допускается ни в каком формате.
