RU ▾
стоимость API Claude.com

API LLM без цензуры по прозрачным ценам

https://api.claudeapicost.com/v1

claudeapicost.comПолучить API-ключ

Лучшая локальная LLM для ролевой игры против облачного API

Лучшая локальная LLM для ролевой игры — самая большая модель, настроенная для ролевых игр, которую ваша видеокарта может запустить с приемлемой длиной контекста. Если это означает маленькие модели или короткую память, облачный API может подойти вам лучше.

Обновлено

Локальный компьютер с GPU и светящееся облако, соединённые лентой чат-пузырей, сравнивающие локальные и облачные LLM для ролевых игр

Ключевые моменты

Что определяет лучшую локальную модель для ролевых игр

Люди, ищущие лучшую локальную LLM для ролевой игры, обычно хотят услышать название. Названия устаревают за недели, поэтому используйте критерии, которые остаются актуальными.

  • Количество параметров. Большие модели лучше сохраняют голос персонажа и отслеживают сюжетные линии. Маленькие модели склонны повторяться и забывать детали.
  • Квантование. Сборка с 4-битным или 5-битным квантованием значительно снижает использование памяти при умеренной потере качества. Ниже 4 бит падение качества становится заметным в длинных сценах.
  • Длина контекста. Ролевая игра — это длинный разговор. Модель должна одновременно удерживать карточку персонажа, заметки о мире и недавние реплики.
  • Тонкая настройка. Модели, настроенные на художественной литературе и диалогах, пишут более качественный текст, чем общие ассистенты, и многие локальные модели с тонкой настройкой обучены игнорировать отказы для законной взрослой художественной литературы.
  • Скорость. Ответ, приходящий со скоростью чтения, ощущается как разговор. Тот, что ползёт, нарушает поток.

Для текущих выборов читайте недавние обсуждения сообщества и таблицы лидеров для используемого вами инструмента, такого как Ollama, LM Studio или KoboldCpp. Проверяйте даты, потому что любимая модель прошлого квартала часто уже заменена.

Где локальные модели упираются в стену

Предел почти никогда не является файлом модели. Это память. Веса требуют VRAM или быстрой системной RAM, а кэш контекста растёт поверх этого с каждым токеном истории. Запуск модели, которая помещается в контекст 4 000 токенов, прост; удержание 30 000 токенов истории в памяти при приличной скорости требует гораздо большего.

Поэтому большинство локальных настроек для ролевых игр идут на компромисс одним из трёх способов:

  1. Меньшая модель, которая пишет более плоских персонажей.
  2. Короткое контекстное окно, из-за которого персонаж забывает более ранние сцены.
  3. Выгрузка слоёв на CPU, что замедляет ответы.

Ничто из этого не делает локальную модель плохим выбором. Если у вас уже есть мощная видеокарта, эти компромиссы могут вас устроить. Это означает, что честный ответ на вопрос «какая локальная модель» зависит от вашего оборудования в первую очередь и от модели во вторую.

Что меняет облачный API

Размещённый API переносит проблему памяти на другого человека. Этот сервис предоставляет одну модель с открытыми весами с контекстным окном в 100 000 токенов (промпт и завершение вместе), поэтому длинная история, детальная карточка персонажа и записи из лорбука помещаются без сокращений. Нет загрузки, нет выбора квантования и нет проблем с драйверами.

Он также совместим с OpenAI. Любой интерфейс, который может общаться с эндпоинтом в стиле OpenAI, работает: установите базовый URL в https://api.claudeapicost.com/v1, используйте ваш ключ и установите модель в uncensored. Модель настроена на ответы без отказов по контенту для законного использования взрослыми. Строгое правило — отсутствие сексуального контента с участием несовершеннолетних.

Компромиссы очевидны. Ваши промпты покидают ваш компьютер. Сервис работает только с текстом. Вы зависите от сетевого соединения. Промпты не используются для обучения, а на странице конфиденциальности есть подробности, но локальная модель остаётся единственной настройкой, при которой ничего никогда не покидает ваш компьютер.

Стоимость: ваше оборудование против оплаты за токен

Локальный вывод кажется бесплатным, потому что стоимость оплачивается заранее оборудованием и электричеством. Стоимость облака мала за сообщение и видна. Вот математика для этого API: $0,15 за 1 млн входных токенов и $0,50 за 1 млн выходных токенов.

Возьмём реплику ролевой игры, где приложение отправляет 6 000 токенов истории и получает ответ на 300 токенов:

  • Вход: 6 000 / 1 000 000 × $0,15 = $0,0009
  • Выход: 300 / 1 000 000 x $0,50 = $0,00015
  • Итого за реплику: $0,00105
ИспользованиеРепликиСтоимость
Лёгкий месяц1 000 реплик при 6 000 на входе / 300 на выходе$1.05
Тяжёлый месяц10 000 реплик при 6 000 на входе / 300 на выходе$10.50
Тяжёлый месяц, длинная память10 000 реплик при 20 000 на входе / 300 на выходе$31.50

Строка с длинной памятью рассчитывается как 20 000 токенов x $0,15 за 1 млн = $0,003 на вход плюс $0,00015 на выход, итого $0,00315 за реплику и $31,50 за 10 000 реплик. Входные токены доминируют в стоимости в длинных чатах, поэтому суммаризация старых сцен экономит реальные деньги.

Пополнение начинается от $20, с бонусом +5% от $50, +10% от $100 и +15% от $200, и кредит не сгорает. Этот сайт принимает оплату криптовалютой (USDT on TRC20 или USDC on Base). Подробности см. на странице цен, а в статье мифы и факты о ценообразовании — как ведёт себя оплата за токен на практике.

Как принять решение

Используйте этот чек-лист.

Оставайтесь локальными, если

  • У вас уже есть GPU с достаточной памятью и вам нравится тонкая настройка.
  • Ничего не должно покидать ваш компьютер по любой причине.
  • Ваши сессии короткие, а стиль маленькой модели вам подходит.
  • Вы хотите работать офлайн.

Используйте облачный API, если

  • Ваше оборудование ограничивает размер контекстного окна или замедляет ответы.
  • Вы ведёте длинные сессии, где важна непрерывность контекста.
  • Вы запускаете приложение-компаньона или художественное приложение для других взрослых и вам нужно много параллельных чатов. Полный ключ позволяет 8 параллельных запросов и 300 запросов в минуту.
  • Вы хотите попробовать модель без настройки. Новые пользователи могут получить $0,50 пробного баланса в один клик, срок действия — 7 дней, карта не нужна.

Если вы подходите под оба списка, объедините их. Храните локальную модель для приватных сессий, а облачный API — для длинных.

Гибридная настройка в нескольких строках

Поскольку серверы Ollama, LM Studio и llama.cpp предоставляют эндпоинты в стиле OpenAI, вашему клиентскому коду не нужно знать, какой из них используется. Этот фрагмент кода на Python переключается с помощью одной переменной окружения:

import os
from openai import OpenAI

if os.getenv("USE_CLOUD") == "1":
    client = OpenAI(
        base_url="https://api.claudeapicost.com/v1",
        api_key=os.environ["API_KEY"],
    )
    model = "uncensored"
else:
    client = OpenAI(base_url="http://localhost:11434/v1", api_key="local")
    model = "your-local-model"

reply = client.chat.completions.create(
    model=model,
    messages=[
        {"role": "system", "content": "You are Mira, a dry-witted ship engineer in a sci-fi story."},
        {"role": "user", "content": "The reactor is humming wrong again."},
    ],
    temperature=0.9,
    stream=True,
)
for chunk in reply:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="")

Указанный выше локальный URL — это порт Ollama по умолчанию; измените его, если используете другой сервер. В разделе документации для облачной части описаны потоковая передача, JSON-режим и вызов функций, а на странице ключей вы можете зарегистрироваться через Google или по электронной почте и паролю.

Настройки, которые важны для обоих вариантов

Качество письма персонажа зависит от структуры промпта больше, чем от движка. Несколько привычек помогут как для локальных, так и для облачных моделей:

  • Поместите голос, цели и речевые привычки персонажа в системное сообщение и держите его кратким.
  • Используйте temperature около 0,8–1,0 для живого диалога и снизьте его, если персонаж начинает болтать. API передаёт параметры temperature, top_p, stop, seed и штрафы.
  • Установите штраф за частоту или присутствие, если ответы повторяют фразы.
  • Регулярно суммируйте старые сцены вместо отправки всего журнала. В облаке это дешевле, а локально — быстрее.

Начало работы за десять минут

Если расчёты стоимости кажутся приемлемыми, пробный период стоит попробовать бесплатно. Зарегистрируйтесь на странице ключей, получите одноразовый пробный баланс в $0,50 (по одному на человека, действует 7 дней), вставьте базовый URL и ключ в интерфейс для ролевой игры и установите модель uncensored. При стоимости около $0,00105 за реплику из предыдущего примера $0,50 покрывают примерно 476 реплик, так как 0,50 / 0,00105 = 476,19.

Пробный ключ ограничен 2 параллельными запросами и 60 запросами в минуту, чего более чем достаточно для одного человека в чате. Запустите тот же сценарий, который вы используете для оценки локальных моделей, и сравните согласованность голоса, память о предыдущих деталях и скорость ответа на ваших собственных карточках персонажей. Этот тест более полезен, чем любой бенчмарк, потому что качество ролевой игры — вопрос вкуса.

Имейте в виду правило для несовершеннолетних при написании любой художественной литературы: сексуальный контент с участием несовершеннолетних никогда не допускается ни в каком формате.

Вопросы и ответы

Локальная модель лучше облачного API для ролевых игр?

Это зависит от вашего оборудования и приоритетов. Локальная модель обеспечивает конфиденциальность и отсутствие платы за сообщение, а облачный API предоставляет длинное контекстное окно и не требует настройки. Многие используют оба варианта.

Какой размер контекста мне нужен для длинных ролевых игр?

Карточки персонажей, заметки о мире и недавние реплики часто суммируются в несколько тысяч токенов, а длинные кампании могут превышать 20 000. Этот API предлагает контекстное окно на 100 000 токенов, включая промпт и ответ.

Могу ли я использовать SillyTavern или аналогичные интерфейсы с API?

Да, любой интерфейс, принимающий эндпоинт, совместимый с OpenAI, работает. Используйте базовый URL, ваш ключ и идентификатор модели uncensored.

Разрешает ли API весь контент?

Модель настроена на ответы без отказов в генерации контента для законного использования взрослыми. Контент сексуального характера с участием несовершеннолетних всегда запрещён.

Как я могу оплатить, если хочу попробовать облачный вариант?

Этот сайт принимает оплату криптовалютой (USDT в сети TRC20, USDC в сети Base), пополнение от $20. После регистрации доступен пробный баланс в $0,50 в один клик.

До вашего ключа — всего одна форма

Создайте аккаунт, скопируйте ключ, измените базовый URL. Это вся настройка.

Получить API-ключ