롤플레이용 최고의 로컬 모델을 결정하는 요소
롤플레이를 위한 최고의 로컬 LLM을 묻는 사람들은 보통 이름을 원합니다. 이름은 몇 주 안에 구식화되므로, 변하지 않는 기준을 사용하세요.
- 파라미터 수. 더 큰 모델은 캐릭터의 목소리를 더 잘 유지하고 줄거리 흐름을 더 잘 추적합니다. 작은 모델은 반복하고 세부 사항을 잊는 경향이 있습니다.
- 양자화. 4비트 또는 5비트 빌드는 품질 손실이 적으면서도 메모리 사용을 크게 줄입니다. 4비트 미만이면 긴 장면에서 품질 저하가 더 쉽게 눈에 띕니다.
- 컨텍스트 길이. 롤플레이는 긴 대화입니다. 모델은 캐릭터 카드, 세계관 노트와 최근 대화를 동시에 유지해야 합니다.
- 파인튜닝. 소설과 대화로 튜닝된 모델은 일반 어시스턴트보다 더 나은 문체를 작성하며, 많은 로컬 파인튜닝은 합법적인 성인 소설에 대한 거부를 건너뛰도록 훈련됩니다.
- 속도. 읽기 속도로 도착하는 응답은 대화처럼 느껴집니다. 더디게 움직이는 응답은 흐름을 끊습니다.
현재 추천 항목은 Ollama, LM Studio 또는 KoboldCpp와 같이 사용하는 도구에 대한 최근 커뮤니티 스레드와 리더보드를 확인하세요. 날짜를 확인하세요. 지난 분기의 인기 모델은 이미 대체되었을 수 있기 때문입니다.
로컬 모델이 부딪히는 한계
한계는 거의 모델 파일이 아닙니다. 메모리입니다. 가중치는 VRAM이나 빠른 시스템 RAM이 필요하며, 컨텍스트 캐시는 히스토리의 모든 토큰마다 추가로 그 위에 쌓입니다. 4,000 토큰의 컨텍스트에 맞는 모델을 실행하는 것은 쉽지만, 적절한 속도로 30,000 토큰의 스토리를 메모리에 유지하려면 훨씬 더 많은 자원이 필요합니다.
따라서 대부분의 로컬 롤플레이 설정은 다음 세 가지 방법 중 하나로 타협합니다:
- 더 평평한 캐릭터를 작성하는 더 작은 모델.
- 캐릭터가 이전 장면을 잊게 만드는 짧은 컨텍스트 창.
- 레이어를 CPU로 오프로딩하여 응답 속도를 늦춤.
이 중 어느 것도 로컬을 나쁜 선택으로 만들지 않습니다. 강력한 GPU를 이미 보유하고 있다면 이러한 트레이드오프가 적합할 수 있습니다. 이는 "어떤 로컬 모델"에 대한 정직한 답변이 먼저 하드웨어에 따라 달라진다는 것을 의미합니다.
클라우드 API가 바꾸는 것
호스팅 API는 메모리 문제를 다른 곳으로 옮깁니다. 이 서비스는 컨텍스트 창이 100,000 토큰인 오픈 웨이트 모델 하나를 노출합니다(프롬프트와 결과물 합산). 긴 이야기, 상세한 캐릭터 카드와 로어북 항목을 잘라내지 않아도 들어갑니다. 다운로드도, 양자화 선택지도, 드라이버 문제도 없습니다.
또한 OpenAI 호환입니다. OpenAI 스타일 엔드포인트와 통신할 수 있는 모든 프론트엔드가 작동합니다: Base URL을 https://api.claudeapicost.com/v1로 설정하고, 키를 사용하며, 모델을 uncensored로 설정하세요. 이 모델은 합법적인 성인 사용에 대한 콘텐츠 거부 없이 답변하도록 튜닝되었습니다. 절대 규칙은 미성년자가 관련된 성 콘텐츠가 없다는 것입니다.
트레이드오프는 명확합니다. 프롬프트가 머신에서 나갑니다. 서비스는 텍스트 전용입니다. 네트워크 연결에 의존합니다. 프롬프트는 학습에 사용되지 않으며 프라이버시 페이지에 세부 정보가 있지만, 로컬 모델은 여전히 아무것도 컴퓨터를 떠나지 않는 유일한 설정입니다.
비용: 하드웨어 vs 토큰 단위 과금
로컬 추론은 하드웨어와 전기에 대한 비용이 선불로 지불되기 때문에 무료처럼 느껴집니다. 클라우드 비용은 메시지당 작고 가시적입니다. 이 API의 계산입니다. 가격은 입력 토큰 1M당 $0.15, 출력 토큰 1M당 $0.50입니다.
앱이 6,000 토큰의 히스토리를 보내고 300 토큰의 응답을 받는 롤플레이 턴을 가정해 보세요:
- 입력: 6,000 / 1,000,000 x $0.15 = $0.0009
- 출력: 300 / 1,000,000 x $0.50 = $0.00015
- 턴당 총 비용: $0.00105
| 사용 | 턴 | 비용 |
|---|---|---|
| 가벼운 달 | 6,000 입력 / 300 출력 기준 1,000 턴 | $1.05 |
| 무거운 달 | 6,000 입력 / 300 출력 기준 10,000 턴 | $10.50 |
| 무거운 달, 긴 메모리 | 20,000 입력 / 300 출력 기준 10,000 턴 | $31.50 |
장기 기억 행은 20,000 토큰 x 1M당 $0.15 = $0.003 입력 + $0.00015 출력, 즉 턴당 $0.00315, 10,000 턴 기준 $31.50입니다. 긴 대화에서는 입력이 비용을 지배하므로, 이전 장면의 요약이 실제 비용을 절약합니다.
충전은 $20부터 시작하며, $50부터는 +5%, $100부터는 +10%, $200부터는 +15% 보너스가 적용됩니다. 크레딧은 만료되지 않습니다. 이 사이트는 암호화폐(TRC20의 USDT 또는 Base의 USDC)를 받습니다. 자세한 내용은 pricing page를 참고하고, 토큰별 과금이 실제로 어떻게 작동하는지 pricing myths and facts 기사를 확인하세요.
결정 방법
이 체크리스트를 사용하세요.
로컬을 유지하세요
- 이미 충분한 메모리가 있는 GPU를 보유하고 있고 튜닝을 즐긴다면.
- 어떤 이유로든 머신에서 아무것도 나가서는 안 됩니다.
- 세션이 짧고 작은 모델의 스타일이 적합합니다.
- 오프라인에서 실행하고 싶습니다.
다음과 같은 경우 클라우드 API를 사용하세요.
- 하드웨어로 인해 컨텍스트 창이 짧거나 응답 속도가 느려집니다.
- 연속성이 중요한 긴 캠페인을 진행합니다.
- 다른 성인들을 위한 동반자 또는 픽션 앱을 실행하고 많은 동시 채팅이 필요합니다. 전체 키는 분당 동시 요청 8개와 분당 요청 300개를 허용합니다.
- 설치 없이 모델을 시도하고 싶습니다. 신규 사용자는 한 번의 클릭으로 7일 동안 유효하고 카드 필요 없는 $0.50의 무료 체험 크레딧을 받을 수 있습니다.
두 목록 모두에 해당한다면 결합하세요. 개인용 세션에는 로컬 모델을 유지하고 긴 세션에는 API를 사용하세요.
몇 줄로 하이브리드 설정하기
Ollama, LM Studio, llama.cpp의 서버는 모두 OpenAI 스타일의 엔드포인트를 노출하므로 클라이언트 코드는 그 뒤에 어떤 것이 있는지 신경 쓸 필요가 없습니다. 이 Python 스크립트는 하나의 환경 변수로 전환합니다:
import os
from openai import OpenAI
if os.getenv("USE_CLOUD") == "1":
client = OpenAI(
base_url="https://api.claudeapicost.com/v1",
api_key=os.environ["API_KEY"],
)
model = "uncensored"
else:
client = OpenAI(base_url="http://localhost:11434/v1", api_key="local")
model = "your-local-model"
reply = client.chat.completions.create(
model=model,
messages=[
{"role": "system", "content": "You are Mira, a dry-witted ship engineer in a sci-fi story."},
{"role": "user", "content": "The reactor is humming wrong again."},
],
temperature=0.9,
stream=True,
)
for chunk in reply:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="")
위의 로컬 URL은 Ollama의 기본 포트입니다. 다른 서버를 사용하는 경우 변경하세요. 클라우드 부분의 경우 문서에서 스트리밍, JSON 모드, 함수 호출을 확인할 수 있으며, 키 페이지에서 Google 또는 이메일과 비밀번호로 가입할 수 있습니다.
두 경로 모두에 중요한 설정
좋은 캐릭터 작성은 엔진보다 프롬프트 구조에 더 의존합니다. 로컬 및 클라우드 모델 모두에서 도움이 되는 몇 가지 습관이 있습니다:
- 캐릭터의 목소리, 목표, 말버릇을 시스템 메시지에 넣고 짧게 유지하세요.
- 활기찬 대화를 위해
temperature을 0.8에서 1.0 사이로 설정하고 캐릭터가 장황해지면 낮추세요. API는temperature,top_p,stop,seed및 페널티를 전달합니다. - 응답에서 구문이 반복되는 경우 빈도 또는 존재 페널티를 설정하세요.
- 전체 로그를 보내는 대신 가끔씩 이전 장면을 요약하세요. 클라우드에서는 더 저렴하고 로컬에서는 더 빠릅니다.
10분 안에 시작하기
비용 계산이 합리적으로 보인다면 무료 체험은 시도해 볼 가치가 있습니다. 키 페이지에서 가입하고 한 번의 클릭으로 $0.50의 무료 체험 크레딧을 받습니다(인당 1회, 7일 유효). 베이스 URL과 키를 롤플레이 프론트 엔드에 붙여넣고 모델을 uncensored로 설정하세요. 이전 예시의 턴당 약 $0.00105의 비용으로, $0.50는 약 476턴을 커버합니다(0.50 / 0.00105 = 476.19).
체험 키는 동시 요청 2개와 분당 요청 60개로 제한되며, 이는 한 사람이 채팅하기에는 충분합니다. 로컬 모델을 평가할 때 사용하는 장면을 실행하고, 캐릭터 카드에서 목소리 일관성, 이전 세부 사항의 기억력, 응답 속도를 비교합니다. 이 테스트는 어떤 벤치마크보다 유용합니다. 롤플레이의 질은 취향의 문제이기 때문입니다.
작성하는 모든 픽션에 미성년자 관련 규칙을 명심하세요: 미성년자가 관련된 성적인 콘텐츠는 어떤 형식으로도 절대 허용되지 않습니다.
