ロールプレイに最適なローカルモデルを決定するもの
ロールプレイに最適なローカルLLMを求めている人々は通常、名前を欲しがります。名前は数週間で陳腐化するため、長く通用する基準を使ってください。
- パラメータ数。 大規模モデルはキャラクターの声やプロットスレッドの追跡が優れています。小規模モデルは自己反復し、詳細を忘れがちです。
- 量子化。 4ビットまたは5ビットのビルドは、品質のわずかな低下でメモリ使用量を大幅に削減します。4ビット未満では、長いシーンで低下が目立ちやすくなります。
- コンテキスト長。 ロールプレイは長い会話です。モデルはキャラクターカード、世界観ノート、直近の会話を同時に保持する必要があります。
- ファインチューン。 小説や対話でファインチューニングされたモデルは、一般的なアシスタントよりも優れた文章を書き、多くのローカルファインチューンは合法的な成人向け小説に対して拒否をスキップするように訓練されています。
- 速度。 読書速度で届く返信は会話のように感じられます。遅い返信は流れを断ち切ります。
現在の選択については、Ollama、LM Studio、KoboldCppなどの使用するツールの最新のコミュニティスレッドやリーダーボードを読んでください。日付を確認してください。前四半期の定番はすでに置き換えられていることが多いからです。
ローカルモデルが壁にぶつかる場所
制限はモデルファイルではなく、ほぼ常にメモリです。重みにはVRAMまたは高速システムRAMが必要で、コンテキストキャッシュは履歴のトークンごとにその上に成長します。4,000トークンのコンテキストで収まるモデルの実行は簡単ですが、 適度な速度で30,000トークンのストーリーをメモリに保持するには、はるかに多くのリソースが必要です。
したがって、ほとんどのローカルロールプレイ設定は次の3つの方法のいずれかで妥協します:
- 平坦なキャラクターを書く小規模モデル。
- キャラクターが以前のシーンを忘れる短いコンテキストウィンドウ。
- CPUへのレイヤーオフロードによる遅い返信。
これらはすべてローカルを悪い選択にするものではありません。強力なGPUをすでに所有している場合、これらのトレードオフはあなたにとって問題ないかもしれません。それは「どのローカルモデルか」という正直な答えが、まずハードウェア、次にモデルに依存することを意味します。
クラウドAPIが変えるもの
ホストされたAPIはメモリ問題を他者に移します。このサービスは、100,000トークンのコンテキストウィンドウ(プロンプトとコンプリーションの合計)を持つ1つのオープンウェイトモデルを公開します。これにより、長いストーリー、詳細なキャラクターカード、lorebookエントリをトリミングせずに収まります。ダウンロード、量子化の選択、ドライバの問題はありません。
また、OpenAI互換です。OpenAIスタイルのエンドポイントと通信できるフロントエンドはすべて機能します:ベースURLをhttps://api.claudeapicost.com/v1に設定し、API キーを使用し、モデルをuncensoredに設定します。このモデルは、合合法的な成人向け利用においてコンテンツ拒否なしで回答するようにチューニングされています。絶対的なルールは、未成年者を含む性的コンテンツがないことです。
トレードオフは明白です。プロンプトはあなたのマシンから離れます。サービスはテキストのみです。ネットワーク接続に依存します。プロンプトはトレーニングに使用されず、プライバシーページに詳細がありますが、ローカルモデルは唯一何もコンピュータから離れない設定です。
コスト:ハードウェア対トークン課金
ローカル推論はハードウェアと電気料金の前払いコストがかかるため無料のように感じられます。クラウドのコストはメッセージごとに小さく、可視です。このAPIの計算は、入力トークン100万あたり$0.15、出力トークン100万あたり$0.50です。
アプリが6,000トークンの履歴を送信し、300トークンの返信を取得するロールプレイのターンを考えます:
- 入力:6,000 / 1,000,000 x $0.15 = $0.0009
- 出力:300 / 1,000,000 x $0.50 = $0.00015
- ターンごとの合計:$0.00105
| 使用 | ターン | コスト |
|---|---|---|
| 利用が少ない月 | 6,000入力 / 300出力の1,000ターン | $1.05 |
| 利用が多い月 | 6,000入力 / 300出力の10,000ターン | $10.50 |
| 利用が非常に多い月、長いメモリ | 20,000入力 / 300出力の10,000ターン | $31.50 |
ロングメモリ行の計算は、20,000トークン x 1Mあたり$0.15 = 入力$0.003 および出力$0.00015、つまりターンあたり$0.00315、10,000ターンで$31.50となります。長文のチャットでは入力がコストの大部分を占めるため、古いシーンの要約が実質的な節約につながります。
チャージは$20から始まり、$50から+5%、$100から+10%、$200から+15%のボーナスがあり、クレジットは期限切れになりません。当サイトは暗号通貨(TRC20上のUSDTまたはBase上のUSDC)を受け付けます。詳細は価格ページを、トークン課金が実際にどのように機能するかは価格のよくある誤解と事実記事をご覧ください。
判断基準
このチェックリストを使用してください。
ローカルを維持する場合
- 十分なメモリを持つGPUをすでに所有しており、チューニングを楽しむタイプです。
- いかなる理由があっても、データを外部に出してはならない場合。
- セッションが短く、小規模モデルのスタイルが好みに合っています。
- オフラインで実行したいと考えています。
以下の場合にクラウドAPIを使用してください。
- ハードウェアの制約によりコンテキストウィンドウが短く、応答が遅くなる場合。
- 継続性が重要な長いキャンペーンを実行しています。
- 他の大人向けにコンパニオンまたはフィクションアプリを実行しており、多くの同時チャットが必要です。フルキーでは8つの同時リクエストと1分あたり300リクエストが可能です。
- セットアップ不要でモデルを試したいと考えています。新規ユーザーはワンクリックで7日間有効な$0.50の無料トライアルクレジットを取得できます(クレジットカード不要)。
両方のリストに該当する場合は、それらを組み合わせます。プライベートなセッションにはローカルモデルを、長いセッションにはAPIを使用します。
数行で実現するハイブリッド構成
Ollama、LM Studio、llama.cppのサーバーはいずれもOpenAIスタイルのエンドポイントを公開しているため、クライアントコードは背後にあるのがどれであるかを気にする必要はありません。このPythonスニペットは1つの環境変数で切り替えます:
import os
from openai import OpenAI
if os.getenv("USE_CLOUD") == "1":
client = OpenAI(
base_url="https://api.claudeapicost.com/v1",
api_key=os.environ["API_KEY"],
)
model = "uncensored"
else:
client = OpenAI(base_url="http://localhost:11434/v1", api_key="local")
model = "your-local-model"
reply = client.chat.completions.create(
model=model,
messages=[
{"role": "system", "content": "You are Mira, a dry-witted ship engineer in a sci-fi story."},
{"role": "user", "content": "The reactor is humming wrong again."},
],
temperature=0.9,
stream=True,
)
for chunk in reply:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="")
上記のローカルURLはOllamaのデフォルトポートです。別のサーバーを使用する場合は変更してください。クラウド側については、ドキュメントにストリーミング、JSONモード、ツール呼び出しの情報が記載されています。また、APIキーのページでGoogleまたはメールアドレスとパスワードを使用して登録できます。
どちらのルートでも重要な設定
優れたキャラクター描写は、エンジンよりもプロンプトの構造に依存します。ローカルモデルとクラウドモデルの両方で役立つ、いくつかの習慣があります:
- キャラクターの声、目標、会話の癖をシステムメッセージに記述し、短く保ってください。
- 活発な会話には
temperatureを0.8から1.0に設定し、キャラクターが長話し始めたら値を下げてください。APIはtemperature、top_p、stop、seedおよびペナルティをそのまま渡します。 - 応答でフレーズの繰り返しが発生する場合は、頻度ペナルティまたは存在ペナルティを設定してください。
- ログ全体を送信するのではなく、ときどき古いシーンを要約してください。クラウドではコストが抑えられ、ローカルでは処理が高速になります。
10分で始める
コスト計算が妥当に見える場合、トライアルは無料で試すことができます。APIキーのページでサインアップし、ワンクリックで$0.50の無料トライアルクレジットを取得(1人1回、7日間有効)し、ベースURLとAPI キーをロールプレイフロントエンドに貼り付け、モデルをuncensoredに設定します。前述の例では1ターンあたり約$0.00105であり、$0.50は約476ターンをカバーします(0.50 / 0.00105 = 476.19)。
トライアルキーは2つの同時リクエストと1分あたり60リクエストに制限されており、1人のユーザーがチャットするには十分です。ローカルモデルを評価するために使用するのと同じシーンを実行し、キャラクターカード上で声の一貫性、以前の詳細の記憶、応答速度を比較してください。このテストは、ロールプレイの品質が好みによるものであるため、ベンチマークよりも有用です。
作成するあらゆるフィクションにおいて、未成年者に関するルールを念頭に置いてください:未成年者を含む性的コンテンツは、いかなる形式でも常に禁止されています。
