JA ▾
claudeapicost.com

透明な価格の無検閲LLM API

https://api.claudeapicost.com/v1

claudeapicost.comAPI キーを取得

ロールプレイ向けローカルLLM vs クラウドAPI

ロールプレイに最適なローカルLLMは、GPUが実用的なコンテキスト長で実行できる最大のロールプレイ向けチューニングモデルです。それが小規模モデルや短いメモリを意味する場合、クラウドAPIの方が適しているかもしれません。

更新日:

ローカルとクラウドのロールプレイLLMを比較する、チャットバブルのリボンで結ばれたローカルGPUコンピュータと輝くクラウド

主要ポイント

ロールプレイに最適なローカルモデルを決定するもの

ロールプレイに最適なローカルLLMを求めている人々は通常、名前を欲しがります。名前は数週間で陳腐化するため、長く通用する基準を使ってください。

  • パラメータ数。 大規模モデルはキャラクターの声やプロットスレッドの追跡が優れています。小規模モデルは自己反復し、詳細を忘れがちです。
  • 量子化。 4ビットまたは5ビットのビルドは、品質のわずかな低下でメモリ使用量を大幅に削減します。4ビット未満では、長いシーンで低下が目立ちやすくなります。
  • コンテキスト長。 ロールプレイは長い会話です。モデルはキャラクターカード、世界観ノート、直近の会話を同時に保持する必要があります。
  • ファインチューン。 小説や対話でファインチューニングされたモデルは、一般的なアシスタントよりも優れた文章を書き、多くのローカルファインチューンは合法的な成人向け小説に対して拒否をスキップするように訓練されています。
  • 速度。 読書速度で届く返信は会話のように感じられます。遅い返信は流れを断ち切ります。

現在の選択については、Ollama、LM Studio、KoboldCppなどの使用するツールの最新のコミュニティスレッドやリーダーボードを読んでください。日付を確認してください。前四半期の定番はすでに置き換えられていることが多いからです。

ローカルモデルが壁にぶつかる場所

制限はモデルファイルではなく、ほぼ常にメモリです。重みにはVRAMまたは高速システムRAMが必要で、コンテキストキャッシュは履歴のトークンごとにその上に成長します。4,000トークンのコンテキストで収まるモデルの実行は簡単ですが、 適度な速度で30,000トークンのストーリーをメモリに保持するには、はるかに多くのリソースが必要です。

したがって、ほとんどのローカルロールプレイ設定は次の3つの方法のいずれかで妥協します:

  1. 平坦なキャラクターを書く小規模モデル。
  2. キャラクターが以前のシーンを忘れる短いコンテキストウィンドウ。
  3. CPUへのレイヤーオフロードによる遅い返信。

これらはすべてローカルを悪い選択にするものではありません。強力なGPUをすでに所有している場合、これらのトレードオフはあなたにとって問題ないかもしれません。それは「どのローカルモデルか」という正直な答えが、まずハードウェア、次にモデルに依存することを意味します。

クラウドAPIが変えるもの

ホストされたAPIはメモリ問題を他者に移します。このサービスは、100,000トークンのコンテキストウィンドウ(プロンプトとコンプリーションの合計)を持つ1つのオープンウェイトモデルを公開します。これにより、長いストーリー、詳細なキャラクターカード、lorebookエントリをトリミングせずに収まります。ダウンロード、量子化の選択、ドライバの問題はありません。

また、OpenAI互換です。OpenAIスタイルのエンドポイントと通信できるフロントエンドはすべて機能します:ベースURLをhttps://api.claudeapicost.com/v1に設定し、API キーを使用し、モデルをuncensoredに設定します。このモデルは、合合法的な成人向け利用においてコンテンツ拒否なしで回答するようにチューニングされています。絶対的なルールは、未成年者を含む性的コンテンツがないことです。

トレードオフは明白です。プロンプトはあなたのマシンから離れます。サービスはテキストのみです。ネットワーク接続に依存します。プロンプトはトレーニングに使用されず、プライバシーページに詳細がありますが、ローカルモデルは唯一何もコンピュータから離れない設定です。

コスト:ハードウェア対トークン課金

ローカル推論はハードウェアと電気料金の前払いコストがかかるため無料のように感じられます。クラウドのコストはメッセージごとに小さく、可視です。このAPIの計算は、入力トークン100万あたり$0.15、出力トークン100万あたり$0.50です。

アプリが6,000トークンの履歴を送信し、300トークンの返信を取得するロールプレイのターンを考えます:

  • 入力:6,000 / 1,000,000 x $0.15 = $0.0009
  • 出力:300 / 1,000,000 x $0.50 = $0.00015
  • ターンごとの合計:$0.00105
使用ターンコスト
利用が少ない月6,000入力 / 300出力の1,000ターン$1.05
利用が多い月6,000入力 / 300出力の10,000ターン$10.50
利用が非常に多い月、長いメモリ20,000入力 / 300出力の10,000ターン$31.50

ロングメモリ行の計算は、20,000トークン x 1Mあたり$0.15 = 入力$0.003 および出力$0.00015、つまりターンあたり$0.00315、10,000ターンで$31.50となります。長文のチャットでは入力がコストの大部分を占めるため、古いシーンの要約が実質的な節約につながります。

チャージは$20から始まり、$50から+5%、$100から+10%、$200から+15%のボーナスがあり、クレジットは期限切れになりません。当サイトは暗号通貨(TRC20上のUSDTまたはBase上のUSDC)を受け付けます。詳細は価格ページを、トークン課金が実際にどのように機能するかは価格のよくある誤解と事実記事をご覧ください。

判断基準

このチェックリストを使用してください。

ローカルを維持する場合

  • 十分なメモリを持つGPUをすでに所有しており、チューニングを楽しむタイプです。
  • いかなる理由があっても、データを外部に出してはならない場合。
  • セッションが短く、小規模モデルのスタイルが好みに合っています。
  • オフラインで実行したいと考えています。

以下の場合にクラウドAPIを使用してください。

  • ハードウェアの制約によりコンテキストウィンドウが短く、応答が遅くなる場合。
  • 継続性が重要な長いキャンペーンを実行しています。
  • 他の大人向けにコンパニオンまたはフィクションアプリを実行しており、多くの同時チャットが必要です。フルキーでは8つの同時リクエストと1分あたり300リクエストが可能です。
  • セットアップ不要でモデルを試したいと考えています。新規ユーザーはワンクリックで7日間有効な$0.50の無料トライアルクレジットを取得できます(クレジットカード不要)。

両方のリストに該当する場合は、それらを組み合わせます。プライベートなセッションにはローカルモデルを、長いセッションにはAPIを使用します。

数行で実現するハイブリッド構成

Ollama、LM Studio、llama.cppのサーバーはいずれもOpenAIスタイルのエンドポイントを公開しているため、クライアントコードは背後にあるのがどれであるかを気にする必要はありません。このPythonスニペットは1つの環境変数で切り替えます:

import os
from openai import OpenAI

if os.getenv("USE_CLOUD") == "1":
    client = OpenAI(
        base_url="https://api.claudeapicost.com/v1",
        api_key=os.environ["API_KEY"],
    )
    model = "uncensored"
else:
    client = OpenAI(base_url="http://localhost:11434/v1", api_key="local")
    model = "your-local-model"

reply = client.chat.completions.create(
    model=model,
    messages=[
        {"role": "system", "content": "You are Mira, a dry-witted ship engineer in a sci-fi story."},
        {"role": "user", "content": "The reactor is humming wrong again."},
    ],
    temperature=0.9,
    stream=True,
)
for chunk in reply:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="")

上記のローカルURLはOllamaのデフォルトポートです。別のサーバーを使用する場合は変更してください。クラウド側については、ドキュメントにストリーミング、JSONモード、ツール呼び出しの情報が記載されています。また、APIキーのページでGoogleまたはメールアドレスとパスワードを使用して登録できます。

どちらのルートでも重要な設定

優れたキャラクター描写は、エンジンよりもプロンプトの構造に依存します。ローカルモデルとクラウドモデルの両方で役立つ、いくつかの習慣があります:

  • キャラクターの声、目標、会話の癖をシステムメッセージに記述し、短く保ってください。
  • 活発な会話にはtemperatureを0.8から1.0に設定し、キャラクターが長話し始めたら値を下げてください。APIはtemperature、top_p、stop、seedおよびペナルティをそのまま渡します。
  • 応答でフレーズの繰り返しが発生する場合は、頻度ペナルティまたは存在ペナルティを設定してください。
  • ログ全体を送信するのではなく、ときどき古いシーンを要約してください。クラウドではコストが抑えられ、ローカルでは処理が高速になります。

10分で始める

コスト計算が妥当に見える場合、トライアルは無料で試すことができます。APIキーのページでサインアップし、ワンクリックで$0.50の無料トライアルクレジットを取得(1人1回、7日間有効)し、ベースURLとAPI キーをロールプレイフロントエンドに貼り付け、モデルをuncensoredに設定します。前述の例では1ターンあたり約$0.00105であり、$0.50は約476ターンをカバーします(0.50 / 0.00105 = 476.19)。

トライアルキーは2つの同時リクエストと1分あたり60リクエストに制限されており、1人のユーザーがチャットするには十分です。ローカルモデルを評価するために使用するのと同じシーンを実行し、キャラクターカード上で声の一貫性、以前の詳細の記憶、応答速度を比較してください。このテストは、ロールプレイの品質が好みによるものであるため、ベンチマークよりも有用です。

作成するあらゆるフィクションにおいて、未成年者に関するルールを念頭に置いてください:未成年者を含む性的コンテンツは、いかなる形式でも常に禁止されています。

質問と回答

ロールプレイにはローカルモデルの方がクラウドAPIよりも優れていますか?

ハードウェアと優先事項によります。ローカルはプライバシーとメッセージごとの料金なしを提供し、クラウドAPIは長いコンテキストウィンドウとセットアップ不要を提供します。多くの人が両方を使用しています。

長いロールプレイにはどのくらいのコンテキストが必要ですか?

キャラクターカード、世界観のノート、最近のターンは合計で数千トークンに達することが多く、長いキャンペーンでは20,000トークンを超過することもあります。このAPIは、プロンプトとコンプリーションを合わせて100,000トークンのコンテキストウィンドウを提供します。

SillyTavernや類似のフロントエンドをAPIと併用できますか?

はい、OpenAI互換のエンドポイントを受け付ける任意のフロントエンドが動作します。ベースURL、API キー、およびモデルIDのuncensoredを使用してください。

APIはすべてのコンテンツを許可していますか?

このモデルは、合合法的な成人向け利用に対してコンテンツ拒否なしで応答するように調整されています。未成年者を含む性的コンテンツは常に禁止されています。

クラウドルートを試す場合、どのように支払いますか?

当サイトは暗号資産(TRC20上のUSDT、Base上のUSDC)での支払いを受け付け、$20からのチャージが可能です。サインアップ後にワンクリックで$0.50のトライアルを利用できます。

キーはフォーム 1 つで手に入ります

アカウントを作成し、キーをコピーし、ベースURLを変更します。これでセットアップは完了です。

API キーを取得