中文 ▾
Claude API 费用.com

透明价格的无审查 LLM API

https://api.claudeapicost.com/v1

claudeapicost.com获取 API 密钥

角色扮演最佳本地 LLM 与云 API 对比

适合角色扮演的最佳本地 LLM 是能在可用上下文长度下由你的 GPU 运行的最大角色扮演微调模型。如果这意味着只能使用小模型或短记忆,云 API 可能更适合你。

更新于

本地 GPU 计算机与通过聊天气泡丝带连接的云端,对比本地和云角色扮演 LLM

要点

什么决定了角色扮演的最佳本地模型

询问最佳本地角色扮演 LLM的人通常想要一个名字。名字在几周内就会过时,所以请使用持久的标准。

  • 参数量。更大的模型能更好地保持角色声音并跟踪剧情线索。小模型倾向于重复自己并遗忘细节。
  • 量化。 4-bit 或 5-bit 构建能大幅减少内存使用,同时质量损失适中。低于 4-bit 时,在长场景中的质量下降更容易被察觉。
  • 上下文长度。 角色扮演是一场长对话。模型必须同时持有角色卡、世界设定笔记和最近的对话轮次。
  • 微调。 针对小说和对话微调的模型比通用助手写出更好的文本,许多本地微调模型经过训练,可对合法的成人小说不进行审查。
  • 速度。 以阅读速度到达的回复感觉像对话。缓慢的回复会破坏流程。

对于当前选择,请阅读你使用的工具(如 Ollama、LM Studio 或 KoboldCpp)的最近社区帖子和排行榜。注意日期,因为上季度的热门模型通常已被取代。

本地模型在哪里遇到瓶颈

瓶颈几乎从来不是模型文件,而是内存。权重需要 VRAM 或快速系统 RAM,上下文缓存会随着历史 token 的增加而增长。运行适合 4,000 token 上下文的模型很容易;以合理速度在内存中保留 30,000 token 的故事需要多得多的资源。

因此,大多数本地角色扮演设置会在以下三种方式之一做出妥协:

  1. 较小的模型,写出的角色较扁平。
  2. 短的上下文窗口,导致角色忘记之前的场景。
  3. 将层卸载到 CPU,导致回复变慢。

这并不意味着本地方案是个坏选择。如果你已经拥有强大的 GPU,这些权衡对你来说可能没问题。但这意味着关于“哪个本地模型”的诚实答案首先取决于你的硬件,其次才是模型。

云 API 改变了什么

托管式 API 将内存问题转移给他人。该服务提供一个开放权重模型,上下文窗口为 100,000 token(提示词和补全合计),因此长故事、详细角色卡和 lorebook 条目无需截断即可容纳。无需下载,无量化选项,也无需处理驱动问题。

它也是 OpenAI 兼容的。任何能与 OpenAI 风格接口通信的前端均可使用:将基础 URL 设置为 https://api.claudeapicost.com/v1,使用你的密钥,并将模型设置为 uncensored。该模型经过调整,可在合法成人用途下无内容审查地回答。硬性规则是不允许涉及未成年人的性内容。

权衡很明显。你的提示词会离开你的设备。该服务仅支持文本。你依赖网络连接。提示词不用于训练,隐私页面有详细信息,但本地模型仍然是唯一没有任何数据离开你电脑的设置。

成本:你的硬件与按 token 付费

本地推理感觉免费,因为成本预先在硬件和电力上支付。云端成本按消息计费且可见。以下是该 API 的计算方式:输入 token 每 1M 为 $0.15,输出 token 每 1M 为 $0.50。

考虑一次角色扮演轮次,应用发送 6,000 token 的历史记录并获得 300 token 的回复:

  • 输入:6,000 / 1,000,000 x $0.15 = $0.0009
  • 输出:300 / 1,000,000 x $0.50 = $0.00015
  • 每轮总计:$0.00105
用法轮次成本
轻度月份1,000 轮,6,000 输入 / 300 输出$1.05
重度月份10,000 轮,6,000 输入 / 300 输出$10.50
重度月份,长记忆10,000 轮,20,000 输入 / 300 输出$31.50

长记忆行计算结果为 20,000 token x $0.15 / 1M = $0.003 输入加上 $0.00015 输出,即每轮 $0.00315,10,000 轮为 $31.50。长对话中输入占主导成本,因此对旧场景进行摘要可以节省大量资金。

充值从 $20 起,$50 起赠 +5%,$100 起赠 +10%,$200 起赠 +15%,额度永不过期。本站接受加密货币(TRC20 链上的 USDT 或 Base 链上的 USDC)充值。详见定价页面,以及定价常见误区与事实文章,了解按 token 计费在实际中的表现。

如何做出决定

使用此检查清单。

如果以下情况请保持本地:

  • 你已经有内存充足的 GPU 并享受调整。
  • 出于任何原因,数据不得离开你的机器。
  • 你的会话很短,且小模型的风格适合你。
  • 你想离线运行。

如果使用以下情况,请使用云 API:

  • 你的硬件导致上下文窗口较短或回复速度较慢。
  • 你进行需要保持连贯性的长剧情游戏。
  • 你为其他成年人运行伴侣或小说应用,需要大量并发聊天。完整密钥允许 8 个并发请求和每分钟 300 个请求。
  • 你想尝试无需设置的模型。新用户只需点击一下即可领取 $0.50 的试用额度,有效期 7 天,无需信用卡。

如果你同时符合上述两种情况,可以结合使用。本地模型用于私密会话,API 用于长会话。

几行代码即可实现混合设置

由于 Ollama、LM Studio 和 llama.cpp 的服务器都提供 OpenAI 风格的接口,你的客户端代码无需关心背后使用的是哪一个。此 Python 代码段通过一个环境变量进行切换:

import os
from openai import OpenAI

if os.getenv("USE_CLOUD") == "1":
    client = OpenAI(
        base_url="https://api.claudeapicost.com/v1",
        api_key=os.environ["API_KEY"],
    )
    model = "uncensored"
else:
    client = OpenAI(base_url="http://localhost:11434/v1", api_key="local")
    model = "your-local-model"

reply = client.chat.completions.create(
    model=model,
    messages=[
        {"role": "system", "content": "You are Mira, a dry-witted ship engineer in a sci-fi story."},
        {"role": "user", "content": "The reactor is humming wrong again."},
    ],
    temperature=0.9,
    stream=True,
)
for chunk in reply:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="")

上述本地 URL 是 Ollama 的默认端口;如果你使用其他服务器,请更改它。对于云端部分,文档涵盖了流式输出、JSON 模式和工具调用,而密钥页面是你使用 Google 或电子邮件和密码注册的地方。

两种方案都需要注意的设置

优秀的角色写作更取决于提示词结构而非引擎。以下习惯对本地和云模型都有帮助:

  • 在系统消息中放入角色的声音、目标和说话习惯,并保持简短。
  • 对于生动的对话,将 temperature 设置在 0.8 到 1.0 之间;如果角色开始啰嗦,则降低该值。API 会传递 temperature、top_p、stop、seed 以及惩罚参数。
  • 如果回复重复短语,请设置频率惩罚或存在惩罚。
  • 定期总结旧场景,而不是发送整个日志。在云端更便宜,在本地则更快。

十分钟入门

如果成本计算看起来可以接受,试用无需花费。在密钥页面注册,领取一键试用额度 $0.50(每人限领一次,有效期 7 天),将基础 URL 和密钥粘贴到你的角色扮演前端中,并将模型设置为uncensored。按之前示例的每次交互约 $0.00105 计算,$0.50 大约可以支持 476 次交互,因为 0.50 / 0.00105 = 476.19。

试用密钥限制为 2 个并发请求和每分钟 60 个请求,这对于单人聊天已绰绰有余。运行你用于评估本地模型的同场景,并比较角色卡片上的声音一致性、对先前细节的记忆以及回复速度。该测试比任何基准测试都更有用,因为角色扮演质量取决于个人喜好。

记住任何小说都要遵守未成年人规则:涉及未成年人的性内容在任何情况下都不允许。

问答

对于角色扮演,本地模型比云 API 更好吗?

这取决于你的硬件和优先级。本地模式提供隐私且无按消息计费,而云 API 提供长上下文窗口且无需设置。许多人同时使用两者。

长角色扮演需要多少上下文?

角色卡、世界笔记和最近的对话通常会累积数千个 token,长剧情可能会超过 20,000。此 API 提供 100,000 个 token 的上下文,包括提示词和补全。

我可以使用 SillyTavern 或类似的前端与 API 配合使用吗?

是的,任何接受 OpenAI 兼容接口的前端均可使用。使用基础 URL、你的密钥和模型 ID uncensored。

API 允许所有内容吗?

该模型经过调整,可在合法成人使用中无需内容拒绝即可回答。涉及未成年人的性内容是不允许的。

如果想尝试云方案,我该如何支付?

本网站接受加密货币(TRC20 上的 USDT,Base 上的 USDC)支付,最低充值金额为 $20。注册后可获得一键试用额度 $0.50。

只差一张表单,即可获得密钥

创建账户,复制密钥,更改基础 URL。这就是全部设置。

获取 API 密钥