什么决定了角色扮演的最佳本地模型
询问最佳本地角色扮演 LLM的人通常想要一个名字。名字在几周内就会过时,所以请使用持久的标准。
- 参数量。更大的模型能更好地保持角色声音并跟踪剧情线索。小模型倾向于重复自己并遗忘细节。
- 量化。 4-bit 或 5-bit 构建能大幅减少内存使用,同时质量损失适中。低于 4-bit 时,在长场景中的质量下降更容易被察觉。
- 上下文长度。 角色扮演是一场长对话。模型必须同时持有角色卡、世界设定笔记和最近的对话轮次。
- 微调。 针对小说和对话微调的模型比通用助手写出更好的文本,许多本地微调模型经过训练,可对合法的成人小说不进行审查。
- 速度。 以阅读速度到达的回复感觉像对话。缓慢的回复会破坏流程。
对于当前选择,请阅读你使用的工具(如 Ollama、LM Studio 或 KoboldCpp)的最近社区帖子和排行榜。注意日期,因为上季度的热门模型通常已被取代。
本地模型在哪里遇到瓶颈
瓶颈几乎从来不是模型文件,而是内存。权重需要 VRAM 或快速系统 RAM,上下文缓存会随着历史 token 的增加而增长。运行适合 4,000 token 上下文的模型很容易;以合理速度在内存中保留 30,000 token 的故事需要多得多的资源。
因此,大多数本地角色扮演设置会在以下三种方式之一做出妥协:
- 较小的模型,写出的角色较扁平。
- 短的上下文窗口,导致角色忘记之前的场景。
- 将层卸载到 CPU,导致回复变慢。
这并不意味着本地方案是个坏选择。如果你已经拥有强大的 GPU,这些权衡对你来说可能没问题。但这意味着关于“哪个本地模型”的诚实答案首先取决于你的硬件,其次才是模型。
云 API 改变了什么
托管式 API 将内存问题转移给他人。该服务提供一个开放权重模型,上下文窗口为 100,000 token(提示词和补全合计),因此长故事、详细角色卡和 lorebook 条目无需截断即可容纳。无需下载,无量化选项,也无需处理驱动问题。
它也是 OpenAI 兼容的。任何能与 OpenAI 风格接口通信的前端均可使用:将基础 URL 设置为 https://api.claudeapicost.com/v1,使用你的密钥,并将模型设置为 uncensored。该模型经过调整,可在合法成人用途下无内容审查地回答。硬性规则是不允许涉及未成年人的性内容。
权衡很明显。你的提示词会离开你的设备。该服务仅支持文本。你依赖网络连接。提示词不用于训练,隐私页面有详细信息,但本地模型仍然是唯一没有任何数据离开你电脑的设置。
成本:你的硬件与按 token 付费
本地推理感觉免费,因为成本预先在硬件和电力上支付。云端成本按消息计费且可见。以下是该 API 的计算方式:输入 token 每 1M 为 $0.15,输出 token 每 1M 为 $0.50。
考虑一次角色扮演轮次,应用发送 6,000 token 的历史记录并获得 300 token 的回复:
- 输入:6,000 / 1,000,000 x $0.15 = $0.0009
- 输出:300 / 1,000,000 x $0.50 = $0.00015
- 每轮总计:$0.00105
| 用法 | 轮次 | 成本 |
|---|---|---|
| 轻度月份 | 1,000 轮,6,000 输入 / 300 输出 | $1.05 |
| 重度月份 | 10,000 轮,6,000 输入 / 300 输出 | $10.50 |
| 重度月份,长记忆 | 10,000 轮,20,000 输入 / 300 输出 | $31.50 |
长记忆行计算结果为 20,000 token x $0.15 / 1M = $0.003 输入加上 $0.00015 输出,即每轮 $0.00315,10,000 轮为 $31.50。长对话中输入占主导成本,因此对旧场景进行摘要可以节省大量资金。
充值从 $20 起,$50 起赠 +5%,$100 起赠 +10%,$200 起赠 +15%,额度永不过期。本站接受加密货币(TRC20 链上的 USDT 或 Base 链上的 USDC)充值。详见定价页面,以及定价常见误区与事实文章,了解按 token 计费在实际中的表现。
如何做出决定
使用此检查清单。
如果以下情况请保持本地:
- 你已经有内存充足的 GPU 并享受调整。
- 出于任何原因,数据不得离开你的机器。
- 你的会话很短,且小模型的风格适合你。
- 你想离线运行。
如果使用以下情况,请使用云 API:
- 你的硬件导致上下文窗口较短或回复速度较慢。
- 你进行需要保持连贯性的长剧情游戏。
- 你为其他成年人运行伴侣或小说应用,需要大量并发聊天。完整密钥允许 8 个并发请求和每分钟 300 个请求。
- 你想尝试无需设置的模型。新用户只需点击一下即可领取 $0.50 的试用额度,有效期 7 天,无需信用卡。
如果你同时符合上述两种情况,可以结合使用。本地模型用于私密会话,API 用于长会话。
几行代码即可实现混合设置
由于 Ollama、LM Studio 和 llama.cpp 的服务器都提供 OpenAI 风格的接口,你的客户端代码无需关心背后使用的是哪一个。此 Python 代码段通过一个环境变量进行切换:
import os
from openai import OpenAI
if os.getenv("USE_CLOUD") == "1":
client = OpenAI(
base_url="https://api.claudeapicost.com/v1",
api_key=os.environ["API_KEY"],
)
model = "uncensored"
else:
client = OpenAI(base_url="http://localhost:11434/v1", api_key="local")
model = "your-local-model"
reply = client.chat.completions.create(
model=model,
messages=[
{"role": "system", "content": "You are Mira, a dry-witted ship engineer in a sci-fi story."},
{"role": "user", "content": "The reactor is humming wrong again."},
],
temperature=0.9,
stream=True,
)
for chunk in reply:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="")
上述本地 URL 是 Ollama 的默认端口;如果你使用其他服务器,请更改它。对于云端部分,文档涵盖了流式输出、JSON 模式和工具调用,而密钥页面是你使用 Google 或电子邮件和密码注册的地方。
两种方案都需要注意的设置
优秀的角色写作更取决于提示词结构而非引擎。以下习惯对本地和云模型都有帮助:
- 在系统消息中放入角色的声音、目标和说话习惯,并保持简短。
- 对于生动的对话,将
temperature设置在 0.8 到 1.0 之间;如果角色开始啰嗦,则降低该值。API 会传递temperature、top_p、stop、seed以及惩罚参数。 - 如果回复重复短语,请设置频率惩罚或存在惩罚。
- 定期总结旧场景,而不是发送整个日志。在云端更便宜,在本地则更快。
十分钟入门
如果成本计算看起来可以接受,试用无需花费。在密钥页面注册,领取一键试用额度 $0.50(每人限领一次,有效期 7 天),将基础 URL 和密钥粘贴到你的角色扮演前端中,并将模型设置为uncensored。按之前示例的每次交互约 $0.00105 计算,$0.50 大约可以支持 476 次交互,因为 0.50 / 0.00105 = 476.19。
试用密钥限制为 2 个并发请求和每分钟 60 个请求,这对于单人聊天已绰绰有余。运行你用于评估本地模型的同场景,并比较角色卡片上的声音一致性、对先前细节的记忆以及回复速度。该测试比任何基准测试都更有用,因为角色扮演质量取决于个人喜好。
记住任何小说都要遵守未成年人规则:涉及未成年人的性内容在任何情况下都不允许。
