什麼決定了最佳本地角色扮演模型
尋求最佳本地角色扮演 LLM的人通常想要一個名稱。名稱幾週內就會過時,因此請使用不變的標準。
- 參數數量。 較大的模型能更好地保持角色語氣並追蹤劇情線。小型模型往往會重複並遺忘細節。
- 量化。 4-bit 或 5-bit 版本會大幅減少記憶體使用,僅有輕微的品質損失。低於 4 bits 時,在長場景中的品質下降會更容易被察覺。
- 上下文長度。 角色扮演是一場長對話。模型必須同時持有角色卡、世界觀筆記和近期對話。
- 微調。 針對小說和對話微調的模型,其寫作能力優於通用助手,許多本地微調模型針對合法成人小說進行了無審查調整。
- 速度。 以閱讀速度到達的回應感覺像對話。緩慢的回應會破壞流程。
對於目前的選擇,請閱讀最近社群論壇和排行榜,針對你使用的工具,例如 Ollama、LM Studio 或 KoboldCpp。請檢查日期,因為上個季度的熱門選擇通常已經被取代。
本地模型在哪裡遇到瓶頸
限制幾乎從來不是模型檔案,而是記憶體。權重需要 VRAM 或快速系統 RAM,且上下文快取會隨著歷史 token 的增加而增長。運行適合 4,000 token 上下文的模型很輕鬆;要以合理速度將 30,000 token 的故事保留在記憶體中,需要更多資源。
因此,大多數本地角色扮演設定會在以下三種方式中做出妥協:
- 較小的模型,寫出的角色較扁平。
- 短的上下文視窗,導致角色忘記早期場景。
- 將層卸載到 CPU,導致回應變慢。
這並不意味著本地不是好選擇。如果你已經擁有強大的 GPU,這些妥協對你可能沒問題。這意味著,「該選哪個本地模型」的誠實答案首先取決於你的硬體,其次才是模型。
雲端 API 帶來什麼改變
託管 API 將記憶體問題轉移給他人。此服務提供一個開放權重模型,上下文視窗為 100,000 token(提示詞和補全合計),因此長故事、詳細角色卡和 lorebook 條目無需修剪即可容納。無需下載、無需選擇量化、無驅動程式問題。
它也與 OpenAI 相容。任何能與 OpenAI 風格端點通訊的前端均可使用:將 Base URL 設定為 https://api.claudeapicost.com/v1,使用你的金鑰,並將模型設定為 uncensored。該模型針對合法成人用途進行調整,可無審查地回答。硬性規定是禁止涉及未成年人的性內容。
妥協很明顯。你的提示詞會離開你的機器。服務僅限文字。你依賴網路連接。提示詞不用於訓練,隱私頁面有詳細說明,但本地模型是唯一沒有任何東西離開你電腦的設定。
成本:你的硬體與按 token計費
本地推理感覺免費,因為成本是硬體和電力的前期投入。雲端成本每則訊息很小且可見。以下是此 API 的數學計算:輸入 token 每 1M 為 $0.15,輸出 token 每 1M 為 $0.50。
考慮一次角色扮演對話,應用程式發送 6,000 token 的歷史並獲得 300 token 的回應:
- 輸入:6,000 / 1,000,000 x $0.15 = $0.0009
- 輸出:300 / 1,000,000 x $0.50 = $0.00015
- 每次對話總計:$0.00105
| 用法 | 對話次數 | 成本 |
|---|---|---|
| 輕度月份 | 1,000 次對話,輸入 6,000 / 輸出 300 | $1.05 |
| 重度月份 | 10,000 次對話,輸入 6,000 / 輸出 300 | $10.50 |
| 重度月份,長記憶 | 10,000 次對話,輸入 20,000 / 輸出 300 | $31.50 |
長記憶行的成本計算為 20,000 tokens x 每 1M token $0.15 = $0.003 輸入成本加上 $0.00015 輸出成本,因此每輪為 $0.00315,10,000 輪則為 $31.50。在長對話中,輸入成本佔據主導地位,這就是為什麼摘要舊場景可以節省大量費用。
儲值最低為 $20,從 $50 起享有 +5% 贈額,從 $100 起享有 +10% 贈額,從 $200 起享有 +15% 贈額,且額度永不過期。本站接受加密貨幣(USDT on TRC20 或 USDC on Base)。請參見 定價頁面 以獲取詳細資訊,以及 定價迷思與事實 文章,了解 按 token 計費在實際情況下的運作方式。
如何做出選擇
使用此檢查清單。
如果以下情況請保持本地:
- 你已經擁有記憶體充足的 GPU 並享受調優。
- 無論何故,任何東西都不得離開你的機器。
- 你的會話很短,且小型模型的風格適合你。
- 你想離線運行。
如果使用以下情況,請使用雲端 API:
- 你的硬體限制上下文視窗長度或導致回應緩慢。
- 你進行需要維持連續性的長篇角色扮演活動。
- 你為其他成年人運行伴侶或小說應用程式,需要大量並行對話。完整金鑰允許 8 個並行請求和每分鐘 300 個請求。
- 你想嘗試無需設定的模型。新用戶可以一鍵領取 $0.50 的免費試用額度,有效期 7 天,無需信用卡。
如果你符合兩份清單的條件,請將兩者結合。為私密對話保留本地模型,並使用 API 處理長篇對話。
幾行程式碼即可實現混合設定
由於 Ollama、LM Studio 和 llama.cpp 的伺服器都提供 OpenAI 相容的端點,你的客戶端程式碼無需在意背後是哪一個。此 Python 程式碼片段透過一個環境變數即可切換:
import os
from openai import OpenAI
if os.getenv("USE_CLOUD") == "1":
client = OpenAI(
base_url="https://api.claudeapicost.com/v1",
api_key=os.environ["API_KEY"],
)
model = "uncensored"
else:
client = OpenAI(base_url="http://localhost:11434/v1", api_key="local")
model = "your-local-model"
reply = client.chat.completions.create(
model=model,
messages=[
{"role": "system", "content": "You are Mira, a dry-witted ship engineer in a sci-fi story."},
{"role": "user", "content": "The reactor is humming wrong again."},
],
temperature=0.9,
stream=True,
)
for chunk in reply:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="")
上述本地 URL 為 Ollama 的預設連接埠;若使用其他伺服器請進行修改。雲端部分的文件涵蓋串流輸出、JSON 模式與函式呼叫,而金鑰頁面則是使用 Google 或電子郵件與密碼註冊的地方。
兩種途徑都重要的設定
優質的角色寫作更取決於提示詞結構而非引擎。以下幾個習慣對本地和雲端模型都有幫助:
- 將角色的聲音、目標和說話習慣放入系統提示詞中,並保持簡短。
- 對於生動的對話,將
temperature設為 0.8 到 1.0 之間;如果角色開始嘮叨,則調低該值。API 會傳遞temperature、top_p、stop、seed以及懲罰因子。 - 如果回應重複出現詞句,請設定頻率懲罰或存在懲罰。
- 定期總結舊場景,而不是發送整個日誌。在雲端中這更便宜,在本地則更快。
十分鐘內開始使用
如果成本計算可以接受,試用完全免費。請在金鑰頁面上註冊,領取一鍵試用額度 $0.50(每人限領一次,有效期 7 天),將 Base URL 和金鑰貼入角色扮演前端,並將模型設定為uncensored。以先前範例的每次對話成本約 $0.00105 計算,$0.50 大約可支援 476 次對話,因為 0.50 / 0.00105 = 476.19。
試用金鑰限制為 2 個並行請求和每分鐘 60 個請求,這對於一個人聊天已經足夠。運行你用來評估本地模型的相同場景,並比較角色卡上的聲音一致性、對先前細節的記憶力以及回應速度。由於角色扮演品質取決於個人喜好,該測試比任何基準測試都更有用。
記住任何小說創作中的未成年人規則:涉及未成年人的性內容在任何情況下都不允許。
