繁中 ▾
Claude API 費用.com

透明價格的無審查 LLM API

https://api.claudeapicost.com/v1

claudeapicost.com取得 API 金鑰

最佳本地角色扮演 LLM 與雲端 API 比較

最佳本地角色扮演 LLM 是你的 GPU 能以可用上下文長度運行的最大角色扮演調優模型。如果這意味著小型模型或短記憶,雲端 API 可能更能滿足你的需求。

更新於

一台本地 GPU 電腦和一朵由聊天氣泡絲帶連接的雲端,比較本地和雲端角色扮演 LLM

重點摘要

什麼決定了最佳本地角色扮演模型

尋求最佳本地角色扮演 LLM的人通常想要一個名稱。名稱幾週內就會過時,因此請使用不變的標準。

  • 參數數量。 較大的模型能更好地保持角色語氣並追蹤劇情線。小型模型往往會重複並遺忘細節。
  • 量化。 4-bit 或 5-bit 版本會大幅減少記憶體使用,僅有輕微的品質損失。低於 4 bits 時,在長場景中的品質下降會更容易被察覺。
  • 上下文長度。 角色扮演是一場長對話。模型必須同時持有角色卡、世界觀筆記和近期對話。
  • 微調。 針對小說和對話微調的模型,其寫作能力優於通用助手,許多本地微調模型針對合法成人小說進行了無審查調整。
  • 速度。 以閱讀速度到達的回應感覺像對話。緩慢的回應會破壞流程。

對於目前的選擇,請閱讀最近社群論壇和排行榜,針對你使用的工具,例如 Ollama、LM Studio 或 KoboldCpp。請檢查日期,因為上個季度的熱門選擇通常已經被取代。

本地模型在哪裡遇到瓶頸

限制幾乎從來不是模型檔案,而是記憶體。權重需要 VRAM 或快速系統 RAM,且上下文快取會隨著歷史 token 的增加而增長。運行適合 4,000 token 上下文的模型很輕鬆;要以合理速度將 30,000 token 的故事保留在記憶體中,需要更多資源。

因此,大多數本地角色扮演設定會在以下三種方式中做出妥協:

  1. 較小的模型,寫出的角色較扁平。
  2. 短的上下文視窗,導致角色忘記早期場景。
  3. 將層卸載到 CPU,導致回應變慢。

這並不意味著本地不是好選擇。如果你已經擁有強大的 GPU,這些妥協對你可能沒問題。這意味著,「該選哪個本地模型」的誠實答案首先取決於你的硬體,其次才是模型。

雲端 API 帶來什麼改變

託管 API 將記憶體問題轉移給他人。此服務提供一個開放權重模型,上下文視窗為 100,000 token(提示詞和補全合計),因此長故事、詳細角色卡和 lorebook 條目無需修剪即可容納。無需下載、無需選擇量化、無驅動程式問題。

它也與 OpenAI 相容。任何能與 OpenAI 風格端點通訊的前端均可使用:將 Base URL 設定為 https://api.claudeapicost.com/v1,使用你的金鑰,並將模型設定為 uncensored。該模型針對合法成人用途進行調整,可無審查地回答。硬性規定是禁止涉及未成年人的性內容。

妥協很明顯。你的提示詞會離開你的機器。服務僅限文字。你依賴網路連接。提示詞不用於訓練,隱私頁面有詳細說明,但本地模型是唯一沒有任何東西離開你電腦的設定。

成本:你的硬體與按 token計費

本地推理感覺免費,因為成本是硬體和電力的前期投入。雲端成本每則訊息很小且可見。以下是此 API 的數學計算:輸入 token 每 1M 為 $0.15,輸出 token 每 1M 為 $0.50。

考慮一次角色扮演對話,應用程式發送 6,000 token 的歷史並獲得 300 token 的回應:

  • 輸入:6,000 / 1,000,000 x $0.15 = $0.0009
  • 輸出:300 / 1,000,000 x $0.50 = $0.00015
  • 每次對話總計:$0.00105
用法對話次數成本
輕度月份1,000 次對話,輸入 6,000 / 輸出 300$1.05
重度月份10,000 次對話,輸入 6,000 / 輸出 300$10.50
重度月份,長記憶10,000 次對話,輸入 20,000 / 輸出 300$31.50

長記憶行的成本計算為 20,000 tokens x 每 1M token $0.15 = $0.003 輸入成本加上 $0.00015 輸出成本,因此每輪為 $0.00315,10,000 輪則為 $31.50。在長對話中,輸入成本佔據主導地位,這就是為什麼摘要舊場景可以節省大量費用。

儲值最低為 $20,從 $50 起享有 +5% 贈額,從 $100 起享有 +10% 贈額,從 $200 起享有 +15% 贈額,且額度永不過期。本站接受加密貨幣(USDT on TRC20 或 USDC on Base)。請參見 定價頁面 以獲取詳細資訊,以及 定價迷思與事實 文章,了解 按 token 計費在實際情況下的運作方式。

如何做出選擇

使用此檢查清單。

如果以下情況請保持本地:

  • 你已經擁有記憶體充足的 GPU 並享受調優。
  • 無論何故,任何東西都不得離開你的機器。
  • 你的會話很短,且小型模型的風格適合你。
  • 你想離線運行。

如果使用以下情況,請使用雲端 API:

  • 你的硬體限制上下文視窗長度或導致回應緩慢。
  • 你進行需要維持連續性的長篇角色扮演活動。
  • 你為其他成年人運行伴侶或小說應用程式,需要大量並行對話。完整金鑰允許 8 個並行請求和每分鐘 300 個請求。
  • 你想嘗試無需設定的模型。新用戶可以一鍵領取 $0.50 的免費試用額度,有效期 7 天,無需信用卡。

如果你符合兩份清單的條件,請將兩者結合。為私密對話保留本地模型,並使用 API 處理長篇對話。

幾行程式碼即可實現混合設定

由於 Ollama、LM Studio 和 llama.cpp 的伺服器都提供 OpenAI 相容的端點,你的客戶端程式碼無需在意背後是哪一個。此 Python 程式碼片段透過一個環境變數即可切換:

import os
from openai import OpenAI

if os.getenv("USE_CLOUD") == "1":
    client = OpenAI(
        base_url="https://api.claudeapicost.com/v1",
        api_key=os.environ["API_KEY"],
    )
    model = "uncensored"
else:
    client = OpenAI(base_url="http://localhost:11434/v1", api_key="local")
    model = "your-local-model"

reply = client.chat.completions.create(
    model=model,
    messages=[
        {"role": "system", "content": "You are Mira, a dry-witted ship engineer in a sci-fi story."},
        {"role": "user", "content": "The reactor is humming wrong again."},
    ],
    temperature=0.9,
    stream=True,
)
for chunk in reply:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="")

上述本地 URL 為 Ollama 的預設連接埠;若使用其他伺服器請進行修改。雲端部分的文件涵蓋串流輸出、JSON 模式與函式呼叫,而金鑰頁面則是使用 Google 或電子郵件與密碼註冊的地方。

兩種途徑都重要的設定

優質的角色寫作更取決於提示詞結構而非引擎。以下幾個習慣對本地和雲端模型都有幫助:

  • 將角色的聲音、目標和說話習慣放入系統提示詞中,並保持簡短。
  • 對於生動的對話,將 temperature 設為 0.8 到 1.0 之間;如果角色開始嘮叨,則調低該值。API 會傳遞 temperature、top_p、stop、seed 以及懲罰因子。
  • 如果回應重複出現詞句,請設定頻率懲罰或存在懲罰。
  • 定期總結舊場景,而不是發送整個日誌。在雲端中這更便宜,在本地則更快。

十分鐘內開始使用

如果成本計算可以接受,試用完全免費。請在金鑰頁面上註冊,領取一鍵試用額度 $0.50(每人限領一次,有效期 7 天),將 Base URL 和金鑰貼入角色扮演前端,並將模型設定為uncensored。以先前範例的每次對話成本約 $0.00105 計算,$0.50 大約可支援 476 次對話,因為 0.50 / 0.00105 = 476.19。

試用金鑰限制為 2 個並行請求和每分鐘 60 個請求,這對於一個人聊天已經足夠。運行你用來評估本地模型的相同場景,並比較角色卡上的聲音一致性、對先前細節的記憶力以及回應速度。由於角色扮演品質取決於個人喜好,該測試比任何基準測試都更有用。

記住任何小說創作中的未成年人規則:涉及未成年人的性內容在任何情況下都不允許。

問答

對於角色扮演來說,本地模型比雲端 API 更好嗎?

這取決於你的硬體和優先事項。本地模式提供隱私且無按訊息計費,而雲端 API 提供長上下文視窗且無需設定。許多人同時使用兩者。

長篇角色扮演需要多少上下文?

角色卡、世界筆記和最近的對話回合通常會累積數千個 token,長篇活動可能超過 20,000。此 API 提供 100,000 個 token 的上下文,包含提示詞和補全。

我可以在 API 上使用 SillyTavern 或類似的前端嗎?

是的,任何接受 OpenAI 相容端點的介面都可以使用。使用 base URL、你的金鑰以及模型 ID uncensored。

API 允許所有內容嗎?

該模型經過調整,可針對合法成人用途無內容審查地回答。涉及未成年人的性內容是不允許的。

如果想嘗試雲端方案,我該如何付款?

此網站接受加密貨幣(TRC20 上的 USDT、Base 上的 USDC)付款,儲值金額從 $20 起。註冊後可獲得一鍵免費試用額度 $0.50。

只差一張表單,即可取得金鑰

建立帳號、複製金鑰、更改基礎 URL。這就是整個設定過程。

取得 API 金鑰