TR ▾
claudeapicost.com

Şeffaf fiyatlarla sansürsüz LLM API

https://api.claudeapicost.com/v1

claudeapicost.comAPI anahtarı al

Rol yapma için en iyi yerel LLM mi yoksa bulut API'si mi?

Rol yapma için en iyi yerel LLM, GPU'nuzun kullanılabilir bir bağlam uzunluğunda çalıştırabileceği en büyük rol yapma ayarlı modelidir. Bu küçük modeller veya kısa hafıza anlamına geliyorsa, bulut API'si size daha iyi hizmet edebilir.

güncellendi

Yerel GPU bilgisayarı ve sohbet balonları şeridiyle bağlantılı parlayan bir bulut; yerel ve bulut rol yapma LLM'lerini karşılaştıran

Temel noktalar

Rol yapma için en iyi yerel modeli ne belirler

Rol yapma için en iyi yerel LLM soranlar genellikle bir isim ister. İsimler haftalar içinde eskir, bu yüzden geçerli kriterleri kullanın.

  • Parametre sayısı. Daha büyük modeller bir karakterin sesini daha iyi korur ve olay örgüsünü daha iyi takip eder. Küçükler kendilerini tekrar etme ve ayrıntıları unutma eğilimindedir.
  • Kuantizasyon. 4-bit veya 5-bit bir yapı, mütevazı bir kalite kaybıyla hafıza kullanımını büyük ölçüde küçültür. 4 bitin altında, düşüş uzun sahnelerde fark edilebilir hale gelir.
  • Bağlam uzunluğu. Rol yapma uzun bir konuşmadır. Modelin karakter kartını, dünya notlarını ve son dönüşleri aynı anda tutması gerekir.
  • İnce ayar. Kurgu ve diyalog üzerinde ince ayar yapılmış modeller, genel asistanlardan daha iyi anlatım yazar ve birçok yerel ince ayar, yasal yetişkin kurgusu için reddetmeleri atlamak üzere eğitilmiştir.
  • Hız. Okuma hızında gelen bir yanıt bir konuşma gibi hissettirir. Yavaş ilerleyen akışı bozar.

Mevcut seçimler için Ollama, LM Studio veya KoboldCpp gibi kullandığınız araç için topluluk threadlerini ve liderlik tablolarını okuyun. Tarihleri kontrol edin, çünkü geçen çeyreğin favorisi genellikle zaten yerini başkasına bırakmıştır.

Yerel modellerin duvara çarptığı yer

Sınır neredeyse asla model dosyası değildir. Hafızadır. Ağırlıklar VRAM veya hızlı sistem RAM'i gerektirir ve bağlam önbelleği, geçmişteki her tokenla birlikte bunun üzerine eklenerek büyür. 4.000 tokenlık bağlama sığan bir modeli çalıştırmak kolaydır; 30.000 token hikayeyi makul bir hızda hafızada tutmak çok daha fazlasını gerektirir.

Bu nedenle çoğu yerel rol yapma kurulumu üç yoldan birinde ödün verir:

  1. Daha düz karakterler yazan daha küçük bir model,
  2. Karakterin önceki sahneleri unutmasına neden olan kısa bir bağlam penceresi,
  3. Yanıtları yavaşlatan katmanların CPU'ya yüklenmesi.

Bunların hiçbiri yereli kötü bir seçim yapmaz. Zaten güçlü bir GPU'nuz varsa, bu ödünler sizin için iyi olabilir. Bu, "hangi yerel model" sorusunun dürüst cevabının önce donanımınıza, sonra modele bağlı olduğu anlamına gelir.

Bir bulut API'sinin değiştirdiği şeyler

Barındırılan bir API, bellek sorununu başkasına aktarır. Bu hizmet, 100.000 token'lık (istem ve tamamlama birlikte) bir bağlam penceresine sahip açık ağırlıklı bir model sunar; bu sayede uzun bir hikaye, detaylı bir karakter kartı ve lorebook girdileri kırpma olmadan sığar. İndirme, nicemleme seçeneği veya sürücü sorunu yoktur.

Ayrıca OpenAI ile uyumludur. Bir OpenAI tarzı uç noktasıyla iletişim kurabilen her ön uç çalışır: Base URL'yi https://api.claudeapicost.com/v1 olarak ayarlayın, anahtarınızı kullanın ve modeli uncensored olarak ayarlayın. Model, yasal yetişkin kullanımı için içerik reddetmeleri olmadan yanıt verecek şekilde ayarlanmıştır. Katı kural: reşit olmayanları içeren cinsel içerik yoktur.

Ödünler açıktır. İstemleriniz makinenizden ayrılır. Hizmet yalnızca metindir. Bir ağ bağlantısına bağlısınız. İstemler eğitim için kullanılmaz ve gizlilik sayfası ayrıntıları içerir, ancak yerel bir model hiçbir şeyin bilgisayarınızdan ayrılmadığı tek kurulumdur.

Maliyet: donanımınız mı, token başına ödeme mi

Yerel çıkarım, maliyet donanım ve elektrik için peşin ödenerek ücretsiz hissettirir. Bulut maliyeti mesaj başına küçük ve görünürdür. İşte bu API için hesaplama, 1M giriş token'ı başına $0.15 ve 1M çıktı token'ı başına $0.50 ile.

Uygulamanın 6.000 token geçmişi gönderdiği ve 300 token yanıt aldığı bir rol yapma dönüşünü alın:

  • Girdi: 6.000 / 1.000.000 x $0.15 = $0.0009
  • Çıktı: 300 / 1.000.000 x $0,50 = $0,00015
  • Dönüş başına toplam: $0,00105
KullanımDönüşlerMaliyet
Hafif ay6.000 giriş / 300 çıktı ile 1.000 dönüş$1.05
Yoğun ay6.000 giriş / 300 çıktı ile 10.000 dönüş$10.50
Yoğun ay, uzun hafıza20.000 giriş / 300 çıktı ile 10.000 dönüş$31.50

Uzun bellek satırı 20.000 token x 1M başına $0.15 = $0.003 giriş artı $0.00015 çıktı olarak hesaplanır, bu da dönüş başına $0.00315 ve 10.000 dönüş için $31.50 eder. Uzun sohbetlerde giriş maliyeti baskındır, bu yüzden eski sahnelerin özeti gerçek para tasarrufu sağlar.

Bakiye yüklemeler $20'den başlar, $50'den +%5, $100'den +%10 ve $200'den +%15 bonus ile ve kredi asla sona ermez. Bu site kripto ile (USDT TRC20 veya USDC Base) kabul eder. Ayrıntılar için fiyatlandırma sayfasına ve token başına faturalandırmanın pratikte nasıl davrandığına dair fiyatlandırma mitleri ve gerçekleri makalesine bakın.

Nasıl karar verilir

Bu kontrol listesini kullanın.

Yerel kalın, eğer

  • Zaten bol hafızalı bir GPU'nuz var ve ince ayar yapmaktan hoşlanıyorsunuz.
  • Herhangi bir nedenle hiçbir şey makinenizden ayrılmamalı.
  • Oturumlarınız kısa ve küçük bir modelin üslubu size uygun.
  • Çevrim dışı çalıştırmak istiyorsunuz.

Bulut API'si kullanın, eğer

  • Donanımınız kısa bir bağlam penceresine veya yavaş yanıt sürelerine neden oluyor.
  • Sürekliliğin önemli olduğu uzun kampanyalar oynuyorsunuz.
  • Diğer yetişkinler için bir arkadaş veya kurgu uygulaması çalıştırıyorsunuz ve çok eşzamanlı sohbetlere ihtiyacınız var. Tam anahtar 8 eşzamanlı istek ve dakikada 300 istek sağlar.
  • Kurulum gerektirmeyen bir modeli denemek istiyorsunuz. Yeni kullanıcılar tek tıkla 7 gün geçerli, kart gerekmeden $0.50 değerinde ücretsiz deneme kredisi alabilir.

Her iki listede de yer alıyorsanız, bunları birleştirin. Özel oturumlar için yerel bir model tutun ve uzun oturumlar için API'yi kullanın.

Az satırla hibrit kurulum

Ollama, LM Studio ve llama.cpp'nin sunucusu OpenAI tarzı uç noktaları sunduğu için istemci kodunuzun arkasındakine dikkat etmesine gerek yoktur. Bu Python kod parçacığı tek bir ortam değişkeniyle geçiş yapar:

import os
from openai import OpenAI

if os.getenv("USE_CLOUD") == "1":
    client = OpenAI(
        base_url="https://api.claudeapicost.com/v1",
        api_key=os.environ["API_KEY"],
    )
    model = "uncensored"
else:
    client = OpenAI(base_url="http://localhost:11434/v1", api_key="local")
    model = "your-local-model"

reply = client.chat.completions.create(
    model=model,
    messages=[
        {"role": "system", "content": "You are Mira, a dry-witted ship engineer in a sci-fi story."},
        {"role": "user", "content": "The reactor is humming wrong again."},
    ],
    temperature=0.9,
    stream=True,
)
for chunk in reply:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="")

Yukarıdaki yerel URL Ollama'nın varsayılan portudur; başka bir sunucu kullanıyorsanız değiştirin. Bulut kısmı için dokümantasyon akış, JSON modu ve fonksiyon çağırma konularını kapsar ve anahtar sayfası Google veya e-posta ve şifre ile kayıt olduğunuz yerdir.

Her iki yol için önemli ayarlar

İyi karakter yazımı motorun yapısından çok istem yapısına bağlıdır. Hem yerel hem de bulut modellerinde yardımcı olan birkaç alışkanlık:

  • Karakterin sesini, hedeflerini ve konuşma alışkanlıklarını sistem mesajına yazın ve kısa tutun.
  • Canlı diyaloglar için temperature değerini 0.8 ile 1.0 arasında kullanın ve karakter gevezelik etmeye başladığında düşürün. API temperature, top_p, stop, seed ve ceza parametrelerini doğrudan geçirir.
  • Yanıtlar tekrarlı ifadeler içeriyorsa frekans veya varlık cezası ayarlayın.
  • Eski sahneleri sık sık özetleyin, tüm günlüğü göndermeyin. Bulutta daha ucuz ve yerelde daha hızlıdır.

On dakikada başlangıç

Maliyet hesaplaması kabul edilebilir görünüyorsa, deneme ücretsizdir. anahtar sayfası üzerinde kaydolun, tek tıkla $0.50 değerinde deneme kredisi talep edin (kişi başı bir kez, 7 gün geçerli), temel URL'yi ve anahtarı rol yapma ön yüzünüze yapıştırın ve modeli uncensored olarak ayarlayın. Yukarıdaki örnekteki dönüş başına yaklaşık $0.00105 maliyetle, $0.50 yaklaşık 476 dönüşü karşılar (0.50 / 0.00105 = 476.19).

Deneme anahtarı 2 eşzamanlı istek ve dakikada 60 istekle sınırlıdır; bu tek bir kişinin sohbet etmesi için fazlasıyla yeterlidir. Yerel modelleri değerlendirmek için kullandığınız sahneyi çalıştırın ve kendi karakter kartlarınızda ses tutarlılığını, önceki detayların hafızasını ve yanıt hızını karşılaştırın. Bu test, herhangi bir benchmark'tan daha kullanışlıdır çünkü rol yapma kalitesi bir zevk meselesidir.

Yazdığınız her kurgu için reşit olmayanlar kuralını aklınızda tutun: reşit olmayanları içeren cinsel içeriğe hiçbir çerçevede asla izin verilmez.

Sorular ve cevaplar

Rol yapma için yerel bir model mi yoksa bulut API'si mi daha iyidir?

Donanımınıza ve önceliklerinize bağlıdır. Yerel çözüm gizlilik sağlar ve mesaj başına ücret yoktur; bulut API'si ise uzun bir bağlam penceresi sunar ve kurulum gerektirmez. Birçok kişi her ikisini de kullanır.

Uzun rol yapma için ne kadar bağlama ihtiyacım var?

Karakter kartları, dünya notları ve son dönüşler genellikle birkaç bin tokena ulaşır ve uzun kampanyalar 20.000 tokenı geçebilir. Bu API, istem ve tamamlama dahil olmak üzere 100.000 token bağlam sunar.

API ile SillyTavern veya benzeri ön yüzleri kullanabilir miyim?

Evet, OpenAI uyumlu bir uç nokta kabul eden herhangi bir ön yüz çalışır. Temel URL'yi, anahtarınızı ve uncensored model kimliğini kullanın.

API tüm içeriğe izin veriyor mu?

Model, yasal yetişkin kullanımı için içerik reddi olmadan yanıt verecek şekilde ayarlanmıştır. Reşit olmayanları içeren cinsel içeriğe asla izin verilmez.

Bulut yolunu denemek istiyorsam nasıl ödeme yapabilirim?

Bu site kripto (TRC20 üzerinde USDT, Base üzerinde USDC) ödemelerini kabul eder, en az $20 değerinde bakiye yükleme yapılabilir. Kayıttan sonra tek tıkla $0.50 değerinde deneme sunulur.

Anahtarınız tek bir formun uzağında

Bir hesap oluşturun, anahtarı kopyalayın ve base URL'yi değiştirin. Kurulum bu kadar basit.

API anahtarı al