ID ▾
biaya claudeapicost.com

API LLM Tanpa Sensor dengan harga transparan

https://api.claudeapicost.com/v1

claudeapicost.comDapatkan kunci API

Model LLM Lokal Terbaik untuk Roleplay vs API Cloud

Model LLM lokal terbaik untuk roleplay adalah model penyesuaian roleplay terbesar yang dapat dijalankan GPU Anda pada panjang konteks yang dapat digunakan. Jika itu berarti model kecil atau memori pendek, API cloud mungkin melayani Anda lebih baik.

Diperbarui

Komputer GPU lokal dan awan bercahaya yang terhubung dengan pita gelembung obrolan, membandingkan LLM roleplay lokal dan cloud

Poin utama

Apa yang menentukan model lokal terbaik untuk roleplay

Orang yang mencari model LLM lokal terbaik untuk roleplay biasanya menginginkan nama. Nama menjadi usang dalam beberapa minggu, jadi gunakan kriteria yang tetap relevan.

  • Jumlah parameter. Model yang lebih besar mempertahankan suara karakter dan melacak alur plot dengan lebih baik. Model kecil cenderung mengulang diri dan melupakan detail.
  • Kuantisasi. Build 4-bit atau 5-bit mengurangi penggunaan memori secara signifikan dengan kehilangan kualitas yang moderat. Di bawah 4 bit, penurunan menjadi lebih mudah diperhatikan dalam adegan panjang.
  • Panjang konteks. Roleplay adalah percakapan panjang. Model harus memegang kartu karakter, catatan dunia, dan giliran terbaru secara bersamaan.
  • Fine-tune. Model yang disesuaikan dengan fiksi dan dialog menulis prosa yang lebih baik daripada asisten umum, dan banyak fine-tune lokal dilatih untuk melewatkan penolakan untuk fiksi dewasa yang sah.
  • Kecepatan. Balasan yang tiba pada kecepatan baca terasa seperti percakapan. Yang merambat merusak aliran.

Untuk pilihan saat ini, baca thread komunitas terbaru dan papan peringkat untuk alat yang Anda gunakan, seperti Ollama, LM Studio, atau KoboldCpp. Periksa tanggal, karena favorit kuartal lalu sering sudah digantikan.

Di mana model lokal mencapai tembok

Batasnya hampir tidak pernah file model. Itu adalah memori. Bobot membutuhkan VRAM atau RAM sistem cepat, dan cache konteks tumbuh di atasnya dengan setiap token riwayat. Menjalankan model yang cocok pada 4.000 token konteks mudah; menyimpan 30.000 token cerita dalam memori dengan kecepatan yang layak membutuhkan lebih banyak lagi.

Sebagian besar setup roleplay lokal karena itu berkompromi dengan salah satu dari tiga cara:

  1. Model yang lebih kecil, yang menulis karakter yang lebih datar.
  2. Jendela konteks pendek, yang membuat karakter melupakan adegan sebelumnya.
  3. Offloading layer ke CPU, yang membuat balasan lambat.

Tidak satu pun dari ini membuat lokal pilihan yang buruk. Jika Anda sudah memiliki GPU yang kuat, trade-off ini mungkin baik untuk Anda. Itu berarti jawaban yang jujur untuk "model lokal mana" tergantung pada perangkat keras Anda terlebih dahulu, baru kemudian modelnya.

Apa yang diubah API cloud

API yang dihosting memindahkan masalah memori ke orang lain. Layanan ini mengekspos satu model bobot terbuka dengan jendela konteks 100.000 token (prompt dan completion bersama-sama), sehingga cerita panjang, kartu karakter terperinci, dan entri lorebook muat tanpa pemangkasan. Tidak ada unduhan, tidak ada pilihan kuantisasi, dan tidak ada masalah driver.

Ini juga kompatibel dengan OpenAI. Antarmuka depan apa pun yang dapat berbicara ke endpoint gaya OpenAI berfungsi: atur base URL ke https://api.claudeapicost.com/v1, gunakan kunci Anda, dan atur model ke uncensored. Model ini disesuaikan untuk menjawab tanpa penolakan konten untuk penggunaan dewasa yang sah. Aturan kerasnya adalah tidak ada konten seksual yang melibatkan anak di bawah umur.

Trade-offnya jelas. Prompt Anda meninggalkan mesin Anda. Layanan hanya teks. Anda bergantung pada koneksi jaringan. Prompt tidak digunakan untuk pelatihan, dan halaman privasi memiliki detailnya, tetapi model lokal tetap menjadi satu-satunya setup di mana tidak ada yang pernah meninggalkan komputer Anda.

Biaya: perangkat keras Anda versus bayar per token

Inferensi lokal terasa gratis karena biayanya dibayar di muka dalam perangkat keras dan listrik. Biaya cloud kecil per pesan dan terlihat. Berikut adalah matematika untuk API ini, pada $0,15 per 1M token input dan $0,50 per 1M token output.

Ambil giliran roleplay di mana aplikasi mengirim 6.000 token riwayat dan mendapatkan balasan 300 token:

  • Input: 6.000 / 1.000.000 x $0,15 = $0,0009
  • Output: 300 / 1.000.000 x $0,50 = $0,00015
  • Total per giliran: $0,00105
PenggunaanGiliranBiaya
Bulan ringan1.000 giliran pada 6.000 masuk / 300 keluar$1.05
Bulan berat10.000 giliran dengan 6.000 masuk / 300 keluar$10.50
Bulan berat, memori panjang10.000 giliran dengan 20.000 masuk / 300 keluar$31.50

Baris memori panjang menghasilkan 20.000 token x $0,15 per 1 juta = $0,003 input plus $0,00015 output, sehingga $0,00315 per putaran dan $31,50 untuk 10.000 giliran. Input mendominasi biaya dalam percakapan panjang, itulah mengapa ringkasan adegan lama menghemat uang nyata.

Top-up dimulai dari $20, dengan bonus +5% dari $50, +10% dari $100 dan +15% dari $200, dan saldo prabayar tidak pernah kedaluwarsa. Situs ini menerima pembayaran melalui kripto (USDT on TRC20 atau USDC on Base). Lihat halaman harga untuk detailnya, dan artikel mitos dan fakta harga untuk bagaimana penagihan per token berperilaku dalam praktiknya.

Cara memutuskan

Gunakan daftar periksa ini.

Tetap lokal jika

  • Anda sudah memiliki GPU dengan memori yang cukup dan menikmati proses penyetelan.
  • Tidak ada yang boleh meninggalkan mesin Anda, untuk alasan apa pun.
  • Sesi Anda pendek dan gaya model kecil cocok untuk Anda.
  • Anda ingin menjalankan secara offline.

Gunakan API cloud jika

  • Perangkat keras Anda memaksa jendela konteks pendek atau balasan lambat.
  • Anda memainkan kampanye panjang di mana kontinuitas sangat penting.
  • Anda menjalankan aplikasi pendamping atau fiksi untuk orang dewasa lain dan membutuhkan banyak percakapan bersamaan. Kunci penuh memungkinkan 8 permintaan paralel dan 300 permintaan per menit.
  • Anda ingin mencoba model tanpa penyiapan. Pengguna baru dapat mengklaim kredit uji coba senilai $0,50 dengan satu klik, berlaku selama 7 hari, tanpa perlu kartu.

Jika Anda memenuhi kedua daftar tersebut, gabungkan keduanya. Simpan model lokal untuk sesi pribadi dan gunakan API untuk sesi panjang.

Penyiapan hibrida dalam beberapa baris

Karena server Ollama, LM Studio, dan llama.cpp semuanya mengekspos endpoint bergaya OpenAI, kode klien Anda tidak perlu peduli mana yang ada di belakangnya. Cuplikan Python ini beralih hanya dengan satu variabel lingkungan:

import os
from openai import OpenAI

if os.getenv("USE_CLOUD") == "1":
    client = OpenAI(
        base_url="https://api.claudeapicost.com/v1",
        api_key=os.environ["API_KEY"],
    )
    model = "uncensored"
else:
    client = OpenAI(base_url="http://localhost:11434/v1", api_key="local")
    model = "your-local-model"

reply = client.chat.completions.create(
    model=model,
    messages=[
        {"role": "system", "content": "You are Mira, a dry-witted ship engineer in a sci-fi story."},
        {"role": "user", "content": "The reactor is humming wrong again."},
    ],
    temperature=0.9,
    stream=True,
)
for chunk in reply:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="")

URL lokal di atas adalah port default Ollama; ubah jika Anda menggunakan server lain. Untuk bagian cloud, dokumentasi mencakup streaming, mode JSON, dan pemanggilan fungsi, dan halaman kunci adalah tempat Anda mendaftar dengan Google atau dengan email dan kata sandi.

Pengaturan yang penting untuk kedua rute

Penulisan karakter yang baik lebih bergantung pada struktur prompt daripada pada mesin. Beberapa kebiasaan membantu pada model lokal maupun cloud:

  • Masukkan suara, tujuan, dan kebiasaan bicara karakter dalam pesan sistem, dan buatlah singkat.
  • Gunakan temperature sekitar 0,8 hingga 1,0 untuk dialog yang hidup dan turunkan jika karakter mulai bertele-tele. API meneruskan temperature, top_p, stop, seed dan penalti.
  • Atur penalti frekuensi atau kehadiran jika balasan mengulang frasa.
  • Ringkaskan adegan lama secara berkala alih-alih mengirim seluruh log. Ini lebih hemat biaya di cloud dan lebih cepat secara lokal.

Memulai dalam sepuluh menit

Jika perhitungan biaya terlihat wajar, uji coba tidak memerlukan biaya apa pun. Daftar di halaman kunci, klaim kredit uji coba satu klik senilai $0,50 (satu per orang, berlaku selama 7 hari), tempelkan base URL dan kunci ke antarmuka depan roleplay Anda, dan atur model menjadi uncensored. Sekitar $0,00105 per giliran dari contoh sebelumnya, $0,50 mencakup sekitar 476 giliran, karena 0,50 / 0,00105 = 476,19.

Kunci uji coba dibatasi hingga 2 permintaan paralel dan 60 permintaan per menit, yang cukup untuk satu orang mengobrol. Jalankan adegan yang sama yang Anda gunakan untuk menilai model lokal, dan bandingkan konsistensi suara, memori terhadap detail sebelumnya, dan kecepatan balasan pada kartu karakter Anda sendiri. Tes ini lebih berguna daripada benchmark apa pun, karena kualitas roleplay adalah soal selera.

Ingatlah aturan mengenai anak di bawah umur untuk setiap fiksi yang Anda tulis: konten seksual yang melibatkan anak di bawah umur tidak pernah diizinkan, dalam bentuk apa pun.

Tanya jawab

Apakah model lokal lebih baik daripada API cloud untuk roleplay?

Itu tergantung pada perangkat keras dan prioritas Anda. Lokal memberikan privasi dan tanpa biaya per pesan, sedangkan API cloud memberikan jendela konteks panjang dan tanpa setup. Banyak orang menggunakan keduanya.

Berapa banyak konteks yang saya butuhkan untuk roleplay panjang?

Kartu karakter, catatan dunia, dan giliran terbaru sering kali berjumlah beberapa ribu token, dan kampanye panjang dapat melebihi 20.000. API ini menawarkan 100.000 token konteks, termasuk prompt dan completion.

Bisakah saya menggunakan SillyTavern atau antarmuka depan serupa dengan API?

Ya, antarmuka depan apa pun yang menerima endpoint kompatibel OpenAI berfungsi. Gunakan base URL, kunci Anda, dan ID model uncensored.

Apakah API mengizinkan semua konten?

Model ini disesuaikan untuk menjawab tanpa penolakan konten untuk penggunaan dewasa yang sah. Konten seksual yang melibatkan anak di bawah umur tidak pernah diizinkan.

Bagaimana saya bisa membayar jika ingin mencoba rute cloud?

Situs ini menerima pembayaran kripto (USDT on TRC20, USDC on Base), dengan top-up mulai dari $20. Uji coba satu klik senilai $0,50 tersedia setelah mendaftar.

Kunci Anda hanya selangkah lagi dari satu formulir

Buat akun, salin kunci, ubah URL dasar. Itu saja seluruh proses pengaturannya.

Dapatkan kunci API