Apa yang menentukan model lokal terbaik untuk roleplay
Orang yang mencari model LLM lokal terbaik untuk roleplay biasanya menginginkan nama. Nama menjadi usang dalam beberapa minggu, jadi gunakan kriteria yang tetap relevan.
- Jumlah parameter. Model yang lebih besar mempertahankan suara karakter dan melacak alur plot dengan lebih baik. Model kecil cenderung mengulang diri dan melupakan detail.
- Kuantisasi. Build 4-bit atau 5-bit mengurangi penggunaan memori secara signifikan dengan kehilangan kualitas yang moderat. Di bawah 4 bit, penurunan menjadi lebih mudah diperhatikan dalam adegan panjang.
- Panjang konteks. Roleplay adalah percakapan panjang. Model harus memegang kartu karakter, catatan dunia, dan giliran terbaru secara bersamaan.
- Fine-tune. Model yang disesuaikan dengan fiksi dan dialog menulis prosa yang lebih baik daripada asisten umum, dan banyak fine-tune lokal dilatih untuk melewatkan penolakan untuk fiksi dewasa yang sah.
- Kecepatan. Balasan yang tiba pada kecepatan baca terasa seperti percakapan. Yang merambat merusak aliran.
Untuk pilihan saat ini, baca thread komunitas terbaru dan papan peringkat untuk alat yang Anda gunakan, seperti Ollama, LM Studio, atau KoboldCpp. Periksa tanggal, karena favorit kuartal lalu sering sudah digantikan.
Di mana model lokal mencapai tembok
Batasnya hampir tidak pernah file model. Itu adalah memori. Bobot membutuhkan VRAM atau RAM sistem cepat, dan cache konteks tumbuh di atasnya dengan setiap token riwayat. Menjalankan model yang cocok pada 4.000 token konteks mudah; menyimpan 30.000 token cerita dalam memori dengan kecepatan yang layak membutuhkan lebih banyak lagi.
Sebagian besar setup roleplay lokal karena itu berkompromi dengan salah satu dari tiga cara:
- Model yang lebih kecil, yang menulis karakter yang lebih datar.
- Jendela konteks pendek, yang membuat karakter melupakan adegan sebelumnya.
- Offloading layer ke CPU, yang membuat balasan lambat.
Tidak satu pun dari ini membuat lokal pilihan yang buruk. Jika Anda sudah memiliki GPU yang kuat, trade-off ini mungkin baik untuk Anda. Itu berarti jawaban yang jujur untuk "model lokal mana" tergantung pada perangkat keras Anda terlebih dahulu, baru kemudian modelnya.
Apa yang diubah API cloud
API yang dihosting memindahkan masalah memori ke orang lain. Layanan ini mengekspos satu model bobot terbuka dengan jendela konteks 100.000 token (prompt dan completion bersama-sama), sehingga cerita panjang, kartu karakter terperinci, dan entri lorebook muat tanpa pemangkasan. Tidak ada unduhan, tidak ada pilihan kuantisasi, dan tidak ada masalah driver.
Ini juga kompatibel dengan OpenAI. Antarmuka depan apa pun yang dapat berbicara ke endpoint gaya OpenAI berfungsi: atur base URL ke https://api.claudeapicost.com/v1, gunakan kunci Anda, dan atur model ke uncensored. Model ini disesuaikan untuk menjawab tanpa penolakan konten untuk penggunaan dewasa yang sah. Aturan kerasnya adalah tidak ada konten seksual yang melibatkan anak di bawah umur.
Trade-offnya jelas. Prompt Anda meninggalkan mesin Anda. Layanan hanya teks. Anda bergantung pada koneksi jaringan. Prompt tidak digunakan untuk pelatihan, dan halaman privasi memiliki detailnya, tetapi model lokal tetap menjadi satu-satunya setup di mana tidak ada yang pernah meninggalkan komputer Anda.
Biaya: perangkat keras Anda versus bayar per token
Inferensi lokal terasa gratis karena biayanya dibayar di muka dalam perangkat keras dan listrik. Biaya cloud kecil per pesan dan terlihat. Berikut adalah matematika untuk API ini, pada $0,15 per 1M token input dan $0,50 per 1M token output.
Ambil giliran roleplay di mana aplikasi mengirim 6.000 token riwayat dan mendapatkan balasan 300 token:
- Input: 6.000 / 1.000.000 x $0,15 = $0,0009
- Output: 300 / 1.000.000 x $0,50 = $0,00015
- Total per giliran: $0,00105
| Penggunaan | Giliran | Biaya |
|---|---|---|
| Bulan ringan | 1.000 giliran pada 6.000 masuk / 300 keluar | $1.05 |
| Bulan berat | 10.000 giliran dengan 6.000 masuk / 300 keluar | $10.50 |
| Bulan berat, memori panjang | 10.000 giliran dengan 20.000 masuk / 300 keluar | $31.50 |
Baris memori panjang menghasilkan 20.000 token x $0,15 per 1 juta = $0,003 input plus $0,00015 output, sehingga $0,00315 per putaran dan $31,50 untuk 10.000 giliran. Input mendominasi biaya dalam percakapan panjang, itulah mengapa ringkasan adegan lama menghemat uang nyata.
Top-up dimulai dari $20, dengan bonus +5% dari $50, +10% dari $100 dan +15% dari $200, dan saldo prabayar tidak pernah kedaluwarsa. Situs ini menerima pembayaran melalui kripto (USDT on TRC20 atau USDC on Base). Lihat halaman harga untuk detailnya, dan artikel mitos dan fakta harga untuk bagaimana penagihan per token berperilaku dalam praktiknya.
Cara memutuskan
Gunakan daftar periksa ini.
Tetap lokal jika
- Anda sudah memiliki GPU dengan memori yang cukup dan menikmati proses penyetelan.
- Tidak ada yang boleh meninggalkan mesin Anda, untuk alasan apa pun.
- Sesi Anda pendek dan gaya model kecil cocok untuk Anda.
- Anda ingin menjalankan secara offline.
Gunakan API cloud jika
- Perangkat keras Anda memaksa jendela konteks pendek atau balasan lambat.
- Anda memainkan kampanye panjang di mana kontinuitas sangat penting.
- Anda menjalankan aplikasi pendamping atau fiksi untuk orang dewasa lain dan membutuhkan banyak percakapan bersamaan. Kunci penuh memungkinkan 8 permintaan paralel dan 300 permintaan per menit.
- Anda ingin mencoba model tanpa penyiapan. Pengguna baru dapat mengklaim kredit uji coba senilai $0,50 dengan satu klik, berlaku selama 7 hari, tanpa perlu kartu.
Jika Anda memenuhi kedua daftar tersebut, gabungkan keduanya. Simpan model lokal untuk sesi pribadi dan gunakan API untuk sesi panjang.
Penyiapan hibrida dalam beberapa baris
Karena server Ollama, LM Studio, dan llama.cpp semuanya mengekspos endpoint bergaya OpenAI, kode klien Anda tidak perlu peduli mana yang ada di belakangnya. Cuplikan Python ini beralih hanya dengan satu variabel lingkungan:
import os
from openai import OpenAI
if os.getenv("USE_CLOUD") == "1":
client = OpenAI(
base_url="https://api.claudeapicost.com/v1",
api_key=os.environ["API_KEY"],
)
model = "uncensored"
else:
client = OpenAI(base_url="http://localhost:11434/v1", api_key="local")
model = "your-local-model"
reply = client.chat.completions.create(
model=model,
messages=[
{"role": "system", "content": "You are Mira, a dry-witted ship engineer in a sci-fi story."},
{"role": "user", "content": "The reactor is humming wrong again."},
],
temperature=0.9,
stream=True,
)
for chunk in reply:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="")
URL lokal di atas adalah port default Ollama; ubah jika Anda menggunakan server lain. Untuk bagian cloud, dokumentasi mencakup streaming, mode JSON, dan pemanggilan fungsi, dan halaman kunci adalah tempat Anda mendaftar dengan Google atau dengan email dan kata sandi.
Pengaturan yang penting untuk kedua rute
Penulisan karakter yang baik lebih bergantung pada struktur prompt daripada pada mesin. Beberapa kebiasaan membantu pada model lokal maupun cloud:
- Masukkan suara, tujuan, dan kebiasaan bicara karakter dalam pesan sistem, dan buatlah singkat.
- Gunakan
temperaturesekitar 0,8 hingga 1,0 untuk dialog yang hidup dan turunkan jika karakter mulai bertele-tele. API meneruskantemperature,top_p,stop,seeddan penalti. - Atur penalti frekuensi atau kehadiran jika balasan mengulang frasa.
- Ringkaskan adegan lama secara berkala alih-alih mengirim seluruh log. Ini lebih hemat biaya di cloud dan lebih cepat secara lokal.
Memulai dalam sepuluh menit
Jika perhitungan biaya terlihat wajar, uji coba tidak memerlukan biaya apa pun. Daftar di halaman kunci, klaim kredit uji coba satu klik senilai $0,50 (satu per orang, berlaku selama 7 hari), tempelkan base URL dan kunci ke antarmuka depan roleplay Anda, dan atur model menjadi uncensored. Sekitar $0,00105 per giliran dari contoh sebelumnya, $0,50 mencakup sekitar 476 giliran, karena 0,50 / 0,00105 = 476,19.
Kunci uji coba dibatasi hingga 2 permintaan paralel dan 60 permintaan per menit, yang cukup untuk satu orang mengobrol. Jalankan adegan yang sama yang Anda gunakan untuk menilai model lokal, dan bandingkan konsistensi suara, memori terhadap detail sebelumnya, dan kecepatan balasan pada kartu karakter Anda sendiri. Tes ini lebih berguna daripada benchmark apa pun, karena kualitas roleplay adalah soal selera.
Ingatlah aturan mengenai anak di bawah umur untuk setiap fiksi yang Anda tulis: konten seksual yang melibatkan anak di bawah umur tidak pernah diizinkan, dalam bentuk apa pun.
