IT ▾
costi API claudeapicost.com

API LLM senza censura a prezzi trasparenti

https://api.claudeapicost.com/v1

claudeapicost.comOttieni la chiave API

Miglior LLM locale per roleplay vs API cloud

Il miglior LLM locale per il roleplay è il modello più grande ottimizzato per il roleplay che la tua GPU può eseguire a una lunghezza di contesto utilizzabile. Se questo significa modelli piccoli o memoria breve, un'API cloud potrebbe servirti meglio.

Aggiornato

Un computer GPU locale e una nuvola luminosa collegati da un nastro di bolle di chat, che confrontano LLM per roleplay locali e cloud

Punti chiave

Cosa decide il miglior modello locale per il roleplay

Le persone che cercano il miglior LLM locale per il roleplay vogliono di solito un nome. I nomi diventano datati in poche settimane, quindi usa criteri che restano validi.

  • Conteggio dei parametri. I modelli più grandi mantengono meglio la voce di un personaggio e seguono le trame. Quelli piccoli tendono a ripetersi e dimenticare i dettagli.
  • Quantizzazione. Una build a 4-bit o 5-bit riduce molto l'uso di memoria con una modesta perdita di qualità. Sotto i 4 bit, il calo diventa più evidente nelle scene lunghe.
  • Lunghezza del contesto. Il roleplay è una conversazione lunga. Il modello deve tenere a mente la card del personaggio, le note sul mondo e i turni recenti contemporaneamente.
  • Affinamento. I modelli ottimizzati su narrativa e dialogo scrivono una prosa migliore rispetto agli assistenti generali, e molti affinamenti locali sono addestrati a saltare i rifiuti per la narrativa adulta legale.
  • Velocità. Una risposta che arriva alla velocità di lettura sembra una conversazione. Una che striscia interrompe il flusso.

Per le scelte attuali, leggi le discussioni recenti della community e le classifiche per lo strumento che usi, come Ollama, LM Studio o KoboldCpp. Controlla le date, perché il preferito dell'ultimo trimestre è spesso già sostituito.

Dove i modelli locali incontrano un muro

Il limite non è quasi mai il file del modello. È la memoria. I pesi hanno bisogno di VRAM o RAM di sistema veloce, e la cache del contesto cresce sopra questo con ogni token della cronologia. Eseguire un modello che si adatta a 4.000 token di contesto è facile; mantenere 30.000 token di storia in memoria a una velocità decente richiede molto di più.

La maggior parte delle configurazioni di roleplay locale quindi compromette in uno di tre modi:

  1. Un modello più piccolo, che scrive personaggi più piatti.
  2. Una finestra di contesto breve, che fa dimenticare al personaggio le scene precedenti.
  3. Lo spostamento dei layer sulla CPU, che rende le risposte lente.

Niente di tutto ciò rende il locale una scelta sbagliata. Se possiedi già una GPU potente, questi compromessi potrebbero andare bene per te. Significa solo che la risposta onesta a "quale modello locale" dipende prima dal tuo hardware e poi dal modello.

Cosa cambia un'API cloud

Un'API ospitata sposta il problema della memoria su qualcun altro. Questo servizio espone un modello a pesi aperti con una finestra di contesto di 100.000 token (prompt e completamento insieme), quindi una storia lunga, una card del personaggio dettagliata e le voci del lorebook si adattano senza tagli. Non ci sono download, nessuna scelta di quantizzazione e nessun problema di driver.

È anche compatibile con OpenAI. Qualsiasi interfaccia in grado di comunicare con un endpoint stile OpenAI funziona: imposta l'URL base su https://api.claudeapicost.com/v1, usa la tua chiave e imposta il modello su uncensored. Il modello è ottimizzato per rispondere senza rifiuti sui contenuti per l'uso adulto legale. La regola fissa è nessun contenuto sessuale che coinvolga minorenni.

I compromessi sono chiari. I tuoi prompt lasciano la tua macchina. Il servizio è solo testo. Dipendi da una connessione di rete. I prompt non sono usati per l'addestramento, e la pagina sulla privacy ha i dettagli, ma un modello locale rimane l'unica configurazione dove nulla lascia mai il tuo computer.

Costo: il tuo hardware contro il pagamento a consumo

L'inferenza locale sembra gratuita perché il costo è pagato in anticipo in hardware ed elettricità. Il costo cloud è piccolo per messaggio e visibile. Ecco i calcoli per questa API, a $0,15 per 1M di token in input e $0,50 per 1M di token in output.

Prendi un turno di roleplay dove l'app invia 6.000 token di cronologia e riceve una risposta di 300 token:

  • Input: 6.000 / 1.000.000 x $0,15 = $0,0009
  • Output: 300 / 1.000.000 x $0,50 = $0,00015
  • Totale per turno: $0,00105
UtilizzoTurniCosto
Mese leggero1.000 turni a 6.000 input / 300 output$1.05
Mese pesante10.000 turni a 6.000 in / 300 out$10.50
Mese pesante, memoria lunga10.000 turni a 20.000 in / 300 out$31.50

La riga a memoria lunga risulta in 20.000 token x $0,15 per 1M = $0,003 input più $0,00015 output, quindi $0,00315 per turno e $31,50 per 10.000 turni. L'input domina il costo nelle chat lunghe, motivo per cui un riassunto delle scene vecchie fa risparmiare davvero.

Le ricariche partono da $20, con un bonus del +5% da $50, +10% da $100 e +15% da $200, e il credito non scade mai. Questo sito accetta con cripto (USDT su TRC20 o USDC su Base). Vedi la pagina dei prezzi per i dettagli, e l'articolo prezzi: miti e realtà per capire come funziona la fatturazione a token nella pratica.

Come decidere

Usa questa checklist.

Rimani locale se

  • Hai già una GPU con molta memoria e ti piace ottimizzare.
  • Nulla deve lasciare la tua macchina, per qualsiasi motivo.
  • Le tue sessioni sono brevi e lo stile di un modello piccolo ti si addice.
  • Vuoi lavorare offline.

Usa un'API cloud se

  • L'hardware ti costringe a una finestra di contesto breve o a risposte lente.
  • Segui campagne lunghe dove la continuità è importante.
  • Esegui un'app per compagni o narrativa per altri adulti e ti servono molte chat simultanee. Una chiave completa permette 8 richieste parallele e 300 richieste al minuto.
  • Vuoi provare un modello senza configurazione. I nuovi utenti possono richiedere $0,50 di credito di prova gratuito con un clic, valido per 7 giorni, senza bisogno di carta.

Se rientri in entrambe le liste, combinale. Tieni un modello locale per le sessioni private e usa l'API per quelle lunghe.

Una configurazione ibrida in poche righe

Poiché i server di Ollama, LM Studio e llama.cpp espongono tutti endpoint in stile OpenAI, il codice del tuo client non deve preoccuparsi di quale sia quello sottostante. Questo frammento Python cambia solo una variabile d'ambiente:

import os
from openai import OpenAI

if os.getenv("USE_CLOUD") == "1":
    client = OpenAI(
        base_url="https://api.claudeapicost.com/v1",
        api_key=os.environ["API_KEY"],
    )
    model = "uncensored"
else:
    client = OpenAI(base_url="http://localhost:11434/v1", api_key="local")
    model = "your-local-model"

reply = client.chat.completions.create(
    model=model,
    messages=[
        {"role": "system", "content": "You are Mira, a dry-witted ship engineer in a sci-fi story."},
        {"role": "user", "content": "The reactor is humming wrong again."},
    ],
    temperature=0.9,
    stream=True,
)
for chunk in reply:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="")

L'URL locale sopra indica la porta predefinita di Ollama; modificala se usi un altro server. Per la parte cloud, la documentazione copre streaming, modalità JSON e chiamata di funzioni, mentre la pagina delle chiavi è dove ti registri con Google o con email e password.

Impostazioni importanti per entrambe le strade

Una buona scrittura dei personaggi dipende più dalla struttura del prompt che dal motore. Alcune abitudini aiutano sia sui modelli locali che su quelli cloud:

  • Inserisci la voce, gli obiettivi e le abitudini linguistiche del personaggio nel messaggio di sistema, e mantienilo breve.
  • Usa temperature intorno a 0,8-1,0 per dialoghi vivaci e abbassalo se il personaggio inizia a divagare. L'API inoltra temperature, top_p, stop, seed e le penalità.
  • Imposta una penalità di frequenza o presenza se le risposte ripetono frasi.
  • Riassumi le scene vecchie ogni tanto invece di inviare l'intero log. È più economico nel cloud e più veloce in locale.

Per iniziare in dieci minuti

Se i calcoli dei costi ti sembrano accettabili, una prova costa zero. Registrati sulla pagina delle chiavi, ottieni il credito di prova con un clic da $0,50 (uno per persona, valido per 7 giorni), incolla l'URL base e la chiave nel tuo frontend di roleplay e imposta il modello su uncensored. A circa $0,00105 per turno dell'esempio precedente, $0,50 coprono circa 476 turni, dato che 0,50 / 0,00105 = 476,19.

La chiave di prova è limitata a 2 richieste parallele e 60 richieste al minuto, il che è più che sufficiente per una persona che chatta. Esegui la stessa scena che usi per valutare i modelli locali e confronta la coerenza della voce, la memoria dei dettagli precedenti e la velocità di risposta sulle tue card dei personaggi. Questo test è più utile di qualsiasi benchmark, perché la qualità del roleplay è una questione di gusto.

Tieni presente la regola sui minorenni per qualsiasi narrativa che scrivi: i contenuti sessuali che coinvolgono minorenni non sono mai permessi, in qualsiasi contesto.

Domande e risposte

Un modello locale è meglio di un'API cloud per il roleplay?

Dipende dal tuo hardware e dalle tue priorità. Il locale offre privacy e nessuna tariffa per messaggio, mentre un'API cloud offre una finestra di contesto lunga e nessuna configurazione. Molte persone usano entrambi.

Quanto contesto mi serve per il roleplay lungo?

Le card dei personaggi, le note sul mondo e i turni recenti spesso si sommano a diverse migliaia di token, e le campagne lunghe possono superare i 20.000. Questa API offre 100.000 token di contesto, prompt più completamento.

Posso usare SillyTavern o client simili con l'API?

Sì, qualsiasi client che accetta un endpoint compatibile con OpenAI funziona. Usa l'URL base, la tua chiave e l'ID del modello uncensored.

L'API permette tutti i contenuti?

Il modello è ottimizzato per rispondere senza rifiuti sui contenuti per l'uso adulto legale. I contenuti sessuali che coinvolgono minorenni non sono mai permessi.

Come posso pagare se voglio provare la strada cloud?

Questo sito accetta pagamenti con cripto (USDT su TRC20, USDC su Base), con ricariche da $20. È disponibile una prova gratuita con un clic da $0,50 dopo la registrazione.

La tua chiave è a un modulo di distanza

Crea un account, copia la chiave, modifica l'URL di base. È tutta la configurazione.

Ottieni la chiave API