रोलप्ले के लिए सबसे अच्छा लोकल मॉडल तय करने वाले कारक
वे लोग जो रोलप्ले के लिए सर्वोत्तम स्थानीय LLM की मांग करते हैं, आमतौर पर एक नाम चाहते हैं। नाम कुछ ही हफ्तों में पुराने पड़ जाते हैं, इसलिए ऐसे मापदंडों का उपयोग करें जो स्थिर रहें।
- पैरामीटर की संख्या। बड़े मॉडल किसी पात्र की आवाज़ और कथानक के सूत्रों को बेहतर तरीके से बनाए रखते हैं। छोटे मॉडल अक्सर दोहराते हैं और विवरण भूल जाते हैं।
- क्वांटीकरण। 4-बिट या 5-बिट बिल्ड से मेमोरी उपयोग काफी कम हो जाता है, जिसमें गुणवत्ता में मामूली कमी आती है। 4 बिट से नीचे, लंबे दृश्यों में यह कमी आसानी से नज़र आती है।
- कॉन्टेक्स्ट लंबाई। रोलप्ले एक लंबी बातचीत है। मॉडल को पात्र कार्ड, दुनिया के नोट्स और हालिया संवादों को एक साथ धारण करना होता है।
- फ़ाइन-ट्यून। फिक्शन और संवाद पर ट्यून किए गए मॉडल सामान्य सहायकों की तुलना में बेहतर प्रॉज़ लिखते हैं, और कई स्थानीय फ़ाइन-ट्यून वैध वयस्क फिक्शन के लिए अस्वीकृतियों को छोड़ने के लिए ट्रेन किए गए हैं।
- गति। एक जवाब जो पढ़ने की गति से आता है, वह एक बातचीत जैसा लगता है। एक जो धीरे-धीरे चलता है, वह प्रवाह को तोड़ देता है।
वर्तमान चयनों के लिए, Ollama, LM Studio या KoboldCpp जैसे जिस टूल का आप उपयोग करते हैं, उसके लिए हाल के समुदाय थ्रेड और लीडरबोर्ड पढ़ें। तारीखें जाँचें, क्योंकि पिछली तिमाही का पसंदीदा अक्सर पहले ही बदल चुका होता है।
जहाँ लोकल मॉडल रुक जाते हैं
सीमा लगभग कभी मॉडल फ़ाइल नहीं होती। यह मेमोरी है। वेट्स को VRAM या तेज़ सिस्टम RAM की आवश्यकता होती है, और हर टोकन के इतिहास के साथ कॉन्टेक्स्ट कैश उस पर बढ़ता जाता है। एक मॉडल को चलाना जो 4,000 टोकन के कॉन्टेक्स्ट में फिट बैठता है, आसान है; 30,000 टोकन की कहानी को एक उचित गति पर मेमोरी में रखने के लिए बहुत अधिक की आवश्यकता होती है।
इसलिए, अधिकांश लोकल रोलप्ले सेटअप तीन तरीकों में से किसी एक में समझौता करते हैं:
- एक छोटा मॉडल, जो समतल किरदार लिखता है।
- एक छोटी कॉन्टेक्स्ट विंडो, जिससे किरदार पहले के दृश्यों को भूल जाता है।
- लेयर्स को CPU पर ऑफलोड करना, जिससे जवाब धीमे हो जाते हैं।
इनमें से कोई भी बात लोकल को एक बुरा विकल्प नहीं बनाती। यदि आपके पास पहले से एक मजबूत GPU है, तो ये ट्रेड-ऑफ आपके लिए ठीक हो सकते हैं। इसका मतलब यह है कि "कौन सा लोकल मॉडल" का ईमानदार जवाब आपके हार्डवेयर पहले और मॉडल दूसरा है, इस पर निर्भर करता है।
एक क्लाउड API क्या बदल देता है
एक होस्टेड API मेमोरी की समस्या किसी और के पास ले जाता है। यह सेवा एक ओपन-वेट मॉडल को 100,000 टोकन की कॉन्टेक्स्ट विंडो (प्रॉम्प्ट और कंप्लीशन मिलाकर) के साथ एक्सपोज़ करती है, ताकि एक लंबी कहानी, एक विस्तृत किरदार कार्ड और लोरबुक एंट्रीज बिना ट्रिम किए फिट हो सकें। कोई डाउनलोड नहीं, कोई क्वांटीज़ेशन चयन नहीं और कोई ड्राइवर की समस्या नहीं।
यह OpenAI-संगत भी है। कोई भी फ्रंटएंड जो OpenAI-शैली के एंडपॉइंट से बात कर सकता है, काम करता है: बेस URL को https://api.claudeapicost.com/v1 पर सेट करें, अपनी कुंजी का उपयोग करें और मॉडल को uncensored पर सेट करें। मॉडल को कानूनी वयस्क उपयोग के लिए बिना सामग्री अस्वीकृति के उत्तर देने के लिए ट्यून किया गया है। कठोर नियम यह है कि नाबालिगों से जुड़ी यौन सामग्री की अनुमति नहीं है।
व्यापार-विनिमय स्पष्ट हैं। आपके प्रॉम्प्ट आपकी मशीन से बाहर निकल जाते हैं। सेवा केवल टेक्स्ट के लिए है। आपको नेटवर्क कनेक्शन पर निर्भर रहना पड़ता है। प्रॉम्प्ट को ट्रेनिंग के लिए उपयोग नहीं किया जाता है, और गोपनीयता पृष्ठ में विवरण दिए गए हैं, लेकिन एक स्थानीय मॉडल ही वह एकमात्र सेटअप है जहाँ कुछ भी आपके कंप्यूटर से बाहर नहीं जाता।
लागत: आपका हार्डवेयर बनाम टोकन-प्रति-भुगतान
लोकल इन्फरेंस मुफ़्त लगता है क्योंकि लागत हार्डवेयर और बिजली में अग्रिम भुगतान की जाती है। क्लाउड लागत संदेश प्रति कम और दृश्यमान है। इस API के लिए गणना इस प्रकार है: 1M इनपुट टोकन के लिए $0.15 और 1M आउटपुट टोकन के लिए $0.50।
एक रोलप्ले टर्न लें जहाँ ऐप 6,000 टोकन का इतिहास भेजता है और 300 टोकन का जवाब प्राप्त करता है:
- इनपुट: 6,000 / 1,000,000 x $0.15 = $0.0009
- आउटपुट: 300 / 1,000,000 x $0.50 = $0.00015
- प्रति टर्न कुल: $0.00105
| उपयोग | टर्न्स | लागत |
|---|---|---|
| हल्का माह | 6,000 इन / 300 आउट के साथ 1,000 टर्न्स | $1.05 |
| भारी माह | 6,000 इन / 300 आउट के साथ 10,000 टर्न्स | $10.50 |
| भारी माह, लंबी मेमोरी | 20,000 इन / 300 आउट के साथ 10,000 टर्न्स | $31.50 |
लंबी-मेमोरी वाली पंक्ति 20,000 टोकन x $0.15 प्रति 1M = $0.003 इनपुट प्लस $0.00015 आउटपुट के रूप में आती है, इसलिए प्रति टर्न $0.00315 और 10,000 टर्न्स के लिए $31.50। लंबी चैट में लागत का अधिकांश हिस्सा इनपुट का होता है, इसलिए पुराने दृश्यों का सारांश असली पैसे बचाता है।
टॉप-अप $20 से शुरू होते हैं, $50 पर +5% बोनस, $100 पर +10% और $200 पर +15% मिलता है, और क्रेडिट कभी समाप्त नहीं होता। यह साइट क्रिप्टो (TRC20 पर USDT या Base पर USDC) स्वीकार करती है। विवरण के लिए मूल्य निर्धारण पृष्ठ देखें, और व्यावहारिक रूप से प्रति-टोकन बिलिंग कैसे व्यवहार करती है, इसके लिए मूल्य निर्धारण के मिथक और तथ्य लेख पढ़ें।
निर्णय कैसे लें
इस चेकलिस्ट का उपयोग करें।
लोकल रहें यदि
- आपके पास पहले से ही पर्याप्त मेमोरी वाले GPU हैं और ट्यूनिंग में मज़ा आता है।
- किसी भी कारण से कुछ भी आपकी मशीन से बाहर नहीं जाना चाहिए।
- आपके सत्र छोटे हैं और एक छोटे मॉडल की शैली आपको पसंद है।
- आप ऑफ़लाइन चलाना चाहते हैं।
क्लाउड API का उपयोग करें यदि
- आपका हार्डवेयर एक छोटी कॉन्टेक्स्ट विंडो या धीमे जवाबों को मजबूर करता है।
- आप ऐसे लंबे अभियान खेलते हैं जहाँ निरंतरता मायने रखती है।
- आप अन्य वयस्कों के लिए एक साथी या फिक्शन ऐप चलाते हैं और कई समानांतर चैट की आवश्यकता है। एक पूर्ण कुंजी 8 समानांतर अनुरोधों और प्रति मिनट 300 अनुरोधों की अनुमति देती है।
- आप बिना सेटअप के एक मॉडल आज़माना चाहते हैं। नए उपयोगकर्ता एक क्लिक से 7 दिनों के लिए मान्य $0.50 का मुफ़्त ट्रायल क्रेडिट क्लेम कर सकते हैं, बिना कार्ड के।
यदि आप दोनों सूचियों में फिट बैठते हैं, तो उन्हें मिलाएं। निजी सत्रों के लिए एक स्थानीय मॉडल रखें और लंबे सत्रों के लिए API का उपयोग करें।
कुछ पंक्तियों में हाइब्रिड सेटअप
क्योंकि Ollama, LM Studio और llama.cpp के सर्वर सभी OpenAI-शैली के एंडपॉइंट प्रकट करते हैं, आपके क्लाइंट कोड को यह नहीं देखना पड़ता कि पीछे कौन सा है। यह Python स्निपेट एक एनवायरनमेंट वेरिएबल द्वारा स्विच करता है:
import os
from openai import OpenAI
if os.getenv("USE_CLOUD") == "1":
client = OpenAI(
base_url="https://api.claudeapicost.com/v1",
api_key=os.environ["API_KEY"],
)
model = "uncensored"
else:
client = OpenAI(base_url="http://localhost:11434/v1", api_key="local")
model = "your-local-model"
reply = client.chat.completions.create(
model=model,
messages=[
{"role": "system", "content": "You are Mira, a dry-witted ship engineer in a sci-fi story."},
{"role": "user", "content": "The reactor is humming wrong again."},
],
temperature=0.9,
stream=True,
)
for chunk in reply:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="")
ऊपर दिया गया स्थानीय URL Ollama का डिफ़ॉल्ट पोर्ट है; यदि आप किसी अन्य सर्वर का उपयोग करते हैं तो इसे बदलें। क्लाउड वाले हिस्से के लिए, दस्तावेज़ स्ट्रीमिंग, JSON मोड और टूल कॉलिंग को कवर करते हैं, और कुंजी पेज वह जगह है जहाँ आप Google या ईमेल और पासवर्ड के साथ साइन अप करते हैं।
दोनों मार्गों के लिए महत्वपूर्ण सेटिंग्स
अच्छी किरदार लेखन प्रॉम्प्ट संरचना पर इंजन से ज़्यादा निर्भर करती है। कुछ आदतें स्थानीय और क्लाउड दोनों मॉडल्स पर मदद करती हैं:
- सिस्टम संदेश में किरदार की आवाज़, लक्ष्य और बोलने की आदतें डालें, और इसे छोटा रखें।
- जीवंत संवाद के लिए
temperatureको 0.8 से 1.0 के आसपास रखें और यदि किरदार बकवास करने लगे तो इसे कम करें। APItemperature,top_p,stop,seedऔर दंड को पास कर देता है। - यदि जवाब वाक्यों को दोहराते हैं तो फ्रीक्वेंसी या प्रेजेंस पेनल्टी सेट करें।
- पुराने दृश्यों को अक्सर सारांशित करें, पूरा लॉग भेजने के बजाय। यह क्लाउड में सस्ता है और स्थानीय रूप से तेज़ है।
दस मिनट में शुरुआत करें
यदि लागत की गणना स्वीकार्य लगती है, तो ट्रायल आज़माने के लिए निःशुल्क है। कुंजी पेज पर साइन अप करें, एक-क्लिक ट्रायल क्रेडिट $0.50 क्लेम करें (प्रति व्यक्ति एक, 7 दिनों के लिए मान्य), अपने रोलप्ले फ्रंट एंड में बेस URL और कुंजी पेस्ट करें, और मॉडल को uncensored पर सेट करें। पिछले उदाहरण के लिए प्रति टर्न लगभग $0.00105 की लागत पर, $0.50 लगभग 476 टर्न कवर करता है, क्योंकि 0.50 / 0.00105 = 476.19 है।
ट्रायल कुंजी 2 समानांतर अनुरोधों और प्रति मिनट 60 अनुरोधों तक सीमित है, जो एक व्यक्ति के चैट करने के लिए पर्याप्त है। उसी दृश्य को चलाएँ जिसका उपयोग आप स्थानीय मॉडल को निर्धारित करने के लिए करते हैं, और अपने किरदार कार्ड्स पर आवाज़ की स्थिरता, पिछले विवरणों की मेमोरी और प्रतिक्रिया की गति की तुलना करें। यह परीक्षण किसी भी बेंचमार्क से अधिक उपयोगी है, क्योंकि रोलप्ले की गुणवत्ता स्वाद का मामला है।
आपके द्वारा लिखे गए किसी भी फिक्शन के लिए नाबालिग नियम को ध्यान में रखें: नाबालिगों से जुड़ा यौन सामग्री किसी भी फ्रेमिंग में कभी अनुमत नहीं है।
