อะไรคือตัวกำหนดโมเดลในเครื่องที่ดีที่สุดสำหรับบทบาทสมมติ
ผู้คนที่ถามหา โมเดล LLM ในเครื่องที่ดีที่สุดสำหรับบทบาทสมมติ มักต้องการชื่อเฉพาะ แต่ชื่อต่างๆ ล้าสมัยภายในไม่กี่สัปดาห์ ดังนั้นควรใช้เกณฑ์ที่คงความเกี่ยวข้องอยู่เสมอ
- จำนวนพารามิเตอร์ โมเดลขนาดใหญ่สามารถรักษาเสียงของตัวละครและติดตามเส้นเรื่องได้ดีกว่า โมเดลขนาดเล็กมีแนวโน้มที่จะทำซ้ำและลืมรายละเอียด
- การควอนไทซ์ การสร้างแบบ 4-bit หรือ 5-bit ลดการใช้หน่วยความจำได้อย่างมากโดยเสียคุณภาพเพียงเล็กน้อย ต่ำกว่า 4-bit การลดลงของคุณภาพจะสังเกตเห็นได้ชัดเจนขึ้นในฉากที่ยาว
- ความยาวของบริบท บทบาทสมมติคือการสนทนาที่ยาวนาน โมเดลต้องเก็บการ์ดตัวละคร หมายเหตุโลก และบทสนทนาล่าสุดไว้พร้อมกัน
- การปรับแต่งพิเศษ โมเดลที่ปรับแต่งมาเฉพาะสำหรับนิยายและการสนทนาสามารถเขียนเนื้อหาได้ดีกว่าผู้ช่วยทั่วไป และโมเดลในเครื่องที่ปรับแต่งมาหลายตัวถูกฝึกให้ข้ามการปฏิเสธสำหรับนิยายผู้ใหญ่ที่ถูกต้องตามกฎหมาย
- ความเร็ว การตอบกลับที่มาด้วยความเร็วในการอ่านรู้สึกเหมือนการสนทนา การตอบกลับที่ช้าทำให้จังหวะการสนทนาขาดตอน
สำหรับการเลือกในปัจจุบัน อ่านเธรดล่าสุดในชุมชนและลีดเดอร์บอร์ดสำหรับเครื่องมือที่คุณใช้ เช่น Ollama, LM Studio หรือ KoboldCpp ตรวจสอบวันที่เสมอ เพราะตัวเลือกยอดนิยมของไตรมาสที่แล้วมักถูกแทนที่ไปแล้ว
จุดที่โมเดลในเครื่องถึงทางตัน
ข้อจำกัดเกือบไม่เคยเป็นไฟล์โมเดล แต่เป็นหน่วยความจำ น้ำหนักต้องการ VRAM หรือ RAM ของระบบที่เร็ว และแคชบริบทจะขยายเพิ่มเติมจากส่วนนั้นด้วยทุกโทเคนของประวัติ การรันโมเดลที่รองรับบริบท 4,000 โทเคนเป็นเรื่องง่าย แต่การเก็บเรื่องราว 30,000 โทเคนไว้ในหน่วยความจำด้วยความเร็วที่เหมาะสมต้องการทรัพยากรมากกว่ามาก
ดังนั้น การตั้งค่าบทบาทสมมติในเครื่องส่วนใหญ่จึงต้องประนีประนอมในสามวิธีนี้:
- โมเดลขนาดเล็กกว่า ซึ่งเขียนตัวละครได้แบนราบ
- หน้าต่างบริบทที่สั้น ซึ่งทำให้ตัวละครลืมฉากก่อนหน้านี้
- การโอนโหลดเลเยอร์ไปยัง CPU ซึ่งทำให้การตอบกลับช้า
สิ่งเหล่านี้ไม่ได้ทำให้การเลือกใช้งานในเครื่องเป็นทางเลือกที่ไม่ดี หากคุณมี GPU ที่แข็งแกร่งอยู่แล้ว การแลกเปลี่ยนเหล่านี้อาจเพียงพอสำหรับคุณ สิ่งนี้หมายความว่าคำตอบที่ตรงไปตรงมาสำหรับคำถาม "โมเดลในเครื่องตัวไหน" ขึ้นอยู่กับฮาร์ดแวร์ของคุณเป็นอันดับแรก และโมเดลเป็นอันดับสอง
API แบบคลาวด์เปลี่ยนแปลงอะไร
API แบบโฮสต์ย้ายปัญหาเรื่องหน่วยความจำไปให้ผู้อื่น บริการนี้เปิดเผยโมเดลแบบเปิดน้ำหนักหนึ่งตัวพร้อมหน้าต่างบริบท 100,000 โทเคน (พรอมต์และการตอบกลับรวมกัน) ดังนั้นเรื่องราวที่ยาว การ์ดตัวละครที่ละเอียด และรายการ lorebookจึงพอดีโดยไม่ต้องตัดทอน ไม่มีดาวน์โหลด ไม่มีตัวเลือกการควอนไทซ์ และไม่มีปัญหาไดรเวอร์
รองรับ OpenAI-compatible เช่นกัน ฟรอนต์เอนด์ใดๆ ที่คุยกับเอนด์พอยต์สไตล์ OpenAI ได้ก็ใช้ได้: ตั้ง Base URL เป็น https://api.claudeapicost.com/v1 ใช้คีย์ของคุณ และตั้งโมเดลเป็น uncensored โมเดลปรับแต่งให้ตอบโดยไม่ปฏิเสธเนื้อหาสำหรับการใช้งานผู้ใหญ่ที่ถูกต้องตามกฎหมาย กฎแข็งคือไม่มีเนื้อหาทางเพศที่เกี่ยวข้องกับผู้เยาว์
จุดแลกเปลี่ยนชัดเจน พรอมต์ของคุณออกจากเครื่องของคุณ บริการมีเฉพาะข้อความ คุณพึ่งพาการเชื่อมต่อเครือข่าย พรอมต์ไม่ถูกใช้สำหรับการฝึก และหน้าความเป็นส่วนตัวมีรายละเอียด แต่โมเดลท้องถิ่นเป็นเพียงการตั้งค่าเดียวที่ข้อมูลไม่เคยออกจากคอมพิวเตอร์ของคุณ
ต้นทุน: ฮาร์ดแวร์ของคุณเทียบกับแบบจ่ายต่อโทเคน
การอนุมานแบบท้องถิ่นรู้สึกฟรีเพราะต้นทุนจ่ายล่วงหน้าด้วยฮาร์ดแวร์และไฟฟ้า ต้นทุนคลาวด์ต่อข้อความน้อยและมองเห็นได้ นี่คือการคำนวณสำหรับ API นี้ ที่ $0.15 ต่อ 1M โทเคนอินพุต และ $0.50 ต่อ 1M โทเคนเอาต์พุต
ลองดูเทิร์น roleplay หนึ่งรอบที่แอปส่งประวัติ 6,000 โทเคนและได้รับคำตอบ 300 โทเคน:
- อินพุต: 6,000 / 1,000,000 x $0.15 = $0.0009
- ผลลัพธ์: 300 / 1,000,000 x $0.50 = $0.00015
- รวมต่อรอบ: $0.00105
| การใช้งาน | รอบ | ต้นทุน |
|---|---|---|
| เดือนเบา | 1,000 รอบ ที่ 6,000 เข้า / 300 ออก | $1.05 |
| เดือนหนัก | 10,000 รอบ ที่ 6,000 เข้า / 300 ออก | $10.50 |
| เดือนหนัก ความจำยาว | 10,000 รอบ ที่ 20,000 เข้า / 300 ออก | $31.50 |
แถวความจำยาวคำนวณได้ 20,000 โทเคน x $0.15 ต่อ 1M = $0.003 อินพุต บวก $0.00015 เอาต์พุต ดังนั้น $0.00315 ต่อรอบ และ $31.50 สำหรับ 10,000 รอบ อินพุตครองต้นทุนในการแชทยาว ซึ่งคือเหตุผลที่การสรุปฉากเก่าช่วยประหยัดเงินจริง
การเติมเงินเริ่มต้นที่ $20 พร้อมโบนัส +5% จาก $50, +10% จาก $100 และ +15% จาก $200 และเครดิตไม่หมดอายุ เว็บไซต์นี้รับโดยคริปโต (USDT on TRC20 หรือ USDC on Base) ดู หน้าราคา สำหรับรายละเอียด และบทความ ความเชื่อและข้อเท็จจริงเกี่ยวกับราคา สำหรับพฤติกรรมการเรียกเก็บตามโทเคนในทางปฏิบัติ
วิธีการตัดสินใจ
ใช้รายการตรวจสอบนี้
อยู่ในเครื่องถ้า
- คุณมี GPU ที่มีหน่วยความจำเพียงพอและสนุกกับการปรับแต่ง
- ไม่มีอะไรออกจากเครื่องของคุณ ไม่ว่าด้วยเหตุผลใด
- เซสชันของคุณสั้นและสไตล์ของโมเดลขนาดเล็กเหมาะกับคุณ
- คุณต้องการทำงานออฟไลน์
ใช้ API คลาวด์ถ้า
- ฮาร์ดแวร์ของคุณจำกัดหน้าต่างบริบทหรือทำให้การตอบช้า
- คุณเล่นแคมเปญยาวที่ความต่อเนื่องสำคัญ
- คุณรันแอป companion หรือ fiction สำหรับผู้ใหญ่คนอื่นและต้องการแชทพร้อมกันจำนวนมาก คีย์เต็มอนุญาตคำขอพร้อมกัน 8 คำขอและ 300 คำขอต่อนาที
- คุณต้องการลองโมเดลโดยไม่ต้องตั้งค่า ผู้ใช้ใหม่สามารถรับเครดิตทดลองใช้ $0.50 ได้ด้วยการคลิกครั้งเดียว ใช้ได้เป็นเวลา 7 วัน ไม่ต้องใช้บัตรเครดิต
หากคุณเข้าได้ทั้งสองรายการ ให้รวมทั้งสองเข้าด้วยกัน ใช้โมเดลในเครื่องสำหรับเซสชันส่วนตัว และใช้ API สำหรับเซสชันที่ยาว
การตั้งค่าแบบไฮบริดในไม่กี่บรรทัด
เนื่องจาก Ollama, LM Studio และเซิร์ฟเวอร์ของ llama.cpp ต่างเปิดเผยเอนด์พอยต์สไตล์ OpenAI โค้ดไคลเอนต์ของคุณจึงไม่ต้องสนใจว่าอะไรอยู่เบื้องหลัง โค้ดตัวอย่าง Python นี้สลับด้วยการตั้งค่าตัวแปรสภาพแวดล้อมหนึ่งตัว:
import os
from openai import OpenAI
if os.getenv("USE_CLOUD") == "1":
client = OpenAI(
base_url="https://api.claudeapicost.com/v1",
api_key=os.environ["API_KEY"],
)
model = "uncensored"
else:
client = OpenAI(base_url="http://localhost:11434/v1", api_key="local")
model = "your-local-model"
reply = client.chat.completions.create(
model=model,
messages=[
{"role": "system", "content": "You are Mira, a dry-witted ship engineer in a sci-fi story."},
{"role": "user", "content": "The reactor is humming wrong again."},
],
temperature=0.9,
stream=True,
)
for chunk in reply:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="")
URL ท้องถิ่นด้านบนคือพอร์ตเริ่มต้นของ Ollama; เปลี่ยนหากคุณใช้เซิร์ฟเวอร์อื่น สำหรับส่วนคลาวด์ เอกสาร ครอบคลุมสตรีมมิง โหมด JSON และการเรียกใช้ฟังก์ชัน และ หน้าคีย์ คือที่ที่คุณเข้าสู่ระบบด้วย Google หรืออีเมลและรหัสผ่าน
การตั้งค่าที่สำคัญสำหรับทั้งสองเส้นทาง
การเขียนตัวละครที่ดีขึ้นอยู่กับโครงสร้างของพรอมต์มากกว่าตัวเครื่องจักร ความเคยชินไม่กี่อย่างช่วยได้ทั้งกับโมเดลในเครื่องและโมเดลบนคลาวด์:
- ใส่เสียงพูด เป้าหมาย และนิสัยการพูดของตัวละครไว้ในข้อความระบบ และทำให้มันสั้น
- ใช้
temperatureประมาณ 0.8 ถึง 1.0 สำหรับการสนทนาที่มีชีวิตชีวา และลดค่าลงหากตัวละครเริ่มพูดยืดยาว API ส่งผ่านค่าtemperature,top_p,stop,seedและค่าปรับ - ตั้งค่าค่าปรับความถี่หรือการปรากฏ หากคำตอบซ้ำคำพูด
- สรุปฉากเก่าเป็นระยะ แทนที่จะส่งบันทึกทั้งหมด จะประหยัดกว่าในคลาวด์และเร็วกว่าในเครื่อง
เริ่มต้นใช้งานในสิบนาที
หากการคำนวณต้นทุนดูยอมรับได้ การทดลองใช้ฟรีไม่ต้องเสียเงิน สมัครที่ หน้าคีย์ รับเครดิตทดลองใช้ฟรีหนึ่งคลิก $0.50 (หนึ่งต่อคน ใช้ได้ 7 วัน) วาง Base URL และคีย์ลงในฟรอนต์เอนด์ roleplay ของคุณ และตั้งโมเดลเป็น uncensored ที่ประมาณ $0.00105 ต่อเทิร์นจากตัวอย่างก่อนหน้า $0.50 ครอบคลุมประมาณ 476 เทิร์น เนื่องจาก 0.50 / 0.00105 = 476.19
คีย์ทดลองใช้จำกัดคำขอพร้อมกัน 2 คำขอและ 60 คำขอต่อนาที ซึ่งเพียงพอสำหรับผู้ใช้หนึ่งคนในการแชท รันฉากเดียวกันที่คุณใช้เพื่อตัดสินโมเดลในเครื่อง และเปรียบเทียบความสม่ำเสมอของเสียง ความจำของรายละเอียดก่อนหน้านี้ และความเร็วในการตอบกลับบนการ์ดตัวละครของคุณ การทดสอบนี้มีประโยชน์กว่าเกณฑ์มาตรฐานใดๆ เพราะคุณภาพเกมบทบาทสมมติเป็นเรื่องของรสนิยม
จำกฎเกี่ยวกับผู้เยาว์ไว้สำหรับการเขียนนิยายใดๆ: เนื้อหาทางเพศที่เกี่ยวข้องกับผู้เยาว์ไม่อนุญาตเด็ดขาด ไม่ว่าในบริบทใด
