TH ▾
claudeapicost.com

API LLM แบบไม่เซ็นเซอร์ในราคาโปร่งใส

https://api.claudeapicost.com/v1

claudeapicost.comรับคีย์ API

โมเดล LLM ในเครื่องที่ดีที่สุดสำหรับ Roleplay เทียบกับ API แบบคลาวด์

LLM ท้องถิ่นที่ดีที่สุดสำหรับ roleplay คือโมเดลที่ปรับแต่งสำหรับ roleplay ขนาดใหญ่ที่สุดที่ GPU ของคุณรองรับที่ความยาวหน้าต่างบริบทที่ใช้งานได้ หากหมายถึงโมเดลขนาดเล็กหรือความจำสั้น API Cloud อาจตอบโจทย์กว่า

อัปเดต

คอมพิวเตอร์ GPU ในเครื่องและเมฆที่ส่องแสงเชื่อมต่อกันด้วยสายริบบิ้นของฟองแชท เปรียบเทียบโมเดล LLM สำหรับ Roleplay แบบในเครื่องและแบบคลาวด์

ประเด็นสำคัญ

อะไรคือตัวกำหนดโมเดลในเครื่องที่ดีที่สุดสำหรับบทบาทสมมติ

ผู้คนที่ถามหา โมเดล LLM ในเครื่องที่ดีที่สุดสำหรับบทบาทสมมติ มักต้องการชื่อเฉพาะ แต่ชื่อต่างๆ ล้าสมัยภายในไม่กี่สัปดาห์ ดังนั้นควรใช้เกณฑ์ที่คงความเกี่ยวข้องอยู่เสมอ

  • จำนวนพารามิเตอร์ โมเดลขนาดใหญ่สามารถรักษาเสียงของตัวละครและติดตามเส้นเรื่องได้ดีกว่า โมเดลขนาดเล็กมีแนวโน้มที่จะทำซ้ำและลืมรายละเอียด
  • การควอนไทซ์ การสร้างแบบ 4-bit หรือ 5-bit ลดการใช้หน่วยความจำได้อย่างมากโดยเสียคุณภาพเพียงเล็กน้อย ต่ำกว่า 4-bit การลดลงของคุณภาพจะสังเกตเห็นได้ชัดเจนขึ้นในฉากที่ยาว
  • ความยาวของบริบท บทบาทสมมติคือการสนทนาที่ยาวนาน โมเดลต้องเก็บการ์ดตัวละคร หมายเหตุโลก และบทสนทนาล่าสุดไว้พร้อมกัน
  • การปรับแต่งพิเศษ โมเดลที่ปรับแต่งมาเฉพาะสำหรับนิยายและการสนทนาสามารถเขียนเนื้อหาได้ดีกว่าผู้ช่วยทั่วไป และโมเดลในเครื่องที่ปรับแต่งมาหลายตัวถูกฝึกให้ข้ามการปฏิเสธสำหรับนิยายผู้ใหญ่ที่ถูกต้องตามกฎหมาย
  • ความเร็ว การตอบกลับที่มาด้วยความเร็วในการอ่านรู้สึกเหมือนการสนทนา การตอบกลับที่ช้าทำให้จังหวะการสนทนาขาดตอน

สำหรับการเลือกในปัจจุบัน อ่านเธรดล่าสุดในชุมชนและลีดเดอร์บอร์ดสำหรับเครื่องมือที่คุณใช้ เช่น Ollama, LM Studio หรือ KoboldCpp ตรวจสอบวันที่เสมอ เพราะตัวเลือกยอดนิยมของไตรมาสที่แล้วมักถูกแทนที่ไปแล้ว

จุดที่โมเดลในเครื่องถึงทางตัน

ข้อจำกัดเกือบไม่เคยเป็นไฟล์โมเดล แต่เป็นหน่วยความจำ น้ำหนักต้องการ VRAM หรือ RAM ของระบบที่เร็ว และแคชบริบทจะขยายเพิ่มเติมจากส่วนนั้นด้วยทุกโทเคนของประวัติ การรันโมเดลที่รองรับบริบท 4,000 โทเคนเป็นเรื่องง่าย แต่การเก็บเรื่องราว 30,000 โทเคนไว้ในหน่วยความจำด้วยความเร็วที่เหมาะสมต้องการทรัพยากรมากกว่ามาก

ดังนั้น การตั้งค่าบทบาทสมมติในเครื่องส่วนใหญ่จึงต้องประนีประนอมในสามวิธีนี้:

  1. โมเดลขนาดเล็กกว่า ซึ่งเขียนตัวละครได้แบนราบ
  2. หน้าต่างบริบทที่สั้น ซึ่งทำให้ตัวละครลืมฉากก่อนหน้านี้
  3. การโอนโหลดเลเยอร์ไปยัง CPU ซึ่งทำให้การตอบกลับช้า

สิ่งเหล่านี้ไม่ได้ทำให้การเลือกใช้งานในเครื่องเป็นทางเลือกที่ไม่ดี หากคุณมี GPU ที่แข็งแกร่งอยู่แล้ว การแลกเปลี่ยนเหล่านี้อาจเพียงพอสำหรับคุณ สิ่งนี้หมายความว่าคำตอบที่ตรงไปตรงมาสำหรับคำถาม "โมเดลในเครื่องตัวไหน" ขึ้นอยู่กับฮาร์ดแวร์ของคุณเป็นอันดับแรก และโมเดลเป็นอันดับสอง

API แบบคลาวด์เปลี่ยนแปลงอะไร

API แบบโฮสต์ย้ายปัญหาเรื่องหน่วยความจำไปให้ผู้อื่น บริการนี้เปิดเผยโมเดลแบบเปิดน้ำหนักหนึ่งตัวพร้อมหน้าต่างบริบท 100,000 โทเคน (พรอมต์และการตอบกลับรวมกัน) ดังนั้นเรื่องราวที่ยาว การ์ดตัวละครที่ละเอียด และรายการ lorebookจึงพอดีโดยไม่ต้องตัดทอน ไม่มีดาวน์โหลด ไม่มีตัวเลือกการควอนไทซ์ และไม่มีปัญหาไดรเวอร์

รองรับ OpenAI-compatible เช่นกัน ฟรอนต์เอนด์ใดๆ ที่คุยกับเอนด์พอยต์สไตล์ OpenAI ได้ก็ใช้ได้: ตั้ง Base URL เป็น https://api.claudeapicost.com/v1 ใช้คีย์ของคุณ และตั้งโมเดลเป็น uncensored โมเดลปรับแต่งให้ตอบโดยไม่ปฏิเสธเนื้อหาสำหรับการใช้งานผู้ใหญ่ที่ถูกต้องตามกฎหมาย กฎแข็งคือไม่มีเนื้อหาทางเพศที่เกี่ยวข้องกับผู้เยาว์

จุดแลกเปลี่ยนชัดเจน พรอมต์ของคุณออกจากเครื่องของคุณ บริการมีเฉพาะข้อความ คุณพึ่งพาการเชื่อมต่อเครือข่าย พรอมต์ไม่ถูกใช้สำหรับการฝึก และหน้าความเป็นส่วนตัวมีรายละเอียด แต่โมเดลท้องถิ่นเป็นเพียงการตั้งค่าเดียวที่ข้อมูลไม่เคยออกจากคอมพิวเตอร์ของคุณ

ต้นทุน: ฮาร์ดแวร์ของคุณเทียบกับแบบจ่ายต่อโทเคน

การอนุมานแบบท้องถิ่นรู้สึกฟรีเพราะต้นทุนจ่ายล่วงหน้าด้วยฮาร์ดแวร์และไฟฟ้า ต้นทุนคลาวด์ต่อข้อความน้อยและมองเห็นได้ นี่คือการคำนวณสำหรับ API นี้ ที่ $0.15 ต่อ 1M โทเคนอินพุต และ $0.50 ต่อ 1M โทเคนเอาต์พุต

ลองดูเทิร์น roleplay หนึ่งรอบที่แอปส่งประวัติ 6,000 โทเคนและได้รับคำตอบ 300 โทเคน:

  • อินพุต: 6,000 / 1,000,000 x $0.15 = $0.0009
  • ผลลัพธ์: 300 / 1,000,000 x $0.50 = $0.00015
  • รวมต่อรอบ: $0.00105
การใช้งานรอบต้นทุน
เดือนเบา1,000 รอบ ที่ 6,000 เข้า / 300 ออก$1.05
เดือนหนัก10,000 รอบ ที่ 6,000 เข้า / 300 ออก$10.50
เดือนหนัก ความจำยาว10,000 รอบ ที่ 20,000 เข้า / 300 ออก$31.50

แถวความจำยาวคำนวณได้ 20,000 โทเคน x $0.15 ต่อ 1M = $0.003 อินพุต บวก $0.00015 เอาต์พุต ดังนั้น $0.00315 ต่อรอบ และ $31.50 สำหรับ 10,000 รอบ อินพุตครองต้นทุนในการแชทยาว ซึ่งคือเหตุผลที่การสรุปฉากเก่าช่วยประหยัดเงินจริง

การเติมเงินเริ่มต้นที่ $20 พร้อมโบนัส +5% จาก $50, +10% จาก $100 และ +15% จาก $200 และเครดิตไม่หมดอายุ เว็บไซต์นี้รับโดยคริปโต (USDT on TRC20 หรือ USDC on Base) ดู หน้าราคา สำหรับรายละเอียด และบทความ ความเชื่อและข้อเท็จจริงเกี่ยวกับราคา สำหรับพฤติกรรมการเรียกเก็บตามโทเคนในทางปฏิบัติ

วิธีการตัดสินใจ

ใช้รายการตรวจสอบนี้

อยู่ในเครื่องถ้า

  • คุณมี GPU ที่มีหน่วยความจำเพียงพอและสนุกกับการปรับแต่ง
  • ไม่มีอะไรออกจากเครื่องของคุณ ไม่ว่าด้วยเหตุผลใด
  • เซสชันของคุณสั้นและสไตล์ของโมเดลขนาดเล็กเหมาะกับคุณ
  • คุณต้องการทำงานออฟไลน์

ใช้ API คลาวด์ถ้า

  • ฮาร์ดแวร์ของคุณจำกัดหน้าต่างบริบทหรือทำให้การตอบช้า
  • คุณเล่นแคมเปญยาวที่ความต่อเนื่องสำคัญ
  • คุณรันแอป companion หรือ fiction สำหรับผู้ใหญ่คนอื่นและต้องการแชทพร้อมกันจำนวนมาก คีย์เต็มอนุญาตคำขอพร้อมกัน 8 คำขอและ 300 คำขอต่อนาที
  • คุณต้องการลองโมเดลโดยไม่ต้องตั้งค่า ผู้ใช้ใหม่สามารถรับเครดิตทดลองใช้ $0.50 ได้ด้วยการคลิกครั้งเดียว ใช้ได้เป็นเวลา 7 วัน ไม่ต้องใช้บัตรเครดิต

หากคุณเข้าได้ทั้งสองรายการ ให้รวมทั้งสองเข้าด้วยกัน ใช้โมเดลในเครื่องสำหรับเซสชันส่วนตัว และใช้ API สำหรับเซสชันที่ยาว

การตั้งค่าแบบไฮบริดในไม่กี่บรรทัด

เนื่องจาก Ollama, LM Studio และเซิร์ฟเวอร์ของ llama.cpp ต่างเปิดเผยเอนด์พอยต์สไตล์ OpenAI โค้ดไคลเอนต์ของคุณจึงไม่ต้องสนใจว่าอะไรอยู่เบื้องหลัง โค้ดตัวอย่าง Python นี้สลับด้วยการตั้งค่าตัวแปรสภาพแวดล้อมหนึ่งตัว:

import os
from openai import OpenAI

if os.getenv("USE_CLOUD") == "1":
    client = OpenAI(
        base_url="https://api.claudeapicost.com/v1",
        api_key=os.environ["API_KEY"],
    )
    model = "uncensored"
else:
    client = OpenAI(base_url="http://localhost:11434/v1", api_key="local")
    model = "your-local-model"

reply = client.chat.completions.create(
    model=model,
    messages=[
        {"role": "system", "content": "You are Mira, a dry-witted ship engineer in a sci-fi story."},
        {"role": "user", "content": "The reactor is humming wrong again."},
    ],
    temperature=0.9,
    stream=True,
)
for chunk in reply:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="")

URL ท้องถิ่นด้านบนคือพอร์ตเริ่มต้นของ Ollama; เปลี่ยนหากคุณใช้เซิร์ฟเวอร์อื่น สำหรับส่วนคลาวด์ เอกสาร ครอบคลุมสตรีมมิง โหมด JSON และการเรียกใช้ฟังก์ชัน และ หน้าคีย์ คือที่ที่คุณเข้าสู่ระบบด้วย Google หรืออีเมลและรหัสผ่าน

การตั้งค่าที่สำคัญสำหรับทั้งสองเส้นทาง

การเขียนตัวละครที่ดีขึ้นอยู่กับโครงสร้างของพรอมต์มากกว่าตัวเครื่องจักร ความเคยชินไม่กี่อย่างช่วยได้ทั้งกับโมเดลในเครื่องและโมเดลบนคลาวด์:

  • ใส่เสียงพูด เป้าหมาย และนิสัยการพูดของตัวละครไว้ในข้อความระบบ และทำให้มันสั้น
  • ใช้ temperature ประมาณ 0.8 ถึง 1.0 สำหรับการสนทนาที่มีชีวิตชีวา และลดค่าลงหากตัวละครเริ่มพูดยืดยาว API ส่งผ่านค่า temperature, top_p, stop, seed และค่าปรับ
  • ตั้งค่าค่าปรับความถี่หรือการปรากฏ หากคำตอบซ้ำคำพูด
  • สรุปฉากเก่าเป็นระยะ แทนที่จะส่งบันทึกทั้งหมด จะประหยัดกว่าในคลาวด์และเร็วกว่าในเครื่อง

เริ่มต้นใช้งานในสิบนาที

หากการคำนวณต้นทุนดูยอมรับได้ การทดลองใช้ฟรีไม่ต้องเสียเงิน สมัครที่ หน้าคีย์ รับเครดิตทดลองใช้ฟรีหนึ่งคลิก $0.50 (หนึ่งต่อคน ใช้ได้ 7 วัน) วาง Base URL และคีย์ลงในฟรอนต์เอนด์ roleplay ของคุณ และตั้งโมเดลเป็น uncensored ที่ประมาณ $0.00105 ต่อเทิร์นจากตัวอย่างก่อนหน้า $0.50 ครอบคลุมประมาณ 476 เทิร์น เนื่องจาก 0.50 / 0.00105 = 476.19

คีย์ทดลองใช้จำกัดคำขอพร้อมกัน 2 คำขอและ 60 คำขอต่อนาที ซึ่งเพียงพอสำหรับผู้ใช้หนึ่งคนในการแชท รันฉากเดียวกันที่คุณใช้เพื่อตัดสินโมเดลในเครื่อง และเปรียบเทียบความสม่ำเสมอของเสียง ความจำของรายละเอียดก่อนหน้านี้ และความเร็วในการตอบกลับบนการ์ดตัวละครของคุณ การทดสอบนี้มีประโยชน์กว่าเกณฑ์มาตรฐานใดๆ เพราะคุณภาพเกมบทบาทสมมติเป็นเรื่องของรสนิยม

จำกฎเกี่ยวกับผู้เยาว์ไว้สำหรับการเขียนนิยายใดๆ: เนื้อหาทางเพศที่เกี่ยวข้องกับผู้เยาว์ไม่อนุญาตเด็ดขาด ไม่ว่าในบริบทใด

ถาม-ตอบ

โมเดลในเครื่องดีกว่า API บนคลาวด์สำหรับเกมบทบาทสมมติหรือไม่?

มันขึ้นอยู่กับฮาร์ดแวร์และลำดับความสำคัญของคุณ โมเดลในเครื่องให้ความเป็นส่วนตัวและไม่มีค่าธรรมเนียมต่อข้อความ ในขณะที่ API บนคลาวด์ให้หน้าต่างบริบทที่ยาวและไม่ต้องตั้งค่า หลายคนใช้ทั้งสองอย่าง

ฉันต้องการบริบทมากแค่ไหนสำหรับเกมบทบาทสมมติที่ยาว?

การ์ดตัวละคร หมายเหตุโลก และเทิร์นล่าสุดมักเพิ่มจำนวนโทเคนเป็นหลายพัน และแคมเปญที่ยาวอาจเกิน 20,000 API นี้เสนอหน้าต่างบริบท 100,000 โทเคน รวมพรอมต์และการสร้าง

ฉันสามารถใช้ SillyTavern หรือฟรอนต์เอนด์ที่คล้ายกันได้กับ API หรือไม่?

ได้ ฟรอนต์เอนด์ใดๆ ที่รองรับเอนด์พอยต์ที่เข้ากันได้กับ OpenAI ทำงานได้ ใช้ URL พื้นฐาน คีย์ของคุณ และ ID โมเดล uncensored

API อนุญาตเนื้อหาทั้งหมดหรือไม่?

โมเดลได้รับการปรับแต่งให้ตอบโดยไม่มีการปฏิเสธเนื้อหาสำหรับการใช้งานผู้ใหญ่ที่ถูกต้องตามกฎหมาย เนื้อหาทางเพศที่เกี่ยวข้องกับผู้เยาว์ไม่อนุญาตเด็ดขาด

ฉันจะชำระเงินอย่างไรหากต้องการลองเส้นทางคลาวด์?

เว็บไซต์นี้รับชำระเงินด้วยคริปโต (USDT บน TRC20, USDC บน Base) โดยเติมเงินขั้นต่ำ $20 มีเครดิตทดลองใช้แบบคลิกเดียว $0.50 หลังจากสมัครสมาชิก

คีย์ของคุณอยู่ห่างแค่แบบฟอร์มเดียว

สร้างบัญชี คัดลอกคีย์ และเปลี่ยน base URL นั่นคือการตั้งค่าทั้งหมด

รับคีย์ API