Điều gì quyết định mô hình cục bộ tốt nhất cho nhập vai
Người dùng hỏi về mô hình LLM local tốt nhất cho roleplay thường muốn một cái tên. Tên cũ nhanh chóng lỗi thời, vì vậy hãy dùng các tiêu chí bền vững.
- Số lượng tham số. Các mô hình lớn hơn giữ giọng nói của nhân vật và theo dõi các mạch cốt truyện tốt hơn. Các mô hình nhỏ có xu hướng lặp lại và quên chi tiết.
- Lượng tử hóa. Một bản dựng 4-bit hoặc 5-bit thu nhỏ việc sử dụng bộ nhớ đáng kể với tổn thất chất lượng vừa phải. Dưới 4 bit, sự sụt giảm trở nên dễ nhận thấy hơn trong các cảnh dài.
- Độ dài ngữ cảnh. Nhập vai là một cuộc trò chuyện dài. Mô hình phải giữ thẻ nhân vật, ghi chú thế giới và các lượt gần đây cùng một lúc.
- Fine-tune. Các mô hình được tinh chỉnh trên truyện hư cấu và hội thoại viết văn bản tốt hơn các trợ lý chung, và nhiều fine-tune cục bộ được đào tạo để bỏ qua từ chối cho truyện hư cấu dành cho người trưởng thành hợp pháp.
- Tốc độ. Một câu trả lời đến ở tốc độ đọc giống như một cuộc trò chuyện. Một câu trả lời chậm làm gián đoạn dòng chảy.
Để biết các lựa chọn hiện tại, hãy đọc các chủ đề cộng đồng và bảng xếp hạng gần đây cho công cụ bạn dùng, như Ollama, LM Studio hoặc KoboldCpp. Hãy kiểm tra ngày tháng, vì mô hình yêu thích của quý trước thường đã bị thay thế.
Nơi các mô hình cục bộ chạm tường
Giới hạn gần như không bao giờ là tệp mô hình. Đó là bộ nhớ. Các trọng số cần VRAM hoặc RAM hệ thống nhanh, và bộ nhớ đệm ngữ cảnh phát triển trên đó với mỗi token lịch sử. Chạy một mô hình vừa với 4.000 token ngữ cảnh là dễ dàng; giữ 30.000 token câu chuyện trong bộ nhớ ở tốc độ hợp lý cần nhiều hơn nhiều.
Do đó, hầu hết các thiết lập nhập vai cục bộ thỏa hiệp theo một trong ba cách:
- Một mô hình nhỏ hơn, viết các nhân vật phẳng hơn.
- Một cửa sổ ngữ cảnh ngắn, khiến nhân vật quên các cảnh trước đó.
- Chuyển các lớp sang CPU, khiến các câu trả lời chậm.
Điều này không có nghĩa là local là một lựa chọn kém. Nếu bạn đã sở hữu một GPU mạnh, những thỏa hiệp này có thể phù hợp với bạn. Điều này có nghĩa là câu trả lời trung thực cho câu hỏi "mô hình local nào" phụ thuộc vào phần cứng của bạn trước, sau đó mới đến mô hình.
API đám mây thay đổi điều gì
Một API được lưu trữ chuyển vấn đề bộ nhớ sang người khác. Dịch vụ này cung cấp một mô hình trọng số mở với cửa sổ ngữ cảnh 100.000 token (gồm prompt và phần phản hồi), nên một câu chuyện dài, thẻ nhân vật chi tiết và các mục nhập trong sách thế giới đều vừa vặn mà không cần cắt bớt. Không cần tải xuống, không có lựa chọn lượng tử hóa và không gặp sự cố trình điều khiển.
API này cũng tương thích với OpenAI. Bất kỳ giao diện nào có thể kết nối với một endpoint kiểu OpenAI đều hoạt động: đặt base URL là https://api.claudeapicost.com/v1, sử dụng khóa của bạn và đặt mô hình là uncensored. Mô hình được tinh chỉnh để trả lời mà không từ chối nội dung cho mục đích người trưởng thành hợp pháp. Quy tắc cứng là không có nội dung tình dục liên quan đến người chưa thành niên.
Sự đánh đổi rất rõ ràng. Các prompt của bạn rời khỏi máy của bạn. Dịch vụ chỉ là văn bản. Bạn phụ thuộc vào kết nối mạng. Các prompt không được sử dụng để đào tạo, và trang quyền riêng tư có chi tiết, nhưng một mô hình cục bộ vẫn là thiết lập duy nhất nơi không gì rời khỏi máy tính của bạn.
Chi phí: phần cứng của bạn so với trả theo token
Suy luận local cảm thấy miễn phí vì chi phí được trả trước bằng phần cứng và điện. Chi phí đám mây nhỏ cho mỗi tin nhắn và có thể thấy rõ. Dưới đây là phép tính cho API này, với giá $0,15 cho mỗi 1 triệu token đầu vào và $0,50 cho mỗi 1 triệu token đầu ra.
Lấy một lượt nhập vai nơi ứng dụng gửi 6.000 token lịch sử và nhận được một câu trả lời 300 token:
- Đầu vào: 6.000 / 1.000.000 x $0,15 = $0,0009
- Đầu ra: 300 / 1.000.000 x $0,50 = $0,00015
- Tổng cộng mỗi lượt: $0,00105
| Sử dụng | Lượt | Chi phí |
|---|---|---|
| Tháng ít dùng | 1.000 lượt ở 6.000 vào / 300 ra | $1.05 |
| Tháng nhiều dùng | 10.000 lượt ở 6.000 vào / 300 ra | $10.50 |
| Tháng nặng, bộ nhớ dài | 10.000 lượt ở 20.000 vào / 300 ra | $31.50 |
Dòng bộ nhớ dài tính ra là 20.000 token x $0,15 cho mỗi 1 triệu token = $0,003 đầu vào cộng với $0,00015 đầu ra, vậy $0,00315 cho mỗi lượt và $31,50 cho 10.000 lượt. Đầu vào chiếm chi phí chính trong các cuộc trò chuyện dài, đó là lý do tại sao việc tóm tắt các cảnh cũ giúp tiết kiệm tiền thực sự.
Các khoản nạp tiền bắt đầu từ $20, với khoản bonus +5% từ $50, +10% từ $100 và +15% từ $200, và tín dụng không bao giờ hết hạn. Trang web này chấp nhận bằng crypto (USDT trên TRC20 hoặc USDC trên Base). Xem trang giá cả để biết chi tiết, và bài viết những hiểu lầm và sự thật về giá cả để biết cách tính phí theo token hoạt động thực tế.
Cách đưa ra quyết định
Sử dụng danh sách kiểm tra này.
Hãy giữ local nếu
- Bạn đã có một GPU với nhiều bộ nhớ và thích tinh chỉnh.
- Không gì có thể rời khỏi máy của bạn, vì bất kỳ lý do nào.
- Các phiên của bạn ngắn và phong cách của mô hình nhỏ phù hợp với bạn.
- Bạn muốn chạy ngoại tuyến.
Sử dụng API đám mây nếu
- Phần cứng của bạn bắt buộc phải dùng cửa sổ ngữ cảnh ngắn hoặc phản hồi chậm.
- Bạn chơi các chiến dịch dài nơi tính liên tục rất quan trọng.
- Bạn chạy một ứng dụng đồng hành hoặc ứng dụng truyện cho người trưởng thành khác và cần nhiều cuộc trò chuyện đồng thời. Khóa đầy đủ cho phép 8 yêu cầu đồng thời và 300 yêu cầu mỗi phút.
- Bạn muốn thử một mô hình không cần thiết lập. Người dùng mới có thể nhận $0.50 tín dụng dùng thử chỉ với một cú nhấp chuột, có hiệu lực trong 7 ngày, không cần thẻ.
Nếu bạn thuộc cả hai danh sách, hãy kết hợp chúng. Giữ một mô hình cục bộ cho các phiên riêng tư và sử dụng API cho các phiên dài.
Cấu hình lai chỉ trong vài dòng
Vì máy chủ của Ollama, LM Studio và llama.cpp đều cung cấp các endpoint kiểu OpenAI, mã máy khách của bạn không cần quan tâm cái nào đang chạy phía sau. Đoạn mã Python này chuyển đổi chỉ bằng một biến môi trường:
import os
from openai import OpenAI
if os.getenv("USE_CLOUD") == "1":
client = OpenAI(
base_url="https://api.claudeapicost.com/v1",
api_key=os.environ["API_KEY"],
)
model = "uncensored"
else:
client = OpenAI(base_url="http://localhost:11434/v1", api_key="local")
model = "your-local-model"
reply = client.chat.completions.create(
model=model,
messages=[
{"role": "system", "content": "You are Mira, a dry-witted ship engineer in a sci-fi story."},
{"role": "user", "content": "The reactor is humming wrong again."},
],
temperature=0.9,
stream=True,
)
for chunk in reply:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="")
URL cục bộ ở trên là cổng mặc định của Ollama; hãy thay đổi nó nếu bạn sử dụng máy chủ khác. Đối với phần đám mây, tài liệu đề cập đến truyền phát (streaming), chế độ JSON và gọi hàm, còn trang khóa là nơi bạn đăng ký bằng Google hoặc bằng email và mật khẩu.
Các cài đặt quan trọng cho cả hai phương thức
Viết nhân vật tốt phụ thuộc nhiều hơn vào cấu trúc prompt hơn là vào công cụ. Một vài thói quen hữu ích cho cả mô hình cục bộ và đám mây:
- Đặt giọng nói, mục tiêu và thói quen nói của nhân vật trong system message và giữ nó ngắn gọn.
- Sử dụng
temperaturekhoảng 0.8 đến 1.0 cho hội thoại sôi động và giảm nó xuống nếu nhân vật bắt đầu nói lan man. API truyền quatemperature,top_p,stop,seedvà các hình phạt. - Đặt hình phạt tần suất hoặc hiện diện nếu các phản hồi lặp lại các cụm từ.
- Tóm tắt các cảnh cũ thường xuyên thay vì gửi toàn bộ nhật ký. Nó rẻ hơn trên đám mây và nhanh hơn ở cục bộ.
Bắt đầu trong mười phút
Nếu tính toán chi phí có vẻ chấp nhận được, thì dùng thử không mất gì. Đăng ký trên trang khóa, nhận tín dụng dùng thử một cú nhấp chuột trị giá $0.50 (một lần mỗi người, có hiệu lực trong 7 ngày), dán base URL và khóa vào giao diện đóng vai của bạn và đặt mô hình thành uncensored. Với giá khoảng $0.00105 cho mỗi lượt của ví dụ trước đó, $0.50 bao gồm khoảng 476 lượt, vì 0.50 / 0.00105 = 476.19.
Khóa dùng thử bị giới hạn ở 2 yêu cầu đồng thời và 60 yêu cầu mỗi phút, điều này là đủ cho một người trò chuyện. Chạy cùng một cảnh bạn dùng để đánh giá các mô hình local, và so sánh tính nhất quán về giọng điệu, khả năng ghi nhớ các chi tiết trước đó và tốc độ phản hồi trên thẻ nhân vật của chính bạn. Bài kiểm tra đó hữu ích hơn bất kỳ điểm chuẩn nào, vì chất lượng roleplay là vấn đề thị hiếu.
Hãy nhớ quy tắc về người chưa thành niên đối với bất kỳ truyện nào bạn viết: nội dung tình dục liên quan đến người chưa thành niên không bao giờ được phép, trong bất kỳ khung cảnh nào.
