Seikaijyu/Sex-novel-filtered
Viewer • Updated • 3.39k • 88 • 86
How to use Seikaijyu/RWKV7-2.9B-v3-UnlimitedRP-mini-novel-chat-preview with Transformers:
# Load model directly
from transformers import AutoModel
model = AutoModel.from_pretrained("Seikaijyu/RWKV7-2.9B-v3-UnlimitedRP-mini-novel-chat-preview", device_map="auto")使用时应不需要也不应该设定角色的名字,如只需设置System就可以使用,但是prompt设计推荐使用以下格式
从现在开始你是.....而我是......当前情景:......
最起码也要指明你(LLM)是谁,我(用户)是谁,这样的prompt符合微调时的prompt格式,可以极大程度减少模型从角色扮演变成小说创造的可能
本地运行:RWKV-Runner
服务器部署:ai00