Moeblack/Qwen3.8-27B-chinese-taste-lora

Qwen3.8-27B Chinese Taste LoRA（中文语感 LoRA）

基于 Qwen3.8-27B 的领域适配预训练 LoRA，语料为中文小说风格文本（52 章，约 111 万字符）。

目标：让模型获得「地道中文小说的语感」（taste）——句子节奏、比喻方式、叙事质感。训练完成后模型写中文场景时带有自然的网络小说质感，普通问答也会带出口语化的地道表达。

训练说明：使用 NVIDIA RTX Pro 6000（96GB）训练约 210 分钟（8 epochs，含 20 分钟一次的中间态存档），训练峰值显存约 80GB（BF16 全精度 + 梯度检查点）。

为什么是 step-102（而不是 final）

训练 8 epochs（176 优化步），本仓库选用 step-102（58% 训练量，loss 2.55） 为主力版本：

checkpoint	训练进度	判别测试-正例（地道中文识别）
基座（无 LoRA）	0%	25%
step-102（本仓库）	58%	35%
step-119	68%	35%
step-136	77%	25%
final	100%	25%

• 判别测试：40 条「地道中文 vs 翻译腔」判断题（正例=中文小说地道语句，负例=英文小说逐句直译的典型翻译腔）
• 峰值平台在 58-68% 训练量；超过 77% 后进入过拟合（背诵）区，判别力回落至基座水平
• 人工生成对比中 step-102 为「风格浓度与自然度」最佳平衡点

step-102 与 step-119

两者判别测试持平（正例识别均为 35%，同处峰值平台），生成对比也未分出明显优劣。两个版本都提供，按个人偏好选择即可。

训练详情

项目	值
基座	Qwen/Qwen3.8-27B（BF16）
方法	DAPT（领域适配预训练，纯文本续写，mlm=False）
语料	中文小说风格文本清洗版，约 114.6 万字符 ≈ 0.7M tokens
LoRA rank / alpha / dropout	128 / 256 / 0.05
target_modules	q/k/v/o + gate/up/down（16 层全注意力 + 64 层 FFN，不含 GDN 线性注意力层）
可训练参数	638M（2.4%）
lr / 调度	4e-5 / cosine / warmup 50 步
batch	1 × grad_accum 8
序列长度	4096
精度	BF16 + 梯度检查点

文件清单

文件	说明
adapter_model.safetensors	LoRA 权重 step-102（FP32，rank 128）——transformers/PEFT 直接加载
adapter_config.json	PEFT 配置（step-102）
qwen3.8-27b-cn-taste-q8_0.gguf	step-102 量化版（Q8_0，677MB）——llama.cpp 直接挂载
adapter-119_model.safetensors	step-119 备选权重（FP32）——风格浓度更高
qwen3.8-27b-cn-taste-step-119-q8_0.gguf	step-119 量化版（Q8_0，677MB）

使用方式

llama.cpp（推荐——推理）

step-102：

llama-server -m Qwen3.8-27B-ABLITERATED-Q4_K_M.gguf \
  --lora qwen3.8-27b-cn-taste-q8_0.gguf \
  -ngl 99 -c 262144 --reasoning on

step-119（味道更浓）：

llama-server -m Qwen3.8-27B-ABLITERATED-Q4_K_M.gguf \
  --lora qwen3.8-27b-cn-taste-step-119-q8_0.gguf \
  -ngl 99 -c 262144 --reasoning on

transformers / PEFT

from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen3.8-27B", torch_dtype="bfloat16")
model = PeftModel.from_pretrained(model, "Moeblack/Qwen3.8-27B-chinese-taste-lora")  # step-102 默认
# model = PeftModel.from_pretrained(model, "Moeblack/Qwen3.8-27B-chinese-taste-lora", adapter_name="119",
#                                  subfolder="step-119")  # 需要时用 119

实测效果

同一问题，基座 vs LoRA 的对比（普通问答场景，非创作）：

问：太阳来自哪里？

基座（无 LoRA）	LoRA step-102
「太阳并不是从某个'地方'来的，它是在约 46 亿年前由一团原始气体和尘埃云（分子云）在自身引力作用下坍缩形成的……」	「太阳位于太阳系的中心。如果问的是"太阳是从哪里来的"，它大约形成于 46 亿年前，由一片巨大的分子云/太阳星云在自身引力作用下坍缩、聚集物质而形成……」

基座回答带着「并不是……它是……」的英文转折结构（It's not... it's... 直译痕迹）；LoRA 版直接自然、口语松弛。

基座	LoRA step-102

说明

• 训练语料为网络整理文本，可能存在少量错字
• 本 LoRA 面向中文小说风格创作与中文语感增强，生成内容属虚构创作范畴