Alibaba Qwen3.6 · 云碩衍生模型
Collection
基於 Alibaba Qwen3.6-35B-A3B(MoE 多模態)的云碩衍生模型,含 GGUF 量化。 • 2 items • Updated
⚠️ 這是經 abliteration(aggressive)處理的版本:模型的「拒絕方向(refusal direction)」已被移除,會比原版更少拒答。請僅在你被授權的範圍內使用(見下方「用途與責任」)。
以 Qwen/Qwen3.6-35B-A3B(35.95B 總參、A3B≈3B 活躍、256-expert MoE、多模態 image-text-to-text)為基底,套用 abliteration(消除拒絕方向) 以降低過度拒絕,供授權範圍內的資安研究、領域與內部應用、紅隊評估、創作使用。原生影像辨識能力保留(abliteration 僅作用於語言模型的殘差流寫入權重,視覺塔未更動)。
依 Arditi et al., "Refusal in LLMs is mediated by a single direction" (2024):指令模型的拒絕行為主要由殘差流中單一方向承載。本流程不重新訓練——以探針提示估出該方向,再用權重正交化從所有「寫回殘差流」的權重移除其分量(W ← W − r̂ r̂ᵀ W)。
| 項目 | 值 |
|---|---|
| 基底 | Qwen/Qwen3.6-35B-A3B(256-expert MoE, text+vision) |
| 探針層 | 第 24 / 40 層(layer_fraction 0.6) |
| 探針對數 | 每側 32 對 |
| 強度 strength | 1.0(完全移除) |
| 正交化矩陣 | 91(embed + 注意力 o_proj + dense/shared down_proj + 256-expert 分組 down_proj) |
| 視覺能力 | 保留 |
「aggressive」之所以完整:除注意力路徑外,MoE 256 專家的 down_proj(3D 分組張量)也一併正交化,主 MLP 輸出路徑的拒絕方向同步移除。
完整多模態 safetensors,可用 transformers(AutoModelForImageTextToText)或 vLLM 載入做圖文對話。GGUF(llama.cpp / Ollama)版本見 …-Uncensored-xCloud-GGUF。
Qwen/Qwen3.6-35B-A3B,授權 Apache-2.0。由 云碩科技 xCloudinfo 於自有地端 DGX Spark(GB10)以 abliteration 製作。