Upload dmdx/README.md with huggingface_hub
Browse files- dmdx/README.md +18 -0
dmdx/README.md
CHANGED
|
@@ -28,8 +28,26 @@ DMD2 の逆 KL gradient trick を **学習可能 discriminator による hinge G
|
|
| 28 |
|
| 29 |
**結論**: 本 LoRA は実質的に "Anima Turbo + 軽い ADM 訓練" の状態。Civitai Turbo を直接使うのと品質に有意差なし。研究目的・記録のため配布。
|
| 30 |
|
|
|
|
|
|
|
| 31 |
詳細な技術解説は [docs/dmdx.md](https://huggingface.co/darask0/rapid-anima/blob/main/docs/dmdx.md)、warm-start dominance に至った推測原因は本ドキュメント末尾の「改善方向」参照。
|
| 32 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 33 |
## Files
|
| 34 |
|
| 35 |
| File | Format | Use |
|
|
|
|
| 28 |
|
| 29 |
**結論**: 本 LoRA は実質的に "Anima Turbo + 軽い ADM 訓練" の状態。Civitai Turbo を直接使うのと品質に有意差なし。研究目的・記録のため配布。
|
| 30 |
|
| 31 |
+
ただし **訓練効率の面では DMD2 より明確に優位** (下記 "DMDX の利点" 参照)、手法としての価値は残る。
|
| 32 |
+
|
| 33 |
詳細な技術解説は [docs/dmdx.md](https://huggingface.co/darask0/rapid-anima/blob/main/docs/dmdx.md)、warm-start dominance に至った推測原因は本ドキュメント末尾の「改善方向」参照。
|
| 34 |
|
| 35 |
+
## DMDX の利点 (vs DMD2)
|
| 36 |
+
|
| 37 |
+
最終 LoRA 品質では差が出なかったが、訓練効率では DMDX が明確に優位:
|
| 38 |
+
|
| 39 |
+
| 観点 | DMD2 + TrigFlow | DMDX (ADM) |
|
| 40 |
+
|---|---|---|
|
| 41 |
+
| critic / generator | 5:1 | **2:1** (G update 頻度 2.5x↑) |
|
| 42 |
+
| forwards / outer | ~32 | **~23** (-28%) |
|
| 43 |
+
| LoRA adapter | 2 (student + fake_score、毎 forward で `set_adapter()` 切替必要) | **1** (student のみ) + 別 D heads |
|
| 44 |
+
| 並列訓練 slowdown | ~1.7x (3.7 → 6.2 s/outer) | **ほぼなし** (3.6s/outer 維持) |
|
| 45 |
+
| 実装複雑度 | dual adapter PEFT 管理、leak 注意 | single adapter + 標準 D heads |
|
| 46 |
+
|
| 47 |
+
→ **同 5000 outer 訓練でも DMDX のほうが G の更新機会が多く、並列実行時の安定性も高い**。
|
| 48 |
+
本ケースでは warm-start dominance により最終品質に差は出なかったが、cold-start や強い learning rate で
|
| 49 |
+
試す価値はあり。
|
| 50 |
+
|
| 51 |
## Files
|
| 52 |
|
| 53 |
| File | Format | Use |
|