Update README.md
Browse files
README.md
CHANGED
|
@@ -22,6 +22,8 @@ license: apache-2.0
|
|
| 22 |
## データセット
|
| 23 |
- 使用データセット: open_contents_datasetsの(c)Rosebleu様のデータセット
|
| 24 |
- データ処理: キャラクターごとの会話並び替えと会話履歴ごとの1Pair生成
|
|
|
|
|
|
|
| 25 |
|
| 26 |
## 使用方法
|
| 27 |
- システムプロンプトにキャラクター情報を入力することでキャラクターになりきり可能？
|
|
@@ -32,6 +34,7 @@ license: apache-2.0
|
|
| 32 |
- 自己蒸留LogitsをLossに加えることでSFTLossとKLLossのバランスを調整
|
| 33 |
- ハイパーパラメータによるSFTデータセットの学習度と元のモデル維持度のトレードオフ制御
|
| 34 |
- LR 2e-5 to 1e-6, top-k=100 temperature=2.0 alpha=0.85
|
|
|
|
| 35 |
|
| 36 |
## 制限事項と注意点
|
| 37 |
- 実験的なモデルであり、性能や挙動が安定しない可能性があります。
|
|
|
|
| 22 |
## データセット
|
| 23 |
- 使用データセット: open_contents_datasetsの(c)Rosebleu様のデータセット
|
| 24 |
- データ処理: キャラクターごとの会話並び替えと会話履歴ごとの1Pair生成
|
| 25 |
+
- Topk100のLogitsデータセットを作成（70GBほど）
|
| 26 |
+
- 処理後のトータルデータセット数300000Pair
|
| 27 |
|
| 28 |
## 使用方法
|
| 29 |
- システムプロンプトにキャラクター情報を入力することでキャラクターになりきり可能？
|
|
|
|
| 34 |
- 自己蒸留LogitsをLossに加えることでSFTLossとKLLossのバランスを調整
|
| 35 |
- ハイパーパラメータによるSFTデータセットの学習度と元のモデル維持度のトレードオフ制御
|
| 36 |
- LR 2e-5 to 1e-6, top-k=100 temperature=2.0 alpha=0.85
|
| 37 |
+
- Train Epoch 2
|
| 38 |
|
| 39 |
## 制限事項と注意点
|
| 40 |
- 実験的なモデルであり、性能や挙動が安定しない可能性があります。
|