Update README.md
Browse files
README.md
CHANGED
|
@@ -49,6 +49,35 @@ tags:
|
|
| 49 |
- **サンプラー**: `WeightedRandomSampler` で各クラスの 1 epoch あたりの期待出現回数を平準化
|
| 50 |
- **クラス除外**: 出現件数が 3 件未満のクラスは学習対象から除外(cutoff=3)
|
| 51 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 52 |
## 前処理
|
| 53 |
|
| 54 |
```
|
|
|
|
| 49 |
- **サンプラー**: `WeightedRandomSampler` で各クラスの 1 epoch あたりの期待出現回数を平準化
|
| 50 |
- **クラス除外**: 出現件数が 3 件未満のクラスは学習対象から除外(cutoff=3)
|
| 51 |
|
| 52 |
+
## 性能評価
|
| 53 |
+
|
| 54 |
+
検証セット **val_kr**(Kaggle Kuzushiji Recognition の hold-out 68,481 件、3,673 クラス出力空間で argmax):
|
| 55 |
+
|
| 56 |
+
| 指標 | top-1 | top-5 | top-20 |
|
| 57 |
+
|---|---|---|---|
|
| 58 |
+
| micro 平均 | **96.5%** | 99.5% | 99.6% |
|
| 59 |
+
| macro 平均(val に出現する 1,268 クラス) | 96.9% | 99.4% | 99.5% |
|
| 60 |
+
|
| 61 |
+
`val_kr + val_extra` を併せた **3,673 全クラスでの評価**(極稀少クラスを含む厳しめの条件):
|
| 62 |
+
|
| 63 |
+
| 指標 | top-1 | top-5 | top-20 |
|
| 64 |
+
|---|---|---|---|
|
| 65 |
+
| micro | 95.3% | 99.0% | 99.4% |
|
| 66 |
+
| macro(出現 3,673 クラス) | 71.9% | 91.3% | 95.7% |
|
| 67 |
+
|
| 68 |
+
### 訓練サンプル数別の per-class recall(macro 平均)
|
| 69 |
+
|
| 70 |
+
| 訓練サンプル数 | クラス数 | 検証件数 | top-1 | top-5 | top-20 |
|
| 71 |
+
|---|---|---|---|---|---|
|
| 72 |
+
| 3 〜 10 | 1,690 | 1,690 | 52.5% | 85.2% | 93.5% |
|
| 73 |
+
| 10 〜 30 | 431 | 431 | 66.6% | 90.0% | 93.7% |
|
| 74 |
+
| 30 〜 100 | 622 | 2,168 | 92.5% | 97.9% | 98.4% |
|
| 75 |
+
| 100 〜 500 | 632 | 7,890 | 96.1% | 98.4% | 98.6% |
|
| 76 |
+
| 500 〜 2,000 | 213 | 11,096 | 95.7% | 98.9% | 99.1% |
|
| 77 |
+
| 2,000 以上 | 85 | 47,611 | 95.2% | 99.3% | 99.5% |
|
| 78 |
+
|
| 79 |
+
頻度の高い文字では top-1 が 95% 以上に達します。出現 10 件未満の極稀少クラスでは top-1 を外しがちですが、top-20 候補に含まれる確率は 93% あり、候補列挙ベースの翻刻支援用途では有効です。
|
| 80 |
+
|
| 81 |
## 前処理
|
| 82 |
|
| 83 |
```
|