yuta1984 commited on
Commit
84005d4
·
verified ·
1 Parent(s): bef9738

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +29 -0
README.md CHANGED
@@ -49,6 +49,35 @@ tags:
49
  - **サンプラー**: `WeightedRandomSampler` で各クラスの 1 epoch あたりの期待出現回数を平準化
50
  - **クラス除外**: 出現件数が 3 件未満のクラスは学習対象から除外(cutoff=3)
51
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
52
  ## 前処理
53
 
54
  ```
 
49
  - **サンプラー**: `WeightedRandomSampler` で各クラスの 1 epoch あたりの期待出現回数を平準化
50
  - **クラス除外**: 出現件数が 3 件未満のクラスは学習対象から除外(cutoff=3)
51
 
52
+ ## 性能評価
53
+
54
+ 検証セット **val_kr**(Kaggle Kuzushiji Recognition の hold-out 68,481 件、3,673 クラス出力空間で argmax):
55
+
56
+ | 指標 | top-1 | top-5 | top-20 |
57
+ |---|---|---|---|
58
+ | micro 平均 | **96.5%** | 99.5% | 99.6% |
59
+ | macro 平均(val に出現する 1,268 クラス) | 96.9% | 99.4% | 99.5% |
60
+
61
+ `val_kr + val_extra` を併せた **3,673 全クラスでの評価**(極稀少クラスを含む厳しめの条件):
62
+
63
+ | 指標 | top-1 | top-5 | top-20 |
64
+ |---|---|---|---|
65
+ | micro | 95.3% | 99.0% | 99.4% |
66
+ | macro(出現 3,673 クラス) | 71.9% | 91.3% | 95.7% |
67
+
68
+ ### 訓練サンプル数別の per-class recall(macro 平均)
69
+
70
+ | 訓練サンプル数 | クラス数 | 検証件数 | top-1 | top-5 | top-20 |
71
+ |---|---|---|---|---|---|
72
+ | 3 〜 10 | 1,690 | 1,690 | 52.5% | 85.2% | 93.5% |
73
+ | 10 〜 30 | 431 | 431 | 66.6% | 90.0% | 93.7% |
74
+ | 30 〜 100 | 622 | 2,168 | 92.5% | 97.9% | 98.4% |
75
+ | 100 〜 500 | 632 | 7,890 | 96.1% | 98.4% | 98.6% |
76
+ | 500 〜 2,000 | 213 | 11,096 | 95.7% | 98.9% | 99.1% |
77
+ | 2,000 以上 | 85 | 47,611 | 95.2% | 99.3% | 99.5% |
78
+
79
+ 頻度の高い文字では top-1 が 95% 以上に達します。出現 10 件未満の極稀少クラスでは top-1 を外しがちですが、top-20 候補に含まれる確率は 93% あり、候補列挙ベースの翻刻支援用途では有効です。
80
+
81
  ## 前処理
82
 
83
  ```