============================================================
ИТОГОВЫЙ ОТЧЁТ ПО ТЕСТИРОВАНИЮ ТОКЕНИЗАТОРОВ
Дата: 2026-03-10 20:25:32.743689
Тестовый корпус: 10000 документов, 19479650 символов
============================================================

ЛУЧШИЕ МОДЕЛИ ПО КОМПОЗИТНОЙ ОЦЕНКЕ:
4. bbpe_fixed_50k (BPE_fixed)
   unknown_rate=0.0000, compression=5.17, word_coverage=1.0000, speed=315922
2. wp_50k (WordPiece)
   unknown_rate=0.0000, compression=4.67, word_coverage=1.0000, speed=378751
3. bpe_50k (BPE)
   unknown_rate=0.0000, compression=4.60, word_coverage=1.0000, speed=247421
7. bpe_50k_freq5 (BPE)
   unknown_rate=0.0000, compression=4.60, word_coverage=1.0000, speed=226591
5. bbpe_50k (BBPE)
   unknown_rate=0.0000, compression=4.60, word_coverage=1.0000, speed=227322