Upload JupiMind Vietnamese tokenizer

README.md

@@ -16,23 +16,23 @@ model_type: tokenizer
 
 # aevynt/JupiMind-Dense-J1R-Tokenizer-24k
 
-## Tổng quan
+## Tong quan
 
-Đây là tokenizer riêng cho dòng **JupiMind Dense J1R**, được train để phục vụ:
+Day la tokenizer rieng cho dong **JupiMind Dense J1R**. Muc tieu cua no la phuc vu:
 
-- tiếng Việt có dấu
-- technical/server text
+- tieng Viet co dau
+- technical va server text
 - command line
 - logs
-- JSON/YAML/config
-- tool-call và reasoning tags
+- JSON, YAML, config
+- tool-call va reasoning tags
 
-Tokenizer này nhằm thay thế hoàn toàn baseline cũ vốn nén tiếng Việt kém.
+Tokenizer nay duoc train de thay the hoan toan baseline cu von nen tieng Viet kem.
 
-## Thiết kế
+## Thiet ke
 
-- loại: byte-level BPE
-- byte fallback: bật
+- loai: byte-level BPE
+- byte fallback: bat
 - vocab size: 24576
 - context target: 4096
 - special chat/tool tokens:
@@ -53,26 +53,26 @@ Seed text inputs:
 
 ## Compression benchmark
 
-Trên sample evaluation:
+Tren sample evaluation:
 
-- candidate avg tokens/doc: 681.66
-- baseline avg tokens/doc: 2255.93
-- improvement: 3.31x ít token hơn baseline
-- candidate avg chars/token: 3.82
+- candidate avg tokens/doc: 702.29
+- baseline avg tokens/doc: 2331.64
+- improvement: 3.32x it token hon baseline
+- candidate avg chars/token: 3.83
 - baseline avg chars/token: 1.15
 
-## Dùng với JupiMind
+## Dung voi JupiMind
 
-Tokenizer này **không tương thích** với checkpoint cũ dùng `vocab_size=6400`.
+Tokenizer nay **khong tuong thich** voi checkpoint cu dung `vocab_size=6400`.
 
-Muốn dùng thật cần:
+Muon dung that can:
 
-1. cập nhật model config sang `vocab_size=24576`
-2. pretrain lại từ đầu hoặc continued pretrain từ checkpoint cùng vocab
+1. cap nhat model config sang `vocab_size=24576`
+2. pretrain lai tu dau hoac continued pretrain tu checkpoint cung vocab
 
 ## Open Source Files
 
-Repo này bao gồm:
+Repo nay bao gom:
 
 - `tokenizer.json`
 - `tokenizer_config.json`

jupimind_tokenizer_report.json

@@ -27,26 +27,26 @@
   "evaluation": {
     "candidate": {
       "name": "j1r_vi_bytebpe",
-      "documents": 10000,
-      "avg_tokens_per_doc": 681.6638,
-      "avg_chars_per_token": 3.81951792071106,
-      "avg_bytes_per_token": 5.027083292379616,
-      "total_tokens": 6816638
+      "documents": 50000,
+      "avg_tokens_per_doc": 702.28854,
+      "avg_chars_per_token": 3.8265045874164487,
+      "avg_bytes_per_token": 5.042613795178831,
+      "total_tokens": 35114427
     },
     "baseline": {
       "name": "jingyaogong/minimind-3",
-      "documents": 10000,
-      "avg_tokens_per_doc": 2255.9311,
-      "avg_chars_per_token": 1.1541252744820087,
-      "avg_bytes_per_token": 1.5190094679753297,
-      "total_tokens": 22559311
+      "documents": 50000,
+      "avg_tokens_per_doc": 2331.64386,
+      "avg_chars_per_token": 1.1525389301949398,
+      "avg_bytes_per_token": 1.518829672384015,
+      "total_tokens": 116582193
     }
   },
   "recommended_model_vocab_size": 24576,
   "recommended_tokenizer_path": "aevynt/JupiMind-Dense-J1R-Tokenizer-24k",
   "notes": [
-    "Tokenizer này dùng byte-level BPE với byte fallback để chịu được tiếng Việt dấu, log, code, JSON, YAML và output hệ thống.",
-    "Tokenizer mới không tương thích embedding với checkpoint vocab_size=6400 cũ. Muốn dùng thật phải pretrain lại với vocab_size mới.",
-    "Thiết kế ưu tiên server-first assistant, không tối ưu cho tiếng Trung."
+    "Tokenizer nay dung byte-level BPE voi byte fallback de xu ly tieng Viet co dau, log, code, JSON, YAML va output he thong.",
+    "Tokenizer moi khong tuong thich embedding voi checkpoint vocab_size=6400 cu. Muon dung that phai pretrain lai voi vocab_size moi.",
+    "Thiet ke uu tien server-first assistant, khong toi uu cho tieng Trung."
   ]
 }