Upload JupiMind Vietnamese tokenizer

README.md

@@ -0,0 +1,81 @@
+---
+language:
+  - vi
+license: other
+library_name: transformers
+tags:
+  - vietnamese
+  - tokenizer
+  - byte-level-bpe
+  - server-assistant
+  - tool-use
+  - logs
+  - code
+model_type: tokenizer
+---
+
+# aevynt/JupiMind-Dense-J1R-Tokenizer-24k
+
+## Tổng quan
+
+Đây là tokenizer riêng cho dòng **JupiMind Dense J1R**, được train để phục vụ:
+
+- tiếng Việt có dấu
+- technical/server text
+- command line
+- logs
+- JSON/YAML/config
+- tool-call và reasoning tags
+
+Tokenizer này nhằm thay thế hoàn toàn baseline cũ vốn nén tiếng Việt kém.
+
+## Thiết kế
+
+- loại: byte-level BPE
+- byte fallback: bật
+- vocab size: 24576
+- context target: 4096
+- special chat/tool tokens:
+  - `<|im_start|>`, `<|im_end|>`
+  - `<think>`, `</think>`
+  - `<tool_call>`, `</tool_call>`
+  - `<tool_response>`, `</tool_response>`
+  - `<tools>`, `</tools>`
+
+## Corpus train tokenizer
+
+JSONL inputs:
+- `/home/trainer/jupimind/outputs/pretrain/j1r_t4x4_mix.jsonl`
+
+Seed text inputs:
+- `/home/trainer/jupimind/data/tokenizer/j1r_server_seed.txt`
+- `/home/trainer/jupimind/data/tokenizer/j1r_server_seed.txt`
+
+## Compression benchmark
+
+Trên sample evaluation:
+
+- candidate avg tokens/doc: 681.66
+- baseline avg tokens/doc: 2255.93
+- improvement: 3.31x ít token hơn baseline
+- candidate avg chars/token: 3.82
+- baseline avg chars/token: 1.15
+
+## Dùng với JupiMind
+
+Tokenizer này **không tương thích** với checkpoint cũ dùng `vocab_size=6400`.
+
+Muốn dùng thật cần:
+
+1. cập nhật model config sang `vocab_size=24576`
+2. pretrain lại từ đầu hoặc continued pretrain từ checkpoint cùng vocab
+
+## Open Source Files
+
+Repo này bao gồm:
+
+- `tokenizer.json`
+- `tokenizer_config.json`
+- `special_tokens_map.json`
+- `jupimind_tokenizer_report.json`
+- `README.md`

jupimind_tokenizer_report.json

@@ -0,0 +1,52 @@
+{
+  "input_paths": [
+    "/home/trainer/jupimind/outputs/pretrain/j1r_t4x4_mix.jsonl"
+  ],
+  "text_seed_paths": [
+    "/home/trainer/jupimind/data/tokenizer/j1r_server_seed.txt",
+    "/home/trainer/jupimind/data/tokenizer/j1r_server_seed.txt"
+  ],
+  "vocab_size": 24576,
+  "min_frequency": 2,
+  "special_tokens": [
+    "<pad>",
+    "<unk>",
+    "<bos>",
+    "<eos>",
+    "<|im_start|>",
+    "<|im_end|>",
+    "<think>",
+    "</think>",
+    "<tool_call>",
+    "</tool_call>",
+    "<tool_response>",
+    "</tool_response>",
+    "<tools>",
+    "</tools>"
+  ],
+  "evaluation": {
+    "candidate": {
+      "name": "j1r_vi_bytebpe",
+      "documents": 10000,
+      "avg_tokens_per_doc": 681.6638,
+      "avg_chars_per_token": 3.81951792071106,
+      "avg_bytes_per_token": 5.027083292379616,
+      "total_tokens": 6816638
+    },
+    "baseline": {
+      "name": "jingyaogong/minimind-3",
+      "documents": 10000,
+      "avg_tokens_per_doc": 2255.9311,
+      "avg_chars_per_token": 1.1541252744820087,
+      "avg_bytes_per_token": 1.5190094679753297,
+      "total_tokens": 22559311
+    }
+  },
+  "recommended_model_vocab_size": 24576,
+  "recommended_tokenizer_path": "aevynt/JupiMind-Dense-J1R-Tokenizer-24k",
+  "notes": [
+    "Tokenizer này dùng byte-level BPE với byte fallback để chịu được tiếng Việt dấu, log, code, JSON, YAML và output hệ thống.",
+    "Tokenizer mới không tương thích embedding với checkpoint vocab_size=6400 cũ. Muốn dùng thật phải pretrain lại với vocab_size mới.",
+    "Thiết kế ưu tiên server-first assistant, không tối ưu cho tiếng Trung."
+  ]
+}

tokenizer_config.json

@@ -0,0 +1,22 @@
+{
+  "backend": "tokenizers",
+  "bos_token": "<bos>",
+  "clean_up_tokenization_spaces": false,
+  "eos_token": "<eos>",
+  "extra_special_tokens": [
+    "<|im_start|>",
+    "<|im_end|>",
+    "<think>",
+    "</think>",
+    "<tool_call>",
+    "</tool_call>",
+    "<tool_response>",
+    "</tool_response>",
+    "<tools>",
+    "</tools>"
+  ],
+  "model_max_length": 4096,
+  "pad_token": "<pad>",
+  "tokenizer_class": "TokenizersBackend",
+  "unk_token": "<unk>"
+}