edit README for new information

README.md

@@ -1,81 +1,84 @@
 ---
 language:
-  - vi
-license: other
+- vi
+license: apache-2.0
 library_name: transformers
 tags:
-  - vietnamese
-  - tokenizer
-  - byte-level-bpe
-  - server-assistant
-  - tool-use
-  - logs
-  - code
+- vietnamese
+- tokenizer
+- byte-level-bpe
+- server-assistant
+- tool-use
+- logs
+- code
 model_type: tokenizer
 ---
 
 # aevynt/JupiMind-Dense-J1R-Tokenizer-24k
 
-## Tong quan
+## Giới thiệu
 
-Day la tokenizer rieng cho dong **JupiMind Dense J1R**. Muc tieu cua no la phuc vu:
+**JupiMind-Dense-J1R-Tokenizer-24k** là tokenizer chuyên biệt được xây dựng cho dòng mô hình **JupiMind Dense J1R**. Tokenizer này được thiết kế để cải thiện hiệu quả mã hóa cho tiếng Việt và các loại văn bản kỹ thuật, đặc biệt trong các ngữ cảnh làm việc với hệ thống, công cụ và dữ liệu có cấu trúc.
 
-- tieng Viet co dau
-- technical va server text
-- command line
-- logs
-- JSON, YAML, config
-- tool-call va reasoning tags
+Mục tiêu chính của tokenizer này là tối ưu hóa việc biểu diễn token cho các loại nội dung sau:
+
+- Tiếng Việt có dấu
+- Văn bản kỹ thuật và nội dung liên quan đến hệ thống/server
+- Câu lệnh dòng lệnh (command line)
+- Log hệ thống
+- JSON, YAML và các tệp cấu hình
+- Tool calling và các thẻ reasoning
+
+Tokenizer này được huấn luyện để **thay thế hoàn toàn tokenizer baseline cũ**, vốn cho hiệu quả chưa tốt trên tiếng Việt.
+
+## Thiết kế
+
+### Kiến trúc tokenizer
 
-Tokenizer nay duoc train de thay the hoan toan baseline cu von nen tieng Viet kem.
+- **Loại tokenizer:** Byte-level BPE
+- **Byte fallback:** Bật
+- **Kích thước từ vựng:** 24,576
+- **Context target:** 4,096
 
-## Thiet ke
+### Special tokens cho hội thoại và tool use
 
-- loai: byte-level BPE
-- byte fallback: bat
-- vocab size: 24576
-- context target: 4096
-- special chat/tool tokens:
-  - `<|im_start|>`, `<|im_end|>`
-  - `<think>`, `</think>`
-  - `<tool_call>`, `</tool_call>`
-  - `<tool_response>`, `</tool_response>`
-  - `<tools>`, `</tools>`
+Tokenizer hỗ trợ các token đặc biệt phục vụ chat formatting, reasoning và tool interaction:
 
-## Corpus train tokenizer
+- `<|im_start|>`, `<|im_end|>`
+- `<think>`, `</think>`
+- `<tool_call>`, `</tool_call>`
+- `<tool_response>`, `</tool_response>`
+- `<tools>`, `</tools>`
 
-JSONL inputs:
-- `/home/trainer/jupimind/outputs/pretrain/j1r_t4x4_mix.jsonl`
+## Đánh giá khả năng nén token
 
-Seed text inputs:
-- `/home/trainer/jupimind/data/tokenizer/j1r_server_seed.txt`
-- `/home/trainer/jupimind/data/tokenizer/j1r_server_seed.txt`
+Trên tập mẫu đánh giá nội bộ, tokenizer cho kết quả như sau:
 
-## Compression benchmark
+- **Candidate avg tokens/doc:** 702.29
+- **Baseline avg tokens/doc:** 2331.64
+- **Mức cải thiện:** ít token hơn **3.32x** so với baseline
+- **Candidate avg chars/token:** 3.83
+- **Baseline avg chars/token:** 1.15
 
-Tren sample evaluation:
+Kết quả này cho thấy tokenizer mới cải thiện đáng kể hiệu quả nén token, đặc biệt phù hợp với tiếng Việt và dữ liệu kỹ thuật.
 
-- candidate avg tokens/doc: 702.29
-- baseline avg tokens/doc: 2331.64
-- improvement: 3.32x it token hon baseline
-- candidate avg chars/token: 3.83
-- baseline avg chars/token: 1.15
+## Sử dụng với JupiMind
 
-## Dung voi JupiMind
+Tokenizer này **không tương thích** với các checkpoint cũ sử dụng:
 
-Tokenizer nay **khong tuong thich** voi checkpoint cu dung `vocab_size=6400`.
+- `vocab_size=6400`
 
-Muon dung that can:
+Để sử dụng tokenizer này đúng cách, cần:
 
-1. cap nhat model config sang `vocab_size=24576`
-2. pretrain lai tu dau hoac continued pretrain tu checkpoint cung vocab
+1. Cập nhật cấu hình mô hình sang `vocab_size=24576`
+2. Pretrain lại từ đầu hoặc continued pretrain từ checkpoint sử dụng cùng vocabulary
 
-## Open Source Files
+## Thành phần mã nguồn mở
 
-Repo nay bao gom:
+Repository này bao gồm các tệp sau:
 
 - `tokenizer.json`
 - `tokenizer_config.json`
 - `special_tokens_map.json`
 - `jupimind_tokenizer_report.json`
-- `README.md`
+- `README.md`