README.md

metadata

language:
  - vi
license: apache-2.0
library_name: transformers
tags:
  - vietnamese
  - tokenizer
  - byte-level-bpe
  - server-assistant
  - tool-use
  - logs
  - code
model_type: tokenizer

aevynt/JupiMind-Dense-J1R-Tokenizer-24k

Giới thiệu

JupiMind-Dense-J1R-Tokenizer-24k là tokenizer chuyên biệt được xây dựng cho dòng mô hình JupiMind Dense J1R. Tokenizer này được thiết kế để cải thiện hiệu quả mã hóa cho tiếng Việt và các loại văn bản kỹ thuật, đặc biệt trong các ngữ cảnh làm việc với hệ thống, công cụ và dữ liệu có cấu trúc.

Mục tiêu chính của tokenizer này là tối ưu hóa việc biểu diễn token cho các loại nội dung sau:

• Tiếng Việt có dấu
• Văn bản kỹ thuật và nội dung liên quan đến hệ thống/server
• Câu lệnh dòng lệnh (command line)
• Log hệ thống
• JSON, YAML và các tệp cấu hình
• Tool calling và các thẻ reasoning

Tokenizer này được huấn luyện để thay thế hoàn toàn tokenizer baseline cũ, vốn cho hiệu quả chưa tốt trên tiếng Việt.

Thiết kế

Kiến trúc tokenizer

• Loại tokenizer: Byte-level BPE
• Byte fallback: Bật
• Kích thước từ vựng: 24,576
• Context target: 4,096

Special tokens cho hội thoại và tool use

Tokenizer hỗ trợ các token đặc biệt phục vụ chat formatting, reasoning và tool interaction:

• <|im_start|>, <|im_end|>
• <think>, </think>
• <tool_call>, </tool_call>
• <tool_response>, </tool_response>
• <tools>, </tools>

Đánh giá khả năng nén token

Trên tập mẫu đánh giá nội bộ, tokenizer cho kết quả như sau:

• Candidate avg tokens/doc: 702.29
• Baseline avg tokens/doc: 2331.64
• Mức cải thiện: ít token hơn 3.32x so với baseline
• Candidate avg chars/token: 3.83
• Baseline avg chars/token: 1.15

Kết quả này cho thấy tokenizer mới cải thiện đáng kể hiệu quả nén token, đặc biệt phù hợp với tiếng Việt và dữ liệu kỹ thuật.

Sử dụng với JupiMind

Tokenizer này không tương thích với các checkpoint cũ sử dụng:

• vocab_size=6400

Để sử dụng tokenizer này đúng cách, cần:

1. Cập nhật cấu hình mô hình sang vocab_size=24576
2. Pretrain lại từ đầu hoặc continued pretrain từ checkpoint sử dụng cùng vocabulary

Thành phần mã nguồn mở

Repository này bao gồm các tệp sau:

• tokenizer.json
• tokenizer_config.json
• special_tokens_map.json
• jupimind_tokenizer_report.json
• README.md