cebrailbagatarhan/turkish-bpe-tokenizer-128k

Turkish BPE Tokenizer (128k Vocab)

Bu model, Türkçe metinler için sıfırdan eğitilmiş Byte-Level BPE (Byte Pair Encoding) tabanlı bir Tokenizer modelidir.

Özellikler

• Vocabulary Size (Kelime Dağarcığı): 128.000
• Eğitim Verisi: Hugging Face wikimedia/wikipedia (20231101.tr) - ~150.000 Türkçe Makale
• Tokenizer Tipi: BPE, Byte-Level Fallback özelliğine sahip (Bilinmeyen <unk> token sorunu yaşanmaz).
• Özel Tokenler: <|begin_of_sentence|>, <|end_of_sentence|>, <|pad|>, <|unk|>

Kullanım (Python)

from tokenizers import Tokenizer

# Tokenizer'ı doğrudan yükleyin
tokenizer = Tokenizer.from_file("turkish_tokenizer.json")

# Encode işlemi
text = "Yapay zeka Türkçe dilinde de çok güçlü."
encoded = tokenizer.encode(text)

print(encoded.tokens)

Neden 128k?

Modern LLM modelleri (Örn: Llama-3, DeepSeek) yüksek işlem hızı ve dile özgü kavrayış için büyük kelime dağarcıkları (100k - 128k) kullanır. Bu tokenizer da aynı vizyonla, Türkçe dilinin eklemeli yapısını daha iyi temsil edebilmesi için 128.000 tokenlik bir kapasiteyle eğitilmiştir.