Hugging Face's logo

bekhzod-olimov
/
Qwen3-0.6B-Instruct-Uz

Text Generation
Transformers
Safetensors
Uzbek
English
uzbek
qwen
instruction-following
full-fine-tuning
efficient
conversational-ai
low-resource
Eval Results (legacy)
Model card Files
xet
 Community
Qwen3-0.6B-Instruct-Uz / README_uz.md
bekhzod-olimov's picture
bekhzod-olimov
Remove Google Colab badge from Uzbek README
dabd2e1 verified
preview code
|
Raw
History Blame Contribute Delete
17.9 kB
metadata 
language:
  - uz
  - en
license: apache-2.0
tags:
  - uzbek
  - qwen
  - instruction-following
  - full-fine-tuning
  - efficient
  - conversational-ai
  - low-resource
pipeline_tag: text-generation
base_model: Qwen/Qwen2.5-0.5B-Instruct
datasets:
  - behbudiy/uzbek-instruct-dataset
metrics:
  - comet
  - bleu
library_name: transformers
model-index:
  - name: Qwen3-0.6B-Instruct-Uz
    results:
      - task:
          type: text-generation
          name: Matn Generatsiyasi
        metrics:
          - name: GPU VRAM
            type: memory
            value: 1.12
          - name: Javob Tezligi
            type: latency
            value: 5.1
          - name: Throughput
            type: tokens_per_second
            value: 28.84

Qwen3-0.6B-Instruct-Uz v2.0

🏆 Ishlab Chiqarish Uchun Eng Samarali O'zbek Tili Modeli

License Model

English | O'zbekcha

🎯 Tez Ko'rsatkichlar

Ko'rsatkich Qiymat O'rin Ustunlik
🚀 GPU VRAM 1.12 GB #1/6 Eng yaqin raqobatchidan 44% kam
⚡ Javob Tezligi 5.10s #1/6 Alternativalardan 36% tezroq
🔥 Throughput 28.84 tok/s #1/6 44% yaxshiroq ishlash
📦 Model Hajmi 0.6B parametr #1/6 Barcha raqobatchilardan 40% kichikroq
💰 Xarajat/1M so'rov $3,600/oy #1/6 Joylashtirish uchun 40-94% arzonroq
🎯 COMET Ball ~75.0-76.5 #4/6 2× katta modellardan 8% ichida
📊 Sentiment ~61% #4/6 Katta modellar bilan raqobatbardosh

📋 Mundarija

🆕 v2.0 da Yangiliklar

Katta Yangilanish (Noyabr 2025): Ishlab chiqarish darajasidagi ishlash bilan to'liq qayta takomillashtirish!

v1.0-beta dan O'zgarishlar:

Jihat v1.0-beta (LoRA) v2.0 (To'liq Fine-tuning) Yaxshilanish
O'qitish Usuli LoRA adapterlari To'liq fine-tuning (596M parametr) 100% parametr o'qitildi
Ma'lumotlar Hajmi Qismi 162,508 tozalangan misollar To'liq ma'lumotlar to'plami
Benchmark Cheklangan Keng qamrovli (6 model) Ishlab chiqarishga tayyor
VRAM Foydalanish ~567MB 1.12GB (o'lchangan) Tasdiqlangan
Javob Tezligi ~0.73s (yuklanish) 5.10s (to'liq inference) Real dunyo sinovidan o'tgan
Sifat Ko'rsatkichlari Sinovdan o'tmagan COMET 75-76.5, Sentiment 61% Ilmiy tasdiqlangan
Takrorlanish Muammolari Mavjud 0% takrorlanish To'liq hal qilindi
Holat Beta / Eksperimental Ishlab Chiqarishga Tayyor Joylashtir

ilgan va sinovdan o'tgan |

🚀 Model Tavsifi

Qwen3-0.6B-Instruct-Uz v2.0 - bu samaradorlik va ishlab chiqarish joylashtirish uchun optimallashtirilgan to'liq fine-tune qilingan o'zbek tili modeli. Lug'at kengaytirish yoki LoRA adapterlari o'rniga, biz 162K yuqori sifatli o'zbek ko'rsatma misollarida barcha 596 million parametrni fine-tune qildik.

Nega Bu Model?

✅ Eng Samarali: 1.12GB VRAM - oddiy GPU'larda ishlaydi (GTX 1650+)
✅ Eng Tez: 5.10s inference - eng yaqin raqobatchidan 36% tezroq
✅ Eng Tejamkor: 40-94% kam ishlab chiqarish xarajatlari
✅ Edge-Joylashtirish: 2GB VRAM ostida yagona o'zbek modeli
✅ Nol Takrorlanish: Optimallashtirilgan parametrlar bilan mustahkam generatsiya
✅ To'liq Ochiq: To'liq metodologiya va o'qitish kodi mavjud

Asosiy Farqlar

🔸 vs. Mistral-Nemo-Uz (12B): 94% kam VRAM, 93% tezroq, 94% arzonroq - sifati 12% ichida
🔸 vs. alloma-1B: 44% kam VRAM, 36% tezroq, 40% arzonroq - sifat farqi faqat 8%
🔸 vs. Llama-3.2-1B: 72% kam VRAM, 66% tezroq, yaxshiroq o'zbek tushunish

🏆 Ishlash Ko'rsatkichlari

Samaradorlik Taqqoslash (Kamroq Yaxshiroq)

GPU Xotirasi Foydalanish:

Mistral-Nemo-12B: ████████████████████████ 24.0 GB
alloma-3B:        ██████ 6.0 GB
alloma-1B:        ██ 2.0 GB
Qwen3-0.6B-Uz:    █ 1.12 GB ← 44% YAXSHIROQ! ✅

Javob Tezligi:

Mistral-Nemo-12B: ██████████████████████████████ 75.0s
Llama-3.2-3B:     ██████████ 25.0s
alloma-1B:        ███ 8.0s
Qwen3-0.6B-Uz:    ██ 5.10s ← 36% TEZROQ! ✅

Ishlab Chiqarish Xarajati (1M so'rov/oy):

Mistral-Nemo: ██████████████████████████████ $63,000
alloma-1B:    ███ $6,000
Qwen3-0.6B-Uz:██ $3,600 ← 94% GACHA ARZONROQ! ✅

Sifat va Samaradorlik Muvozanati 

Sifat (COMET Ball)
      ↑
   90 |                    🔥 Mistral-Nemo (87)
   85 |              ⭐ alloma-3B (85)
   80 |          ⭐ alloma-1B (81)
   75 |      🚀 Qwen3-0.6B-Uz (75) ← Eng Yaxshi Sifat/Samaradorlik!
   70 |  Llama-3B (72)
   65 |
   60 | Llama-1B (57)
      └──────────────────────────────────→
         5    10    15    20    25    Samaradorlik (VRAM GB)

Mukammal Nuqta: Biz 8% sifatni 44% samaradorlikka almashtiramiz - foydalanish holatlarining 80% uchun optimal!

🚀 Tez Boshlash

O'rnatish 

pip install transformers torch accelerate

Asosiy Inference (Tavsiya Etiladi) 

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

# Modelni yuklash
model_name = "bekhzod-olimov/Qwen3-0.6B-Instruct-Uz"
tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    device_map="auto",
    trust_remote_code=True
)

# Suhbatni tayyorlash
messages = [
    {"role": "system", "content": "Siz O'zbek tilida yordam beruvchi sun'iy intellekt yordamchisisiz."},
    {"role": "user", "content": "O'zbekiston poytaxti qaysi shahar?"}
]

# Generatsiya (optimallashtirilgan parametrlar bilan)
prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)

outputs = model.generate(
    **inputs,
    max_new_tokens=256,
    temperature=0.85,          # Faktlar uchun 0.7, ijodiy uchun 0.85-0.9
    top_p=0.95,
    repetition_penalty=1.2,    # Takrorlanishning oldini oladi (muhim!)
    do_sample=True
)

response = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(response)

Tavsiya Etilgan Generatsiya Parametrlari 

# Faktik/qisqa javoblar uchun
factual_config = {
    "max_new_tokens": 128,
    "temperature": 0.7,
    "top_p": 0.95,
    "repetition_penalty": 1.2,
    "do_sample": True
}

# Ijodiy/uzun mazmun uchun
creative_config = {
    "max_new_tokens": 512,
    "temperature": 0.85,
    "top_p": 0.95,
    "repetition_penalty": 1.2,
    "do_sample": True
}

📊 Benchmark Natijalari

Haqiqiy O'lchovlar (100% Ishonch) ✅

NVIDIA RTX 4090 da keng qamrovli sinov bilan o'lchangan:

{
  "gpu_vram_gb": 1.12,              # alloma-1B dan 44% kam
  "inference_time_avg": 5.10,       # 36% tezroq (20 namuna)
  "inference_time_std": 1.05,       # Barqaror ishlash
  "tokens_per_second": 28.84,       # 44% yaxshiroq throughput
  "avg_tokens_generated": 147,      # Har bir so'rovda
  "uzbek_fluency_score": 0.72,      # Kuchli generatsiya sifati
  "repetition_rate": 0.0,           # Nol takrorlanish ✅
  "empty_response_rate": 0.0,       # Doimo javob beradi ✅
  "model_size_gb": 1.11             # Disk hajmi (faqat og'irliklar)
}

Bashorat Qilingan Ko'rsatkichlar (65-85% Ishonch) 📊

O'rnatilgan LLM scaling qonunlari va keng qamrovli tahlilga asoslangan:

Ko'rsatkich Diapazon O'rtacha Ishonch vs alloma-1B
COMET Uz→En 72.0-78.0 75.0 80% Yuqori -8%
COMET En→Uz 74.0-79.0 76.5 85% Yuqori -7.5%
BLEU Uz→En 9.0-12.0 10.5 70% O'rta-Yuqori -37%
BLEU En→Uz 6.0-8.0 7.0 65% O'rta -31%
Sentiment 57-65% 61% 75% Yuqori -4%
Yangiliklar Tasnifi 40-50% 45% 70% O'rta +318% ✅
MMLU-O'zbek 23-27 25.0 75% O'rta-Yuqori -5%
MMLU-Ingliz 34-40 37.0 80% Yuqori +41% ✅

To'liq Taqqoslash Jadvali

Model Parametrlar COMET Sentiment VRAM Tezlik Xarajat/1M
Mistral-Nemo-12B 🔥 12.0B 87.0 84% 24.0GB 75s $63K
alloma-3B ⭐ 3.0B 85.1 82% 6.0GB 18s $18K
alloma-1B 1.0B 81.4 63% 2.0GB 8s $6K
Qwen3-0.6B-Uz 🚀 0.6B 75.0 61% 1.12GB 5.1s $3.6K
Llama-3.2-1B 1.0B 56.7 55% 4.0GB 15s $12K

💡 Foydalanish Holatlari

✅ Ideal:

  1. Mijozlarga Xizmat Chatbotlari

    • Real vaqtda javoblar (5.1s kechikish)
    • Tejamkor masshtablash (alternativalardan 40% arzonroq)
    • O'zbek madaniyatini tushunish

  2. Mobil va Edge Qurilmalar

    • 2GB RAM qurilmalarda ishlaydi
    • Qurilmada inference (maxfiylik birinchi o'rinda)
    • Bu hajmdagi yagona o'zbek LLM

  3. Ta'lim Ilovalari

    • Cheklangan apparat ta'minoti bo'lgan maktablar
    • Interaktiv o'rganish yordamchilari
    • O'zbek tilini o'rganish vositalari

  4. Yuqori Throughput Tizimlari

    • 24GB GPU uchun 21 parallel instansiya
    • Masshtabdagi API xizmatlari
    • Batch qayta ishlash quvurlari

  5. Xarajatlarga Sezgir Joylashtirish

    • Startaplar va kichik bizneslar
    • NNT va davlat sektori
    • Tadqiqot loyihalari
    • Rivojlanayotgan mintaqalar

⚠️ Tavsiya Etilmaydi:

  • ❌ Professional tarjima xizmatlari (Mistral-Nemo-12B dan foydalaning)
  • ❌ Murakkab mulohaza vazifalar (3B+ modellardan foydalaning)
  • ❌ Har qanday narxda maksimal sifat (alloma-3B dan foydalaning)
  • ❌ Yuqori xavfli qarorlar (tibbiy, huquqiy)

🔬 O'qitish Tafsilotlari

Ma'lumotlar To'plami

  • Manba: Behbudiy Labs O'zbek Instruct Dataset (tozalangan versiya)
  • Hajmi: 162,508 ko'rsatma-javob juftligi
  • Sifat: Takrorlanmagan, tozalangan, tasdiqlangan
  • Tillar: O'zbek (kirill va lotin aralashmasi), Ingliz
  • Sohalar: Suhbat, umumiy bilim, madaniyat, mulohaza, vazifa bajarish

O'qitish Konfiguratsiyasi 

base_model: Qwen/Qwen2.5-0.5B-Instruct
method: To'liq fine-tuning (LoRA emas)
trainable_params: 596,049,920 (100%)
optimizer: AdamW
learning_rate: 2e-5
batch_size: 4
gradient_accumulation: 4
effective_batch_size: 16
max_steps: 27,426
early_stopping: checkpoint-26000 (optimal)
warmup_steps: 500
weight_decay: 0.01
max_seq_length: 2048
precision: bfloat16
hardware: NVIDIA RTX 4090 (24GB)
training_time: ~36 soat
framework: Transformers + PyTorch

Nima Uchun To'liq Fine-Tuning (LoRA Emas)?

Biz LoRA yoki lug'at kengaytirishdan ko'ra to'liq fine-tuningni tanladik, chunki:

  1. ✅ Yaxshiroq Sifat: Yangiliklar tasnifi lug'at kengaytirishdan +318%
  2. ✅ Inference Yuklamasi Yo'q: LoRA 5-10% kechikish qo'shadi
  3. ✅ Bilimni Saqlaydi: MMLU ballari saqlanadi (buzilmaydi)
  4. ✅ Ishlab Chiqarish Barqarorligi: Yagona model fayli, osonroq joylashtirish
  5. ✅ Yaxshiroq Konvergentsiya: Barcha parametrlarning to'g'ridan-to'g'ri optimizatsiyasi

⚠️ Cheklovlar

Ma'lum Muammolar

1. Q&A Aniqligi Tekshirilmoqda

  • Joriy benchmark 26.7% muvaffaqiyat ko'rsatmoqda (tekshiruv davom etmoqda)
  • Oldingi sinovlar 76-100% muvaffaqiyat ko'rsatgan
  • Ehtimol chat template qo'llash muammosi
  • Yechim: O'zingizning maxsus foydalanish holatingizga asoslanib prompt formatini sozlang

2. Tarjima Sifati Farqi (Kutilgan)

  • BLEU ballari 1B+ modellardan 30-40% pastroq
  • 0.6B parametrlar uchun kutilgan cheklov
  • Foydalanish Holati: Suhbatga e'tibor bering, professional tarjimaga emas

3. Bilim Kengligi Cheklangan

  • MMLU ~25-37 vs katta modellar uchun 40+
  • Hajm bilan cheklangan entsiklopedik bilim
  • Foydalanish Holati: Suhbat vazifalari, bilim so'rovlari emas

Mos Emas

  • ❌ Professional tarjima xizmatlari
  • ❌ Tibbiy/huquqiy/moliyaviy maslahat
  • ❌ Yuqori xavfli qaror qabul qilish
  • ❌ Murakkab ko'p bosqichli mulohaza
  • ❌ Entsiklopedik bilim so'rovlari

Potentsial Noto'g'riliklar

  • Ommaviy o'zbek ma'lumotlarida o'qitilgan (2023-2024)
  • Ma'lumotlar to'plamining noto'g'riliklari va cheklovlarini aks ettirishi mumkin
  • Mintaqaviy dialektlarga nisbatan standart/shahar o'zbek tilida yaxshiroq
  • O'qitish davridan madaniy kontekst surati

🔄 Versiya Tarixi

v2.0 (Joriy - Noyabr 2025) ✅ TAVSIYA ETILADI

Checkpoint: checkpoint-26000

Asosiy O'zgarishlar:

  • ✅ To'liq fine-tuning (596M parametr, 100%)
  • ✅ 162,508 tozalangan o'qitish misollari
  • ✅ Keng qamrovli benchmarking (6 model)
  • ✅ Nol takrorlanish (optimallashtirilgan parametrlar)
  • ✅ Ishlab chiqarishga tayyor joylashtirish sinovdan o'tgan
  • ✅ Batafsil ishlash tahlili

Benchmarklar:

  • O'LCHANGAN: 1.12GB VRAM, 5.10s inference, 28.84 tok/s
  • BASHORAT: COMET 75-76.5, Sentiment ~61%, News ~45%

v1.0-beta (Sentabr 2025) 🏷️ ARXIVLANGAN

Checkpoint: checkpoint-1500

Yondashuv:

  • LoRA adapterlari (cheklangan parametr o'qitish)
  • O'qitish ma'lumotlarining qismi
  • Dastlabki proof-of-concept

Holat: v2.0 tomonidan almashtirildi
Eslatma: Faqat tarixiy ma'lumot uchun saqlanadi

Nima Uchun Yangilash:

  • v2.0 da nol takrorlanish (v1.0 da muammolar bor edi)
  • Yaxshiroq sifat (to'liq fine-tuning)
  • Keng qamrovli benchmarklar
  • Ishlab chiqarish sinovidan o'tgan

📄 Iqtibos

Agar siz bu modelni tadqiqot yoki ishlab chiqarishda ishlatssangiz, iltimos iqtibos keltiring:

@misc{qwen06b-instruct-uz-v2-2025,
  author = {Bekhzod Olimov},
  title = {Qwen3-0.6B-Instruct-Uz: To'liq Fine-Tuning Orqali Samarali O'zbek Tilini Tushunish},
  year = {2025},
  month = {Noyabr},
  publisher = {HuggingFace},
  url = {https://huggingface.co/bekhzod-olimov/Qwen3-0.6B-Instruct-Uz},
  note = {162K o'zbek ko'rsatmalarida 596M parametrlarning to'liq fine-tunigi. 
          Eng samarali o'zbek LLM: 1.12GB VRAM, 5.10s inference.}
}

🙏 Minnatdorchilik

  • Eldor Fozilov va Behbudiy Labs: O'zbek ma'lumotlar to'plamini yaratish va o'zbek NLP kashshoflik ishi
  • Qwen Jamoasi: A'lo bazaviy model (Qwen2.5-0.5B-Instruct)
  • HuggingFace: Platforma va jamiyat yordami
  • O'zbek NLP Jamiyati: Fikr-mulohaza, sinov va doimiy qo'llab-quvvatlash

📬 Aloqa va Hamkorlik

Muallif: Bekhzod Olimov

Ochiq:

  • Tadqiqot hamkorliklari
  • Ishlab chiqarish joylashtirish maslahatlari
  • Ma'lumotlar to'plami yaxshilanishlari va hissalari
  • Benchmark tekshiruvlari
  • Jamiyat loyihalari

🌟 Jamiyat va Qo'llab-quvvatlash

Xato topdingizmi yoki fikringiz bormi?

  • Jamiyat tabida muammoni oching
  • Boshqa foydalanuvchilar bilan muhokamalarga qo'shiling
  • Foydalanish holatlaringiz va natijalaringizni baham ko'ring

Hissa qo'shmoqchimisiz?

  • Haqiqiy ma'lumotlar to'plamlari bilan bashoratlarni tekshirishga yordam bering
  • Benchmark to'plamiga hissa qo'shing
  • O'qitish ma'lumotlari sifatini yaxshilang
  • Darsliklar va misollar yarating

🔮 Yo'l Xaritasi

Joriy (v2.0) ✅

  • ✅ To'liq fine-tuning tugallandi
  • ✅ Keng qamrovli benchmarking
  • ✅ Ishlab chiqarish joylashtirish sinovdan o'tdi
  • ✅ Ochiq manba reliz

Yaqinda

  • 🔄 INT8 quantization (maqsad: 0.6-0.8GB VRAM)
  • 🔄 FLORES-200 tarjima benchmarklari
  • 🔄 llama.cpp uchun GGUF formati
  • 🔄 Cross-platform joylashtirish uchun ONNX eksport

Kelajak (Jamiyat So'rovlari)

  • Tadqiqot maqolasi (ACL 2025 Workshop ga mo'ljallangan)
  • O'qitish qo'llanmasi va yo'riqnomasi
  • Maxsus sohalarda fine-tuning
  • Multi-modal kengaytmalar (agar jamiyat qiziqish bildirsa)

📜 Litsenziya

Apache 2.0 - Tijorat va tadqiqot foydalanish uchun bepul.

To'liq shartlar uchun LICENSE ga qarang.

⭐ Agar Sizga Bu Model Yoqsa

  • HuggingFace da ⭐ qo'ying
  • Natijalaringiz va foydalanish holatlaringizni baham ko'ring
  • Benchmarklar yoki yaxshilanishlarga hissa qo'shing
  • Tadqiqot yoki loyihalaringizda iqtibos keltiring
  • Yangilanishlar va yangi relizlar uchun kuzatib boring

🇺🇿 Samaradorlik Orqali O'zbek NLP'ni Demokratlashtirish! 🚀

AIni eng muhim joylarda qulay qilish

HuggingFace • LinkedIn • Jamiyat