---
base_model: unsloth/qwen3-4b-instruct-2507-unsloth-bnb-4bit
tags:
- text-generation-inference
- transformers
- unsloth
- qwen3
- mmlu
- evaluation
license: cc-by-nc-4.0
language:
- tr
datasets:
- gururaser/ithaki-bilimkurgu-klasikleri
- alibayram/yapay_zeka_turkce_mmlu_model_cevaplari
---

# Qwen3 4B Bilimkurgu - Türkçe MMLU Benchmark & Model Kartı

- **Geliştirici:** [gururaser](https://huggingface.co/gururaser)
- **Lisans:** cc-by-nc-4.0
- **Eğitildiği Taban Model:** unsloth/qwen3-4b-instruct-2507-unsloth-bnb-4bit
- **Eğitim Veri Seti:** [gururaser/ithaki-bilimkurgu-klasikleri](https://huggingface.co/datasets/gururaser/ithaki-bilimkurgu-klasikleri)

---

## 📈 Türkçe MMLU Benchmark Test Sonuçları

Model, [alibayram/yapay_zeka_turkce_mmlu_model_cevaplari](https://huggingface.co/datasets/alibayram/yapay_zeka_turkce_mmlu_model_cevaplari) test veri kümesi kullanılarak Türkçe MMLU benchmark değerlendirmesine tabi tutulmuştur.

### 📊 Türkçe MMLU Benchmark Karşılaştırma Tablosu

| Model Türü | Model Adı | Genel Başarı (%) | Doğru / Toplam Soru | Test Süresi (sn) |
|---|---|---|---|---|
| Base Model | `unsloth/qwen3-4b-instruct-2507-unsloth-bnb-4bit` | **%26.21** | 1625 / 6200 | 218.4s |
| Fine-Tuned Model | `gururaser/qwen3-4b-bilimkurgu` | **%34.35** | 2130 / 6200 | 251.23s |


### 🧪 Test Metodolojisi ve Detaylar
- **Değerlendirme Scripti:** `alibayram/yapay_zeka_turkce_mmlu_bolum_sonuclari/olcum.py` mantığı temel alınmıştır.
- **Anlamsal Karşılaştırma:** `paraphrase-multilingual-mpnet-base-v2` modeli ile şık eşleştirme ve opsiyonel harf eşleme.
- **Ortam:** Google Colab A100 GPU (4-bit NF4 Quantization)
- **Test Seti:** alibayram/yapay_zeka_turkce_mmlu_model_cevaplari

["<img src="https://raw.githubusercontent.com/unslothai/unsloth/main/images/unsloth%20made%20with%20love.png" width="200"/>"](https://github.com/unslothai/unsloth)