---
license: mit
language:
- tr
base_model:
- ytu-ce-cosmos/Turkish-Gemma-9b-T1
pipeline_tag: text-classification
---
# website:https://kairaaiv2.netlify.app
# Turkish-Gemma-9B-T1 – GGUF (Q4_K_M)
**Yayıncı:** Umut Kökgöz (@umutkkgz)  
**Taban model:** `ytu-ce-cosmos/Turkish-Gemma-9b-T1` (Gemma 2 tabanlı Türkçe sürüm)  
**Biçim:** GGUF – `Q4_K_M` (yaklaşık 5–6 GB)

## Özet
Bu repo, Türkçe Gemma 9B T1 modelinin **llama.cpp uyumlu** ve **hafif** (`Q4_K_M`) sürümünü içerir.  
Hedef: 8–12 GB VRAM ile hızlı inference.

## Dosyalar
- `Turkish-Gemma-9B-T1-q4_K_M.gguf` – quantized GGUF

## Kullanım (llama.cpp)
```bash
# (opsiyonel) CUDA'lı derleme
cmake -S llama.cpp -B build -DLLAMA_CUBLAS=ON && cmake --build build -j

# Çalıştırma (CPU)
./build/bin/llama-cli \\
  -m Turkish-Gemma-9B-T1-q4_K_M.gguf \\
  -n 200 -temp 0.7 -top_p 0.9 -repeat_penalty 1.05 \\
  -p "Türkçe kısa özet: Gemma ve LLaMA arasındaki farkları 3 maddede açıkla."

# GPU offload (ör. 20 katman)
./build/bin/llama-cli -m Turkish-Gemma-9B-T1-q4_K_M.gguf -n 200 -ngl 20 -p "..."