seali/gemma3-4b-turkce-saglik-lora

Gemma 3 4B — Türkçe Sağlık LoRA Adaptörü

unsloth/gemma-3-4b-it modelinin Türkçe sağlık soru-cevap veri setiyle eğitilmiş LoRA adaptörü. Model, soruyu önce <think> bloğunda muhakeme eder, ardından cevabı verir.

Kullanım

from unsloth import FastModel
from unsloth.chat_templates import get_chat_template

model, tokenizer = FastModel.from_pretrained(
    "seali/gemma3-4b-turkce-saglik-lora",
    max_seq_length=4096,
    load_in_4bit=True,
)
FastModel.for_inference(model)
tokenizer = get_chat_template(tokenizer, chat_template="gemma-3")

system = (
    "Sen Türkçe konuşan bir sağlık bilgilendirme asistanısın. Genel tıbbi "
    "bilgi verirsin; teşhis koymaz, ilaç veya doz önermezsin."
)
messages = [{
    "role": "user",
    "content": [{"type": "text", "text": f"{system}\n\nTip 2 diyabet nedir?"}],
}]
inputs = tokenizer.apply_chat_template(
    messages, add_generation_prompt=True, tokenize=True,
    return_tensors="pt", return_dict=True,
).to("cuda")

outputs = model.generate(**inputs, max_new_tokens=1200, temperature=1.0,
                         top_p=0.95, top_k=64)
print(tokenizer.decode(outputs[0][inputs["input_ids"].shape[1]:],
                       skip_special_tokens=True))

Üretim sırasında max_new_tokens değerinin yeterince büyük olması gerekir: muhakeme bloğu tek başına yaklaşık 800 token tutuyor, cevabın da sığması için en az 1200 önerilir.

Eğitim

Temel model	unsloth/gemma-3-4b-it (4-bit)
Yöntem	LoRA, r=16, alpha=32, dropout=0
Hedef katmanlar	dil katmanlarındaki dikkat ve MLP izdüşümleri
Veri	seali/turkce-saglik-qa — 773 örnek
Epoch	2
Öğrenme oranı	2e-4, doğrusal azalan
Toplu boyut	1 × 8 gradyan biriktirme
Bağlam	4096 token
Kayıp	yalnızca asistan cevabı üzerinden (train_on_responses_only)
Süre / donanım	52 dakika, RTX 4070 Laptop 8 GB (tepe 6,2 GB)
Son eğitim kaybı	0,63

Eğitim Unsloth'un resmî Gemma 3 (4B) notebook'u temel alınarak yapılmıştır.

MMLU Benchmark (Türkçe)

Model, alibayram/yapay_zeka_turkce_mmlu veri setinin tamamı (6200 soru, 62 bölüm) üzerinde ölçüldü. Değerlendirme mantığı ve prompt biçimi resmî ölçüm koduyla aynıdır; yalnızca çıkarım ollama yerine unsloth ile deterministik (greedy) yapılmıştır.

Model	Doğru	Toplam	Başarı
Temel model (gemma-3-4b-it)	3582	6200	%57.77
Bu LoRA adaptörü	3276	6200	%52.84
Fark			▼ 4.93 puan

Fine-tune, genel bilgi başarısını bir miktar düşürdü. Bu beklenen bir sonuçtur: eğitim, modeli dar bir Türkçe sağlık soru-cevap dağılımına ve belirli bir cevap üslubuna (önce <think> muhakemesi, sonra rehber üslubunda cevap) kaydırdı. MMLU ise geniş, çok alanlı bir genel yetenek testidir ve eğitim bu yeteneği hedeflemedi.

Bölüm bazında en çok değişen konular

En çok gerileyen:

Bölüm	Temel	LoRA	Fark
Ev İdaresi	%64.0	%50.0	-14.0
Halkla İlişkiler ve Tanıtım	%64.0	%51.0	-13.0
Özel Koruma ve Güvenlik	%62.0	%49.0	-13.0
Parakende Satış ve Mağaza Yöneticiliği	%63.0	%52.0	-11.0
Sağlık Kurumları İşletmeciliği	%66.0	%55.0	-11.0

En çok ilerleyen:

Bölüm	Temel	LoRA	Fark
Tarım	%44.0	%50.0	+6.0
Siyer	%45.0	%50.0	+5.0
Elektrik Enerjisi Üretim,İletim ve Dağıtımı	%54.0	%58.0	+4.0
Futbol	%54.0	%57.0	+3.0
Muhasebe ve Vergi Uygulamaları	%58.0	%60.0	+2.0

Sağlık Danışmanı Benchmark (Özel)

Genel MMLU'nun aksine, bu bölüm modelin fine-tune edildiği senaryoya özel bir test: seali/turkce-saglik-benchmark — eğitim setinde hiç kullanılmamış 112 soruluk çoktan seçmeli (A-D) bir Türkçe sağlık bilgisi seti (12'si elle yazılmış). 5 farklı modelle karşılaştırıldı:

Model	Başarı	Doğru/Toplam
Temel model (gemma-3-4b-it)	%73.21	82/112
Bu LoRA adaptörü	%73.21	82/112
llama3.1:8b (ollama)	%70.54	79/112
qwen2.5:3b (ollama)	%62.5	70/112
qwen2.5-coder:1.5b-base (ollama, temel/instruct değil)	%24.11	27/112

LoRA adaptörü ile temel model arasındaki fark: — 0.0 puan — MMLU'daki genel bilgi kaybının aksine, hedef alanda (Türkçe sağlık bilgisi) fine-tune performansı düşürmedi; konu bazında farklı yönlere kaydırdı (aşağıya bakınız).

Konu bazında temel model — LoRA farkı

Konu	Temel	LoRA	Fark
fiziksel_aktivite	%100.0	%80.0	-20.0
obezite	%88.89	%77.78	-11.11
diyabet	%72.22	%66.67	-5.55
anne_bebek	%70.0	%70.0	0.0
cocuk_ergen	%50.0	%50.0	0.0
diger	%100.0	%100.0	0.0
kronik_hastalik	%70.0	%70.0	0.0
ruh_sagligi	%100.0	%100.0	0.0
enfeksiyon	%80.95	%85.71	+4.76
beslenme	%60.87	%69.57	+8.7

Sınırlamalar

Bu adaptör bir eğitim çalışmasıdır ve üretim ortamı için uygun değildir. Bilinen kusurları:

• Tıbbi olarak yanlış bilgi üretebilir. Test sırasında model, eğitim verisinde bulunmayan konularda kendinden emin ama hatalı cevaplar verdi (örneğin grip aşısı takvimi hakkında uydurma bilgi).
• Alan dışı soruları reddetmez. Sağlıkla ilgisi olmayan bir soru sorulduğunda konuyu sağlık alanına bağlayıp cevap üretmeye çalışır. Eğitim verisinde reddetme örneği bulunmuyor.
• Acil durumları öncelemez. Acil müdahale gerektiren bir tarif karşısında kısa ve yönlendirici değil, uzun ve bilgilendirici cevap verir.
• Eğitim verisindeki sorular şablonla üretildiği için doğal konuşma diline uzaktır; model de benzer üslupta cevap verme eğilimindedir.

Bu model tıbbi tavsiye vermez ve klinik amaçla kullanılmamalıdır.

Lisans

Temel model Gemma lisansına tabidir; adaptörün kullanımı da bu lisansa bağlıdır. Eğitim verisi T.C. Sağlık Bakanlığı'nın kamuya açık yayınlarından türetilmiştir.

Katkı ve İletişim

seali tarafından hazırlanmıştır.