CPU optimizasyonu: thread sayısı, girdiye bağlı token sınırı, ısınma, süre göstergesi

app.py

@@ -5,7 +5,9 @@ Model uçtan uca çalışır: metni alır, maskelenmiş metni döndürür.
 ve kullanıcıya ayrıca gösterilir — ham model davranışı gizlenmez.
 """
 
+import os
 import re
+import time
 
 import gradio as gr
 import torch
@@ -49,6 +51,9 @@ TALIMATLAR = {
     "Serbest (aşağıya yaz)": "",
 }
 
+# cpu-basic'te varsayılan thread sayısı düşük kalabiliyor.
+torch.set_num_threads(os.cpu_count() or 2)
+
 print("Model yükleniyor…")
 tokenizer = AutoTokenizer.from_pretrained(MODEL_ADI)
 model = AutoModelForCausalLM.from_pretrained(
@@ -57,11 +62,13 @@ model = AutoModelForCausalLM.from_pretrained(
     device_map="auto",
 ).eval()
 IM_END_ID = tokenizer.convert_tokens_to_ids(IM_END)
-print("Hazır. Cihaz:", next(model.parameters()).device)
+CIHAZ = next(model.parameters()).device
+print("Cihaz:", CIHAZ, "· thread:", torch.get_num_threads())
 
 
 @torch.inference_mode()
 def maskele(metin, talimat):
+    """Maskelenmiş metni ve geçen süreyi döndürür."""
     mesajlar = [
         {"role": "system", "content": talimat},
         {"role": "user", "content": metin},
@@ -71,16 +78,27 @@ def maskele(metin, talimat):
         enable_thinking=False,
     )
     girdi = tokenizer(prompt, return_tensors="pt",
-                      add_special_tokens=False).to(model.device)
+                      add_special_tokens=False).to(CIHAZ)
+
+    # Çıktı girdiyle yaklaşık aynı uzunlukta: maskeleme metni yeniden yazmaz,
+    # yalnızca bazı parçaları etiketle değiştirir. Sabit 320 yerine girdiye
+    # bağlı sınır, model <|im_end|> üretmezse boşa dönmeyi engeller.
+    girdi_uzunlugu = girdi["input_ids"].shape[1]
+    sinir = min(256, max(48, girdi_uzunlugu + 24))
+
+    baslangic = time.time()
     cikti = model.generate(
         **girdi,
-        max_new_tokens=320,
+        max_new_tokens=sinir,
         do_sample=False,               # maskeleme belirlenimci olmalı
         eos_token_id=IM_END_ID,
         pad_token_id=tokenizer.pad_token_id,
+        use_cache=True,
     )
-    yeni = cikti[0, girdi["input_ids"].shape[1]:]
-    return tokenizer.decode(yeni, skip_special_tokens=True).strip()
+    sure = time.time() - baslangic
+
+    yeni = cikti[0, girdi_uzunlugu:]
+    return tokenizer.decode(yeni, skip_special_tokens=True).strip(), sure
 
 
 def calistir(metin, secim, serbest_talimat):
@@ -93,7 +111,7 @@ def calistir(metin, secim, serbest_talimat):
     if not talimat:
         talimat = TALIMATLAR["Tam maskeleme"]
 
-    cikti = maskele(metin, talimat)
+    cikti, sure = maskele(metin, talimat)
 
     etiketler = ETIKET_RE.findall(cikti)
     uydurma = sorted({e for e in etiketler if e not in GECERLI_ETIKETLER})
@@ -106,6 +124,7 @@ def calistir(metin, secim, serbest_talimat):
             sayim[e] = sayim.get(e, 0) + 1
         ozet = "Maskelenen: " + ", ".join(
             f"{e}×{n}" if n > 1 else e for e, n in sorted(sayim.items()))
+    ozet += f"   ·   {sure:.1f} sn"
 
     if uydurma:
         uyari = (
@@ -121,6 +140,14 @@ def calistir(metin, secim, serbest_talimat):
     return cikti, ozet, uyari
 
 
+# İlk gerçek istek, lazy başlatma yüzünden ekstra yavaş oluyor.
+# Başlangıçta kısa bir üretim yaparak o maliyeti kullanıcıdan alıyoruz.
+print("Isınma…")
+_t = time.time()
+maskele("tel 0532 111 22 33", TALIMATLAR["Tam maskeleme"])
+print(f"Isınma bitti: {time.time() - _t:.1f} sn")
+
+
 ORNEKLER = [
     ["müşteri Ahmet Yıldız 0542 321 45 67 numarasından aradı, "
      "iade hesabı TR12 0001 2000 0034 5678 9012 34", "Tam maskeleme", ""],
@@ -149,6 +176,10 @@ altında farklı maskelenir.
 
 Model [melikegks/turkish-pii-guard-0.8b](https://huggingface.co/melikegks/turkish-pii-guard-0.8b)
 
+⏱️ Bu demo ücretsiz CPU'da çalışıyor; bir maskeleme **15-30 saniye** sürer.
+Model 0.8B parametreli ve her token için tüm ağırlıkları okuması gerekiyor —
+GPU'da aynı işlem yarım saniyeden kısa.
+
 **Not:** Buraya gerçek kişisel veri girme. Değerlendirme tamamen sentetik veriyle
 yapılmıştır; gerçek metindeki performans ölçülmemiştir.
 """