gumush/turkish-finance-llama3.1-8b-mlx-4bit

Turkish Finance Llama 3.1 8B - MLX 4-Bit

gumush/turkish-finance-llama3.1-8b-lora modelinin Apple Silicon için MLX formatına dönüştürülmüş ve 4-bit quantize edilmiş halidir.

Türkçe finansal piyasalar için özel olarak fine-tune edilmiştir: kripto para, borsa, teknik analiz, temel analiz, risk yönetimi ve finansal regülasyonlar.

4-Bit vs 8-Bit Karşılaştırma

Özellik	4-Bit (Bu Model)	8-Bit
Boyut	~4.2 GB	~8.5 GB
RAM Kullanımı	Düşük	Orta
Yanıt Kalitesi	İyi	Daha iyi
Hız	Daha hızlı	Hızlı
Minimum RAM	8 GB	16 GB

Ne zaman 4-bit? RAM kısıtlı ortamlarda (8GB Mac) veya hız öncelikli kullanımda. Ne zaman 8-bit? Yanıt kalitesi kritik olduğunda ve yeterli RAM varsa (16GB+).

Model Detayları

Özellik	Değer
Orijinal Model	gumush/turkish-finance-llama3.1-8b-lora
Base Model	meta-llama/Llama-3.1-8B-Instruct
Parametre	8B
Quantization	4-bit (MLX)
Eğitim Yöntemi	QLoRA (4-bit) + SFT
Dil	Türkçe
Uzmanlık	Finans, Kripto, Borsa, Teknik/Temel Analiz
Lisans	MIT
Platform	Apple Silicon (M1/M2/M3/M4)
Dönüştürücü	mlx-lm

---

Gereksinimler

• Apple Silicon Mac (M1, M2, M3, M4)
• macOS 13.5 veya üzeri
• Python 3.10+

pip install mlx-lm

---

Kullanım

Hızlı Başlangıç (CLI)

mlx_lm.generate \
    --model gumush/turkish-finance-llama3.1-8b-mlx-4bit \
    --prompt "Teknik analizde RSI indikatörü nedir?" \
    --max-tokens 512

Python ile Kullanım

from mlx_lm import load, generate

model, tokenizer = load("gumush/turkish-finance-llama3.1-8b-mlx-4bit")

SYSTEM_PROMPT = """Sen Türkiye finansal piyasaları konusunda uzmanlaşmış bir yapay zeka asistanısın.
Görevin kullanıcılara doğru, güncel ve anlaşılır finansal bilgi sağlamaktır.
SADECE doğruluğundan emin olduğun bilgileri paylaş.
ASLA uydurma terim, kurum veya düzenleme oluşturma.
Her finansal bilgi içeren yanıtın sonunda şu uyarıyı ekle:
'Bu bilgiler genel niteliktedir, yatırım tavsiyesi değildir.
Kararlarınızdan önce lisanslı bir yatırım danışmanına başvurmanız önerilir.'"""

messages = [
    {"role": "system", "content": SYSTEM_PROMPT},
    {"role": "user", "content": "Teknik analizde RSI indikatörü nedir ve nasıl yorumlanır?"}
]

prompt = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True,
)

response = generate(
    model,
    tokenizer,
    prompt=prompt,
    max_tokens=512,
    temp=0.7,
    top_p=0.9,
)
print(response)

Chat Modu ile Kullanım

from mlx_lm import load, stream_generate

model, tokenizer = load("gumush/turkish-finance-llama3.1-8b-mlx-4bit")

SYSTEM_PROMPT = "Sen Türkiye finansal piyasaları konusunda uzmanlaşmış bir yapay zeka asistanısın."

while True:
    user_input = input("\nSoru: ")
    if user_input.lower() in ["çık", "exit", "q"]:
        break

    messages = [
        {"role": "system", "content": SYSTEM_PROMPT},
        {"role": "user", "content": user_input}
    ]

    prompt = tokenizer.apply_chat_template(
        messages,
        tokenize=False,
        add_generation_prompt=True,
    )

    print("\nYanıt: ", end="", flush=True)
    for token in stream_generate(model, tokenizer, prompt=prompt, max_tokens=512, temp=0.7):
        print(token, end="", flush=True)
    print()

MLX-LM Server (OpenAI Uyumlu API)

mlx_lm.server --model gumush/turkish-finance-llama3.1-8b-mlx-4bit --port 8080

from openai import OpenAI

client = OpenAI(base_url="http://localhost:8080/v1", api_key="not-needed")

response = client.chat.completions.create(
    model="gumush/turkish-finance-llama3.1-8b-mlx-4bit",
    messages=[
        {"role": "system", "content": "Sen Türkiye finansal piyasaları konusunda uzmanlaşmış bir yapay zeka asistanısın."},
        {"role": "user", "content": "BIST 100 endeksi nedir?"}
    ],
    temperature=0.7,
    max_tokens=512,
)
print(response.choices[0].message.content)

---

Örnek Sorular

Kripto Para

• "Bitcoin halving döngüsü nedir ve fiyata nasıl etki eder?"
• "DeFi protokollerinde TVL metriği neden önemlidir?"
• "Ethereum'daki EIP-1559 güncellemesi tokenomics'i nasıl etkiledi?"

Borsa

• "BIST 100 endeksinde ağırlık hesaplaması nasıl yapılır?"
• "Hisse senedi seçerken temel analiz için hangi oranlara bakılmalı?"
• "Temettü yatırımı stratejisi nasıl uygulanır?"

Teknik Analiz

• "RSI göstergesi 70 üzerindeyken ne anlama gelir?"
• "MACD indikatörü nasıl yorumlanır?"
• "Fibonacci geri çekilme seviyeleri nasıl kullanılır?"

Risk Yönetimi

• "Portföy çeşitlendirmesi nasıl yapılır?"
• "Stop-loss emirleri nasıl kullanılmalı?"
• "Pozisyon büyüklüğü nasıl hesaplanır?"

---

Uzmanlık Alanları

• Kripto Para Ekosistemi: Bitcoin, Ethereum, altcoinler, DeFi, Layer 2, NFT, stablecoinler
• Borsa: BIST 100, NASDAQ, global piyasalar, ETF'ler, opsiyon stratejileri
• Teknik Analiz: Grafik formasyonları, RSI, MACD, Bollinger Bands, Ichimoku, Elliott Wave, Fibonacci
• Temel Analiz: F/K, PD/DD, finansal tablo analizi, DCF değerleme, tokenomics
• Risk Yönetimi: Portföy optimizasyonu, pozisyon boyutlandırma, hedging
• Regülasyon: SPK, TCMB, BDDK, TMSF düzenlemeleri, vergilendirme

---

Sınırlamalar

1. Yatırım Tavsiyesi Değildir: Yalnızca eğitim ve bilgilendirme amacıdır
2. Veri Kesimi: Tarihsel veri üzerinde eğitilmiştir, canlı fiyat bilgisi içermez
3. Yüksek Risk: Kripto ve hisse senedi yatırımları önemli risk taşır
4. Düzenleme Değişiklikleri: Finansal düzenlemeler sık değişir, resmi kaynaklardan teyit edin
5. Doğrulama Gerekli: Yanıtları birden fazla kaynakla çapraz kontrol edin
6. Platform: Sadece Apple Silicon Mac'lerde çalışır (CUDA/NVIDIA desteklemez)
7. Quantization Etkisi: 4-bit quantization nedeniyle 8-bit versiyona kıyasla küçük doğruluk kayıpları olabilir

---

Teşekkürler

• Alican Kiraz — Turkish-Finance-SFT-Dataset veri setini oluşturup açık kaynak olarak paylaştığı için teşekkür ederiz. Ayrıca Mihenk-LLM çalışmaları Türkçe finans LLM ekosistemi için önemli bir referans olmuştur.
• Meta AI — Llama 3.1 base modelini açık kaynak olarak sunduğu için.
• Apple MLX Team — MLX framework ve mlx-lm kütüphanesi için.
• Unsloth — Hızlı ve verimli fine-tuning altyapısı için.
• Hugging Face — TRL, Transformers ve PEFT kütüphaneleri için.

---

Referanslar

@dataset{turkish-finance-sft,
  author = {Alican Kiraz},
  title = {Turkish-Finance-SFT-Dataset},
  year = {2026},
  publisher = {HuggingFace},
  url = {https://huggingface.co/datasets/AlicanKiraz0/Turkish-Finance-SFT-Dataset}
}

@model{llama3.1,
  author = {Meta AI},
  title = {Llama 3.1},
  year = {2024},
  publisher = {Meta},
  url = {https://huggingface.co/meta-llama/Llama-3.1-8B-Instruct}
}

@software{mlx,
  author = {Apple},
  title = {MLX: An array framework for Apple silicon},
  year = {2023},
  publisher = {GitHub},
  url = {https://github.com/ml-explore/mlx}
}

---

İlgili Modeller

Model	Format	Platform	Açıklama
turkish-finance-llama3.1-8b-lora	LoRA	CUDA/CPU	Orijinal LoRA adapter (Transformers/Unsloth)
turkish-finance-llama3.1-8b-lora-GGUF	GGUF	Tüm platformlar	Q4_K_M quantized (llama.cpp/Ollama)
turkish-finance-llama3.1-8b-mlx-8bit	MLX	Apple Silicon	8-bit quantized (mlx-lm)
turkish-finance-llama3.1-8b-mlx-4bit	MLX	Apple Silicon	Bu model — 4-bit quantized (mlx-lm)

---

İletişim

• HuggingFace: gumush

---

Lisans

MIT — Bu model MIT lisansı altında dağıtılmaktadır. Base model (Llama 3.1) Meta'nın Llama lisansı koşullarına tabidir. Dataset (Turkish-Finance-SFT-Dataset) MIT lisansı altındadır.