Image-to-Text
Transformers
Safetensors
Turkish
English
llava_mistral
text-generation
llava
llava-med
turkish
translation
vqa
mistral
medical
radiology
multimodal
8-bit precision
bitsandbytes
# Load model directly
from transformers import AutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained("nezahatkorkmaz/turkish-llava-med-pipeline-v1.5-mistral-7b", dtype="auto")Quick Links
🇹🇷 Turkish LLaVA-Med Pipeline (v1.5 - Mistral 7B)
Bu model, Microsoft tarafından geliştirilen LLaVA-Med v1.5 (Mistral 7B) mimarisini temel alır ve Türkçe dil desteği ile tıbbi görüntüler üzerinden görsel soru-cevaplama (VQA) gerçekleştirmek üzere özelleştirilmiştir.
🧠 Özellikler
- Görüntü tabanlı analiz (X-ray, MR, vb.)
- Türkçe soru desteği
- Türkçe cevap üretimi (çeviri katmanlı)
- Hugging Face üzerinde demo arayüzü desteği (Gradio)
🚀 Kullanım
Starter Colab Notebook : https://colab.research.google.com/drive/1HsWo9g18r1EfKFMh0RcgZgrotoIIcThK?usp=sharing
from transformers import AutoModelForCausalLM, AutoTokenizer, CLIPImageProcessor
import torch
model = AutoModelForCausalLM.from_pretrained("nezahatkorkmaz/turkish-llava-med-pipeline-v1.5-mistral-7b", torch_dtype=torch.float16).to("cuda")
tokenizer = AutoTokenizer.from_pretrained("nezahatkorkmaz/turkish-llava-med-pipeline-v1.5-mistral-7b")
image_processor = CLIPImageProcessor.from_pretrained("nezahatkorkmaz/turkish-llava-med-pipeline-v1.5-mistral-7b")
📋 Örnek Soru
Görsel: Akciğer röntgeni
Soru: "Bu görüntüde kalp büyümesi var mı?"
Yanıt: "Evet, bu görüntüde kardiyomegali (kalp büyümesi) bulguları vardır."
Geliştirici: @nezahatkorkmaz
Model Orijinali: microsoft/llava-med-v1.5-mistral-7b
- Downloads last month
- 4
# Use a pipeline as a high-level helper # Warning: Pipeline type "image-to-text" is no longer supported in transformers v5. # You must load the model directly (see below) or downgrade to v4.x with: # 'pip install "transformers<5.0.0' from transformers import pipeline pipe = pipeline("image-to-text", model="nezahatkorkmaz/turkish-llava-med-pipeline-v1.5-mistral-7b")