uonlp/CulturaX
Viewer • Updated • 7.18B • 33k • 625
How to use kayrab/turkish-gpt2-medium-ytu-ce with Transformers:
# Use a pipeline as a high-level helper
from transformers import pipeline
pipe = pipeline("text-generation", model="kayrab/turkish-gpt2-medium-ytu-ce") # Load model directly
from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("kayrab/turkish-gpt2-medium-ytu-ce")
model = AutoModelForCausalLM.from_pretrained("kayrab/turkish-gpt2-medium-ytu-ce")How to use kayrab/turkish-gpt2-medium-ytu-ce with vLLM:
# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "kayrab/turkish-gpt2-medium-ytu-ce"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/completions" \
-H "Content-Type: application/json" \
--data '{
"model": "kayrab/turkish-gpt2-medium-ytu-ce",
"prompt": "Once upon a time,",
"max_tokens": 512,
"temperature": 0.5
}'docker model run hf.co/kayrab/turkish-gpt2-medium-ytu-ce
How to use kayrab/turkish-gpt2-medium-ytu-ce with SGLang:
# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
--model-path "kayrab/turkish-gpt2-medium-ytu-ce" \
--host 0.0.0.0 \
--port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/completions" \
-H "Content-Type: application/json" \
--data '{
"model": "kayrab/turkish-gpt2-medium-ytu-ce",
"prompt": "Once upon a time,",
"max_tokens": 512,
"temperature": 0.5
}'docker run --gpus all \
--shm-size 32g \
-p 30000:30000 \
-v ~/.cache/huggingface:/root/.cache/huggingface \
--env "HF_TOKEN=<secret>" \
--ipc=host \
lmsysorg/sglang:latest \
python3 -m sglang.launch_server \
--model-path "kayrab/turkish-gpt2-medium-ytu-ce" \
--host 0.0.0.0 \
--port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/completions" \
-H "Content-Type: application/json" \
--data '{
"model": "kayrab/turkish-gpt2-medium-ytu-ce",
"prompt": "Once upon a time,",
"max_tokens": 512,
"temperature": 0.5
}'How to use kayrab/turkish-gpt2-medium-ytu-ce with Docker Model Runner:
docker model run hf.co/kayrab/turkish-gpt2-medium-ytu-ce
This is a fine-tuned version of the ytu-ce-cosmos/turkish-gpt2-medium model for Yıldız Technical University Computer Engineering Department. Can answer specific questions about faculty members and courses. As the dataset grows, it will give better results.
from transformers import AutoTokenizer, GPT2LMHeadModel
from transformers import pipeline
def generate_text(model,prompt_text, max_length=100):
encoded_input = tokenizer.encode(prompt_text, return_tensors='pt', padding=True, truncation=True, max_length=max_length).to(device)
output_sequences = model.generate(
input_ids=encoded_input,
max_length=max_length + 20,
temperature=1.0,
top_k=50,
top_p=0.95,
repetition_penalty=1.2,
do_sample=True,
num_return_sequences=1
)
generated_text = tokenizer.decode(output_sequences[0], skip_special_tokens=True)
return generated_text.replace(prompt_text, "")
tokenizer = AutoTokenizer.from_pretrained("kayrab/turkish-gpt2-medium-ytu-ce")
model = AutoModelForCausalLM.from_pretrained("kayrab/turkish-gpt2-medium-ytu-ce")
model.to(device)
while True:
prompt = input("Soru: ")
if prompt.lower() == "q":
break
prompt = f"{tokenizer.additional_special_tokens[0]} {prompt} {tokenizer.additional_special_tokens[1]}"
generated_text = generate_text(model, prompt)
print("Cevap:", generated_text)
"""
Soru: Mehmet Fatih Amasyalı'nın ders anlatımı nasıldır
Cevap: dersleri güzel anlatır ve anlattığı konuların gerçek hayat ve sektördeki uygulamaları hakkında bilgi verir
Soru: Mehmet Fatih Amasyalı'nın ders anlatımı nasıldır
Cevap: bilim aşkıyla yanıp tutuşan bir hoca olarak verdiği derslerde işin bilimsel mantığını öğretir ve sınavları kalitelidir
Soru: Banu Diri'nin ders anlatımı nasıldır
Cevap: dersleri çok eğlenceli anlatır öğrenciler tarafından tavsiye edilir
Soru: Burak hoca öğrencilerle nasıl anlaşır
Cevap: öğrencilere yardım etmekte istekli ve güler yüzlüdür en iyi araştırma görevlisi olarak öne çıkar
Soru: ahmet elbir nasıl ders anlatır
Cevap: dersi öğretmek için ekstra gayret gösterir ve öğrencilerin öğrenmesini önemser
Soru: Burak hoca öğrencilerle nasıl anlaşır
Cevap: öğrencilerle en iyi empati yapan hocalardan biridir her konuda yardımcı olmaya çalışır
"""
Base model
ytu-ce-cosmos/turkish-gpt2-medium