Instructions to use TilQazyna/Til-Core-0.5B-Instruct with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use TilQazyna/Til-Core-0.5B-Instruct with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-generation", model="TilQazyna/Til-Core-0.5B-Instruct")

# Load model directly
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("TilQazyna/Til-Core-0.5B-Instruct")
model = AutoModelForCausalLM.from_pretrained("TilQazyna/Til-Core-0.5B-Instruct", device_map="auto")

Notebooks
Google Colab
Kaggle
Local Apps Settings

vLLM

How to use TilQazyna/Til-Core-0.5B-Instruct with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "TilQazyna/Til-Core-0.5B-Instruct"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "TilQazyna/Til-Core-0.5B-Instruct",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Use Docker

docker model run hf.co/TilQazyna/Til-Core-0.5B-Instruct

SGLang

How to use TilQazyna/Til-Core-0.5B-Instruct with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "TilQazyna/Til-Core-0.5B-Instruct" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "TilQazyna/Til-Core-0.5B-Instruct",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "TilQazyna/Til-Core-0.5B-Instruct" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "TilQazyna/Til-Core-0.5B-Instruct",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Docker Model Runner
How to use TilQazyna/Til-Core-0.5B-Instruct with Docker Model Runner:
```
docker model run hf.co/TilQazyna/Til-Core-0.5B-Instruct
```

You need to agree to share your contact information to access this model

This repository is publicly accessible, but you have to accept the conditions to access its files and content.

Бұл репозиторийге қолжетімділік өтінім бойынша беріледі. Өзіңіз туралы және деректерді қалай қолданатыңыз туралы жазыңыз — өтінімді TilQazyna командасы қарайды. · Доступ к репозиторию выдаётся по заявке. Расскажите о себе и о том, как собираетесь использовать данные — заявку рассматривает команда TilQazyna. · Access to this repository is granted on request. Tell us who you are and how you plan to use the material; the TilQazyna team reviews each application.

Til-Core-0.5B-Instruct

Қазақша нұсқауларды орындайтын тіл моделі · Модель для инструкций на казахском языке · Instruction-following model for Kazakh

Қазақша · Русский · English

Қазақша

Til-Core-0.5B-Instruct — қазақ тіліндегі нұсқауларға жауап беретін 498M параметрлі модель. Репозиторий көлемі — 2.02 ГБ; модель Til-Core-0.5B негізінде supervised fine-tune әдісімен бейімделген.

Модель Alpaca пішіміндегі бір айналымды тапсырмаларға арналған. Ол қазақша мәтін құрастырады және берілген жауап пішімін ұстанады, бірақ дәл дерек қажет міндеттерде қате мәлімет шығаруы мүмкін.

Құрылымы мен үйрету

Сипаттама	Мәні
Архитектура	Qwen2ForCausalLM
Параметр саны	498M
Жасырын қабат өлшемі	896
Қабат саны	18
Attention басы	14
Сөздік	256000 токен
Контекст ұзындығы	32768 токен
Үйрету мысалы	52,201
Epoch	3
Қорытынды train loss	3.12

Үйретуде жауап бөлігіне ғана loss есептелген. Бұл нұсқа RLHF немесе DPO кезеңінен өтпеген және көп айналымды chat үшін бапталмаған. Нәтижені факті көзі ретінде қолданар алдында тексеру қажет.

Сұрау пішімі

Модель нұсқауды ### Нұсқаулық: белгісінен кейін, ал жауаптың басталуын ### Жауап: белгісімен күтеді. Қосымша кіріс болса, ол ### Кіріс: бөлігіне жазылады.

Іске қосу

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

repo = "TilQazyna/Til-Core-0.5B-Instruct"
tokenizer = AutoTokenizer.from_pretrained(repo)
model = AutoModelForCausalLM.from_pretrained(
    repo, dtype=torch.bfloat16, device_map="auto"
).eval()

prompt = "### Нұсқаулық:\nДені сау болу үшін үш кеңес беріңіз.\n\n### Жауап:\n"
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
output = model.generate(**inputs, max_new_tokens=120, do_sample=True, temperature=0.7, top_p=0.9)
answer = output[0][inputs["input_ids"].shape[1]:]
print(tokenizer.decode(answer, skip_special_tokens=True))

Қолжетімділік

Репозиторий карточкасы мен файлдар тізімі баршаға көрінеді. Файлдарды жүктеу үшін «Request access» батырмасы арқылы өтінім жіберіледі; оны TilQazyna командасы қарайды.

Байланысты репозиторийлер

Базалық checkpoint — Til-Core-0.5B. Supervised fine-tune деректерінің TilQazyna жинағы — Til-Instruct.

Русский

Til-Core-0.5B-Instruct — модель на 498M параметров для выполнения инструкций на казахском языке. Репозиторий занимает 2.02 ГБ; модель получила supervised fine-tune поверх Til-Core-0.5B.

Модель рассчитана на одношаговые задания в формате Alpaca. Она генерирует казахский текст и соблюдает заданный формат ответа, но может ошибаться в задачах, где нужна точная фактическая информация.

Устройство и обучение

Характеристика	Значение
Архитектура	Qwen2ForCausalLM
Параметров	498M
Размер скрытого слоя	896
Слоёв	18
Голов attention	14
Словарь	256000 токенов
Длина контекста	32768 токенов
Обучающих примеров	52,201
Epoch	3
Итоговый train loss	3.12

Loss при обучении считался только по ответу. Версия не проходила RLHF или DPO и не настроена на многошаговый chat.

Формат запроса

Инструкция ставится после маркера ### Нұсқаулық:, а начало ответа обозначается строкой ### Жауап:. Если у задания есть дополнительный ввод, он размещается в блоке ### Кіріс:.

Как запустить

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

repo = "TilQazyna/Til-Core-0.5B-Instruct"
tokenizer = AutoTokenizer.from_pretrained(repo)
model = AutoModelForCausalLM.from_pretrained(
    repo, dtype=torch.bfloat16, device_map="auto"
).eval()

prompt = "### Нұсқаулық:\nДені сау болу үшін үш кеңес беріңіз.\n\n### Жауап:\n"
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
output = model.generate(**inputs, max_new_tokens=120, do_sample=True, temperature=0.7, top_p=0.9)
answer = output[0][inputs["input_ids"].shape[1]:]
print(tokenizer.decode(answer, skip_special_tokens=True))

Доступ

Карточка репозитория и список файлов открыты для просмотра. Скачивание доступно после одобрения заявки, отправленной кнопкой «Request access»; заявки проверяет команда TilQazyna.

Связанные репозитории

Базовый checkpoint — Til-Core-0.5B. Набор TilQazyna с данными для supervised fine-tune — Til-Instruct.

English

Til-Core-0.5B-Instruct is a 498M-parameter model for following instructions in Kazakh. The repository is 2.02 GB; the checkpoint was produced by supervised fine-tuning Til-Core-0.5B.

The model targets single-turn Alpaca-style tasks. It can generate Kazakh responses and follow the expected answer format, although factual prompts may produce inaccurate information.

Architecture and training

Property	Value
Architecture	Qwen2ForCausalLM
Parameters	498M
Hidden size	896
Layers	18
Attention heads	14
Vocabulary	256000 tokens
Context length	32768 tokens
Training examples	52,201
Epochs	3
Final train loss	3.12

Training applied loss only to completion tokens. This checkpoint has no RLHF or DPO stage and is not tuned for multi-turn chat. Its output should be checked before use as a factual reference.

Prompt format

The instruction follows the ### Нұсқаулық: marker, and generation begins after ### Жауап:. Tasks with a separate input place it under a ### Кіріс: section.

Usage

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

repo = "TilQazyna/Til-Core-0.5B-Instruct"
tokenizer = AutoTokenizer.from_pretrained(repo)
model = AutoModelForCausalLM.from_pretrained(
    repo, dtype=torch.bfloat16, device_map="auto"
).eval()

prompt = "### Нұсқаулық:\nДені сау болу үшін үш кеңес беріңіз.\n\n### Жауап:\n"
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
output = model.generate(**inputs, max_new_tokens=120, do_sample=True, temperature=0.7, top_p=0.9)
answer = output[0][inputs["input_ids"].shape[1]:]
print(tokenizer.decode(answer, skip_special_tokens=True))

Access

The repository card and file list are visible to everyone. File downloads become available after the TilQazyna team approves a request submitted with the “Request access” button.

Related repositories

The base checkpoint is Til-Core-0.5B. TilQazyna's supervised fine-tuning data collection is Til-Instruct.

Лицензия · License: apache-2.0 · TilQazyna

Downloads last month: 1

Safetensors

Model size

0.5B params

Tensor type

F32

Model tree for TilQazyna/Til-Core-0.5B-Instruct

Base model

TilQazyna/Til-Core-0.5B

Finetuned

(2)

this model

Dataset used to train TilQazyna/Til-Core-0.5B-Instruct

Collection including TilQazyna/Til-Core-0.5B-Instruct

Til Core — Kazakh-only Models

Collection

Kazakh-only base, instruct and GEC models for researchers and developers. Базовые, instruct- и GEC-модели только для казахского языка. • 6 items • Updated 3 days ago