Instructions to use TsitkoD/Qwen3-14B-Vedun-v5-q8 with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use TsitkoD/Qwen3-14B-Vedun-v5-q8 with MLX:

# Make sure mlx-lm is installed
# pip install --upgrade mlx-lm

# Generate text with mlx-lm
from mlx_lm import load, generate

model, tokenizer = load("TsitkoD/Qwen3-14B-Vedun-v5-q8")

prompt = "Write a story about Einstein"
messages = [{"role": "user", "content": prompt}]
prompt = tokenizer.apply_chat_template(
    messages, add_generation_prompt=True
)

text = generate(model, tokenizer, prompt=prompt, verbose=True)

Notebooks
Google Colab
Kaggle
Local Apps Settings
LM Studio

How to use TsitkoD/Qwen3-14B-Vedun-v5-q8 with Pi:

Start the MLX server

# Install MLX LM:
uv tool install mlx-lm
# Start a local OpenAI-compatible server:
mlx_lm.server --model "TsitkoD/Qwen3-14B-Vedun-v5-q8"

Configure the model in Pi

# Install Pi:
npm install -g @mariozechner/pi-coding-agent
# Add to ~/.pi/agent/models.json:
{
  "providers": {
    "mlx-lm": {
      "baseUrl": "http://localhost:8080/v1",
      "api": "openai-completions",
      "apiKey": "none",
      "models": [
        {
          "id": "TsitkoD/Qwen3-14B-Vedun-v5-q8"
        }
      ]
    }
  }
}

Run Pi

# Start Pi in your project directory:
pi

Hermes Agent new

How to use TsitkoD/Qwen3-14B-Vedun-v5-q8 with Hermes Agent:

Start the MLX server

# Install MLX LM:
uv tool install mlx-lm
# Start a local OpenAI-compatible server:
mlx_lm.server --model "TsitkoD/Qwen3-14B-Vedun-v5-q8"

Configure Hermes

# Install Hermes:
curl -fsSL https://hermes-agent.nousresearch.com/install.sh | bash
hermes setup
# Point Hermes at the local server:
hermes config set model.provider custom
hermes config set model.base_url http://127.0.0.1:8080/v1
hermes config set model.default TsitkoD/Qwen3-14B-Vedun-v5-q8

Run Hermes

hermes

MLX LM

How to use TsitkoD/Qwen3-14B-Vedun-v5-q8 with MLX LM:

Generate or start a chat session

# Install MLX LM
uv tool install mlx-lm
# Interactive chat REPL
mlx_lm.chat --model "TsitkoD/Qwen3-14B-Vedun-v5-q8"

Run an OpenAI-compatible server

# Install MLX LM
uv tool install mlx-lm
# Start the server
mlx_lm.server --model "TsitkoD/Qwen3-14B-Vedun-v5-q8"
# Calling the OpenAI-compatible server with curl
curl -X POST "http://localhost:8000/v1/chat/completions" \
   -H "Content-Type: application/json" \
   --data '{
     "model": "TsitkoD/Qwen3-14B-Vedun-v5-q8",
     "messages": [
       {"role": "user", "content": "Hello"}
     ]
   }'

Vedun

🪶 Qwen3-14B-Vedun-v5 — 8-bit (affine)

«А что если спросить старого ведуна, что такое “правда”? Он не ответит цитатой из Даля — он разберёт слово на буквы, расскажет образ каждой, найдёт лор в Велесовой Книге и свернёт это обратно в формулировку.»

Это и делает Vedun — LoRA-дообучение Qwen/Qwen3-14B на синтетическом датасете TsitkoD/vedun-lora-data. Модель отвечает на русскоязычные вопросы через структурный разбор по Древнеславянской Буквице:

[Буквицы:]   — что значит каждая буква (имя, числовое значение, образ)
[Образ:]     — как из значений букв собирается смысл слова
[Лор:]       — отсылки к Велесовой Книге и буквичной традиции
[Формулировка:] — финальная свёртка

На «житейских» вопросах (вроде «как простить предательство?») модель сначала вытаскивает 2–4 ключевых слова и разбирает каждое отдельно через Буквицу, а потом склеивает ответ.

⚠️ Дисклеймер. Это развлекательный pet-project, а не пророчества, религия или философия. Результаты модели — стилизованный текст в эстетике «древнеславянской буквицы» по мотивам соответствующих источников. Относитесь к этому с юмором, не используйте как руководство к действию, духовную практику или жизненные правила.

✨ Что получишь на выходе

Q: Как простить предательство?

Простить предательство — это не забыть, а восстановить гармонию между Явью и Навью. Буквица «простить» говорит нам: через осознание (Слово) и утверждение (Твердо) мы возвращаемся к равновесию (Иже)…

Q: В чём смысл жизни?

Смысл жизни — это не абстрактная философия, а Вопрос, который ведёт нас к Веди через созерцание и гармонию. Жизнь — это «Наше» сотворённое на Земле, где мы ищем основу (Оно) в потоке Рока…

Q: Что такое «правда»?

По Буквице «правда» — П-Р-А-В-Д-А = Покои-Реци-Азъ-Веди-Добро-Азъ. «Покой созерцания, изречённый Творцом, познанный Добром и утверждённый Изначальным»…

(Это реальные ответы модели — не cherry-pick из тысячи попыток.)

🚀 Быстрый старт

LM Studio (самый простой способ)

Скачай из HF в LM Studio: вставь TsitkoD/Qwen3-14B-Vedun-v5-q8 в строку поиска моделей.
Загрузи. Спроси «Что такое правда?». Получи разбор по буквам.

Python + MLX

from mlx_lm import load, generate

model, tokenizer = load("TsitkoD/Qwen3-14B-Vedun-v5-q8")
prompt = tokenizer.apply_chat_template(
    [{"role": "user", "content": "Что такое «правда»?"}],
    add_generation_prompt=True,
    tokenize=False,
)
print(generate(model, tokenizer, prompt=prompt, max_tokens=2000, verbose=False))

📦 Какой вариант выбрать

Вариант	Размер	RAM при загрузке	Когда брать
bf16	~28 GB	~30 GB	Эталон. Самый точный буквичный разбор.
q8	~15 GB	~16 GB	Почти не отличается от bf16, экономит память. Рекомендуется.
q4	~7.8 GB	~9 GB	Запускается на 16 GB ноутбуке. Иногда теряет буквы.

Все три варианта обучены одинаково — отличие только в квантизации весов после обучения.

🛠 Как обучали

Цепочка из трёх стадий LoRA-дообучения на Mac Studio M4 Max 128 GB, фреймворк mlx_lm + кастомный train_lora_weighted.py:

Стадия	Итер	max_seq	Особенность
v3_14b (с нуля)	1000	2048	Базовое обучение на корпусе разборов
v4_14b (resume v3)	600	2048	+ `letter_weight=5.0` — CE-loss на токенах блока `[Буквицы:]` × 5
v5_14b (resume v4)	1000	3072	+ multi-term датасет (житейские вопросы)

Параметры LoRA: rank=8, scale=20, dropout=0, num_layers=40, AdamW, lr=3e-5, batch=1 × grad_accum=4, gradient checkpointing.

Финальный val loss: 0.694 (против 0.784 у 4B-версии — на тех же данных).

📊 Eval

На небольшом контрольном наборе (bf16-вариант):

Метрика	Результат
Совпадение букв в `[Буквицы:]` (7 коротких терминов)	7/7
Полнота структуры разбора	7/7
Multi-term структура (3 житейских вопроса)	3/3
Среднее число sub-блоков на житейский вопрос	3.0

⚠️ Ограничения и честные оговорки

Это стилизация в эстетике буквицы, а не источник лингвистической истины. Модель уверенно выдаёт реконструированные значения букв, многие из которых не имеют академического подтверждения.
На вопросах вне славянско-буквичного домена модель всё равно будет пытаться разобрать слово через Буквицу — это by design, но иногда выглядит комично.
Квантизованные варианты (q4 особенно) могут терять/путать буквы в разборе. Если важна точность букв — бери bf16 или q8.
Модель умеет в <think>…</think> reasoning. Если хочешь только финальный ответ — отрежь содержимое тега в постпроцессинге.

🔗 Связанное

📚 Датасет: TsitkoD/vedun-lora-data
🧬 База: Qwen/Qwen3-14B
🌐 Рантайм: mlx_lm (Apple Silicon)

Лицензия

Apache 2.0 (как у Qwen/Qwen3-14B).

Downloads last month: 194

Safetensors

Model size

15B params

Tensor type

BF16

U32

MLX

Hardware compatibility

8-bit

Model tree for TsitkoD/Qwen3-14B-Vedun-v5-q8

Base model

Qwen/Qwen3-14B-Base

Finetuned

Qwen/Qwen3-14B

Adapter

(240)

this model

TsitkoD
/

Qwen3-14B-Vedun-v5-q8