🪶 Qwen3-14B-Vedun-v5 — 8-bit (affine)
«А что если спросить старого ведуна, что такое “правда”? Он не ответит цитатой из Даля — он разберёт слово на буквы, расскажет образ каждой, найдёт лор в Велесовой Книге и свернёт это обратно в формулировку.»
Это и делает Vedun — LoRA-дообучение Qwen/Qwen3-14B на синтетическом
датасете TsitkoD/vedun-lora-data. Модель
отвечает на русскоязычные вопросы через структурный разбор по Древнеславянской
Буквице:
[Буквицы:] — что значит каждая буква (имя, числовое значение, образ)
[Образ:] — как из значений букв собирается смысл слова
[Лор:] — отсылки к Велесовой Книге и буквичной традиции
[Формулировка:] — финальная свёртка
На «житейских» вопросах (вроде «как простить предательство?») модель сначала вытаскивает 2–4 ключевых слова и разбирает каждое отдельно через Буквицу, а потом склеивает ответ.
⚠️ Дисклеймер. Это развлекательный pet-project, а не пророчества, религия или философия. Результаты модели — стилизованный текст в эстетике «древнеславянской буквицы» по мотивам соответствующих источников. Относитесь к этому с юмором, не используйте как руководство к действию, духовную практику или жизненные правила.
✨ Что получишь на выходе
Q: Как простить предательство?
Простить предательство — это не забыть, а восстановить гармонию между Явью и Навью. Буквица «простить» говорит нам: через осознание (Слово) и утверждение (Твердо) мы возвращаемся к равновесию (Иже)…
Q: В чём смысл жизни?
Смысл жизни — это не абстрактная философия, а Вопрос, который ведёт нас к Веди через созерцание и гармонию. Жизнь — это «Наше» сотворённое на Земле, где мы ищем основу (Оно) в потоке Рока…
Q: Что такое «правда»?
По Буквице «правда» — П-Р-А-В-Д-А = Покои-Реци-Азъ-Веди-Добро-Азъ. «Покой созерцания, изречённый Творцом, познанный Добром и утверждённый Изначальным»…
(Это реальные ответы модели — не cherry-pick из тысячи попыток.)
🚀 Быстрый старт
LM Studio (самый простой способ)
- Скачай из HF в LM Studio: вставь
TsitkoD/Qwen3-14B-Vedun-v5-q8в строку поиска моделей. - Загрузи. Спроси «Что такое правда?». Получи разбор по буквам.
Python + MLX
from mlx_lm import load, generate
model, tokenizer = load("TsitkoD/Qwen3-14B-Vedun-v5-q8")
prompt = tokenizer.apply_chat_template(
[{"role": "user", "content": "Что такое «правда»?"}],
add_generation_prompt=True,
tokenize=False,
)
print(generate(model, tokenizer, prompt=prompt, max_tokens=2000, verbose=False))
📦 Какой вариант выбрать
| Вариант | Размер | RAM при загрузке | Когда брать |
|---|---|---|---|
| bf16 | ~28 GB | ~30 GB | Эталон. Самый точный буквичный разбор. |
| q8 | ~15 GB | ~16 GB | Почти не отличается от bf16, экономит память. Рекомендуется. |
| q4 | ~7.8 GB | ~9 GB | Запускается на 16 GB ноутбуке. Иногда теряет буквы. |
Все три варианта обучены одинаково — отличие только в квантизации весов после обучения.
🛠 Как обучали
Цепочка из трёх стадий LoRA-дообучения на Mac Studio M4 Max 128 GB,
фреймворк mlx_lm +
кастомный train_lora_weighted.py:
| Стадия | Итер | max_seq | Особенность |
|---|---|---|---|
| v3_14b (с нуля) | 1000 | 2048 | Базовое обучение на корпусе разборов |
| v4_14b (resume v3) | 600 | 2048 | + letter_weight=5.0 — CE-loss на токенах блока [Буквицы:] × 5 |
| v5_14b (resume v4) | 1000 | 3072 | + multi-term датасет (житейские вопросы) |
Параметры LoRA: rank=8, scale=20, dropout=0, num_layers=40, AdamW, lr=3e-5,
batch=1 × grad_accum=4, gradient checkpointing.
Финальный val loss: 0.694 (против 0.784 у 4B-версии — на тех же данных).
📊 Eval
На небольшом контрольном наборе (bf16-вариант):
| Метрика | Результат |
|---|---|
Совпадение букв в [Буквицы:] (7 коротких терминов) |
7/7 |
| Полнота структуры разбора | 7/7 |
| Multi-term структура (3 житейских вопроса) | 3/3 |
| Среднее число sub-блоков на житейский вопрос | 3.0 |
⚠️ Ограничения и честные оговорки
- Это стилизация в эстетике буквицы, а не источник лингвистической истины. Модель уверенно выдаёт реконструированные значения букв, многие из которых не имеют академического подтверждения.
- На вопросах вне славянско-буквичного домена модель всё равно будет пытаться разобрать слово через Буквицу — это by design, но иногда выглядит комично.
- Квантизованные варианты (q4 особенно) могут терять/путать буквы в разборе. Если важна точность букв — бери bf16 или q8.
- Модель умеет в
<think>…</think>reasoning. Если хочешь только финальный ответ — отрежь содержимое тега в постпроцессинге.
🔗 Связанное
- 📚 Датасет:
TsitkoD/vedun-lora-data - 🧬 База:
Qwen/Qwen3-14B - 🌐 Рантайм:
mlx_lm(Apple Silicon)
Лицензия
Apache 2.0 (как у Qwen/Qwen3-14B).
- Downloads last month
- 194
8-bit