Tockys/GemQwen-1.5B-Instruct-q4f16_1-MLC

GemQwen-1.5B-Instruct (q4f16_1, MLC/WebLLM形式)

チャット特化版gemqwen.pages.devの単一モデル(v2)。 Gemma 2 2B JPN(日本語・文章)、Qwen2.5-Coder-7B(コード・数学)、 Llama 3.2 3B(知識・英語)の3教師の回答を、 生徒 Qwen2.5-Coder-1.5B-Instruct へ知識蒸留した融合モデル。

• 日本語タスク(要約・感想文・敬語・添削・翻訳・会話・知識QA) → Gemma 2 2B JPN が教師
• コード・アルゴリズム・数学・論理推論 → Qwen2.5-Coder-7B が教師
• 英語会話・英作文・文法解説 → Llama 3.2 3B が教師
• マルチターン対話(追い質問への応答)もデータ化して学習
• 「Coder下書き→Gemma清書」のリレー合成もデータ化して焼き込み
• 音声書き起こしの整形(誤変換・言いよどみ除去)は自己教師データで学習
• LoRA(rank16, 全28層, attn+mlp) → fuse → q4f16_1 量子化
• 追加知識パック: UI/Webデザイン基礎、Shake-to-Shake(ihax-studio/sts)の使い方、 2026年デザイン/AIトレンド(聞かれたときに答える受動的知識として低LR継続学習)

量子化は公式mlc_llm convert_weightとビット一致することを検証済みの 純Python実装(fp16演算: scale=max|w|×fp16(1/7), q=rint(w/scale+7))で実施。

軽量側 GemQwen-0.5B と ペアで gemqwen.pages.dev のWebLLM PWAにて動作。 model_libはWebLLM prebuiltの Qwen2.5-Coder-1.5B-Instruct-q4f16_1-MLC と互換(同アーキテクチャ)。