|
|
|
|
| <div align="center"> |
| <img src="logo.png" width="400"/> |
| </div> |
|
|
| # Haidass-143M |
|
|
| <p align="center"> |
| <a href="https://huggingface.co/DALabCommunity/Haidass-143M-v1/blob/main/README.md">English</a> | |
| 中文 |
| </p> |
|
|
| 中英双语小语言模型，在**华为昇腾**生态上进行全流程训练。 |
|
|
| ## 模型简介 |
|
|
| Haidass-143M 是一个 143M 参数的中英双语语言模型，在约 100B token 的中英文数据上训练完成。模型在华为昇腾生态上进行全流程训练，整体流程基于 **MindSpeed-LLM** 框架和 Atlas A2 服务器（910B）。同时配套训练了大小为 64,000 的中英双语词表。该模型在 150M 以下参数规模的多语言模型中具有较强竞争力，并在多个评测指标中排名靠前。 |
|
|
| ## 模型架构 |
|
|
| | 参数 | 值 | |
| |------|-----| |
| | 架构 | Qwen3 | |
| | 层数 | 30 | |
| | 隐层维度 | 576 | |
| | 注意力头数 | 9 | |
| | KV 头数 (GQA) | 3 | |
| | 头维度 | 64 | |
| | FFN 中间维度 | 1,536 | |
| | 词表大小 | 64,000 | |
| | 最大序列长度 | 4,096 | |
| | 绑定嵌入 | 是 | |
| | 位置编码 | RoPE (θ=100,000) | |
| | 注意力偏置 | 无 | |
| | 精度 | BF16 | |
| | 总参数量 | ~143M | |
|
|
| ## 训练数据 |
|
|
| 模型在约 100B token 的中英文混合数据上训练。主要数据来源为： |
|
|
| - [openbmb/Ultra-FineWeb](https://huggingface.co/datasets/openbmb/Ultra-FineWeb) (ultrafineweb-en + ultrafineweb-zh) |
| - [mlfoundations/dclm-baseline-1.0-parquet](https://huggingface.co/datasets/mlfoundations/dclm-baseline-1.0-parquet) (dclm) |
| - [HuggingFaceTB/finemath](https://huggingface.co/datasets/HuggingFaceTB/finemath) (finemath-4plus) |
|
|
|
|
| ## 训练配置 |
|
|
| | 参数 | 值 | |
| |------|------| |
| | 框架 | MindSpeed-LLM (v2.3.0) | |
| | 硬件 | 8 台 Atlas A2 服务器 (每台 8 卡 NPU，256 核) | |
| | NPU 型号 | 华为昇腾 910B | |
| | 总 NPU 数 | 64 (8 节点 × 8 卡) | |
| | 序列长度 | 4,096 | |
|
|
|
|
| ## 优化器 |
|
|
| | 参数 | 值 | |
| |------|------| |
| | 优化器 | AdamW | |
| | 峰值学习率 | 3e-4 | |
| | 最低学习率 | 3e-5 | |
|
|
|
|
| ## 词表 |
|
|
| | 属性 | 值 | |
| |------|------| |
| | 类型 | SentencePiece BPE | |
| | 词表大小 | 64,000 | |
| | 语言覆盖 | 英文 + 中文 | |
|
|
| ## 测评 |
|
|
| 在 checkpoint (~98B tokens) 上基于 lighteval 框架（v0.9.2）测评。 |
|
|
| | Benchmark | Score | |
| |------|------| |
| | ARC-Easy | 60.44 | |
| | ARC-Challenge | 27.13 | |
| | PIQA | 67.25 | |
| | HellaSwag | 37.91 | |
| | OpenBookQA | 31.8 | |
| | Winogrande | 52.17 | |
| | agi_eval | 23.78 | |
| |
| ## 核心特点 |
| |
| - **全昇腾原生**: 完全在华为昇腾 910B NPU 上训练，使用 MindSpeed-LLM 框架 |
| - **中英双语**: 模型基于中英混合数据集训练 |
| |
| |
| ## 预期用途 |
| |
| 本模型为研究型模型，适用于: |
| - 研究小模型在昇腾 NPU 上的训练动态 |
| - 中英文语言建模研究 |
| - 作为后续微调或退火实验的基础模型 |
| |
| ## 局限性 |
| |
| - 模型规模较小，推理和生成能力有限 |
| - 仅为原始预训练模型 |
| |
| ## Citation |
| |
| ```bibtex |
| @misc{haidass-143m, |
| title={haidass-143M: A Bilingual Small Language Model Trained on Ascend 910B}, |
| year={2026}, |
| note={Based on Qwen3 architecture, trained from scratch on 100B tokens using MindSpeed-LLM on 64× Ascend 910B NPUs} |
| } |
| ``` |
| |
| ## License |
| |
| Apache 2.0 |
| |
