

<div align="center">
  <img src="logo.png" width="400"/>
</div>

# Haidass-143M

<p align="center">
<a href="https://huggingface.co/DALabCommunity/Haidass-143M-v1/blob/main/README.md">English</a> |
中文
</p>

中英双语小语言模型，在**华为昇腾**生态上进行全流程训练。

## 模型简介

Haidass-143M 是一个 143M 参数的中英双语语言模型，在约 100B token 的中英文数据上训练完成。模型在华为昇腾生态上进行全流程训练，整体流程基于 **MindSpeed-LLM** 框架和 Atlas A2 服务器（910B）。同时配套训练了大小为 64,000 的中英双语词表。该模型在 150M 以下参数规模的多语言模型中具有较强竞争力，并在多个评测指标中排名靠前。

## 模型架构

| 参数 | 值 |
|------|-----|
| 架构 | Qwen3 |
| 层数 | 30 |
| 隐层维度 | 576 |
| 注意力头数 | 9 |
| KV 头数 (GQA) | 3 |
| 头维度 | 64 |
| FFN 中间维度 | 1,536 |
| 词表大小 | 64,000 |
| 最大序列长度 | 4,096 |
| 绑定嵌入 | 是 |
| 位置编码 | RoPE (θ=100,000) |
| 注意力偏置 | 无 |
| 精度 | BF16 |
| 总参数量 | ~143M |

## 训练数据

模型在约 100B token 的中英文混合数据上训练。主要数据来源为：

- [openbmb/Ultra-FineWeb](https://huggingface.co/datasets/openbmb/Ultra-FineWeb) (ultrafineweb-en + ultrafineweb-zh)
- [mlfoundations/dclm-baseline-1.0-parquet](https://huggingface.co/datasets/mlfoundations/dclm-baseline-1.0-parquet) (dclm)
- [HuggingFaceTB/finemath](https://huggingface.co/datasets/HuggingFaceTB/finemath) (finemath-4plus)


## 训练配置

| 参数 | 值 |
|------|------|
| 框架 | MindSpeed-LLM (v2.3.0) |
| 硬件 | 8 台 Atlas A2 服务器 (每台 8 卡 NPU，256 核) |
| NPU 型号 | 华为昇腾 910B |
| 总 NPU 数 | 64 (8 节点 × 8 卡) |
| 序列长度 | 4,096 |


## 优化器

| 参数 | 值 |
|------|------|
| 优化器 | AdamW |
| 峰值学习率 | 3e-4 |
| 最低学习率 | 3e-5 |


## 词表

| 属性 | 值 |
|------|------|
| 类型 | SentencePiece BPE |
| 词表大小 | 64,000 |
| 语言覆盖 | 英文 + 中文 |

## 测评

在 checkpoint (~98B tokens) 上基于 lighteval 框架（v0.9.2）测评。

| Benchmark | Score |
|------|------|
| ARC-Easy | 60.44 |
| ARC-Challenge | 27.13 |
| PIQA | 67.25 |
| HellaSwag | 37.91 |
| OpenBookQA | 31.8 |
| Winogrande | 52.17 |
| agi_eval | 23.78 |

## 核心特点

- **全昇腾原生**: 完全在华为昇腾 910B NPU 上训练，使用 MindSpeed-LLM 框架
- **中英双语**: 模型基于中英混合数据集训练


## 预期用途

本模型为研究型模型，适用于:
- 研究小模型在昇腾 NPU 上的训练动态
- 中英文语言建模研究
- 作为后续微调或退火实验的基础模型

## 局限性

- 模型规模较小，推理和生成能力有限
- 仅为原始预训练模型

## Citation

```bibtex
@misc{haidass-143m,
  title={haidass-143M: A Bilingual Small Language Model Trained on Ascend 910B},
  year={2026},
  note={Based on Qwen3 architecture, trained from scratch on 100B tokens using MindSpeed-LLM on 64× Ascend 910B NPUs}
}
```

## License

Apache 2.0