---
license: mit
language:
- zh
- en
base_model:
- mistralai/Mistral-Small-24B-Base-2501
library_name: transformers
pipeline_tag: text-generation
tags:
- Taiwan
- ROC
- zhtw
- F1
- Formosa-1
- Mistral
- continued-pretraining
---

# Model Card for F1-24B-Base

<!-- Provide a quick summary of what the model is/does. -->
**F1-24B-Base** 是 **Formosa-1（F1）** 系列中的 **24B 基底模型**，以 [mistralai/Mistral-Small-24B-Base-2501](https://huggingface.co/mistralai/Mistral-Small-24B-Base-2501) 為基底，針對繁體中文與中華民國台灣語境完成大規模**持續預訓練（continued pretraining, CPT）**，作為 [F1-24B-Instruct](https://huggingface.co/lianghsun/F1-24B-Instruct)、[F1-24B-Reasoner](https://huggingface.co/lianghsun/F1-24B-Reasoner) 等下游模型的繁中底座。

> ⚠️ 規格重點：
> 本模型為 **24B 參數**、純文本單模態，**僅做 CPT、未做指令微調**，需自行 SFT 後才有對話能力。

## Model Details

Mistral-Small-24B 是兼顧能力與部署成本的中型開源模型，但其原生繁中與台灣語境覆蓋不足。**F1-24B-Base** 將 Formosa-1 系列的繁中語料注入 Mistral-Small-24B 之參數，使下游任務能在熟悉繁中與台灣語境之底座上做後續訓練。

**核心特點 (Key Features)**
1. **24B 級繁中底座**：在能力與部署成本之間取得平衡，可作為企業級繁中模型的微調起點。
2. **F1 系列家族基底**：作為 Instruct、Reasoner、領域微調（如 [F1-24B-Instruct-Cybersecurity](https://huggingface.co/lianghsun/F1-24B-Instruct-Cybersecurity)）的共同底座。
3. **大規模 CPT**：以多卡分散式訓練於繁中語料完成持續預訓練。

### Model Description

- **Developed by:** [Liang Hsun Huang](https://www.linkedin.com/in/lianghsunhuang/?locale=en_US)
- **Funded by:** [APMIC](https://www.apmic.ai/)
- **Base model:** [mistralai/Mistral-Small-24B-Base-2501](https://huggingface.co/mistralai/Mistral-Small-24B-Base-2501)
- **Model type:** MistralForCausalLM (Transformers)
- **Language(s) (NLP):** Traditional Chinese, English
- **License:** MIT

### Model Sources

- **Repository:** [lianghsun/F1-24B-Base](https://huggingface.co/lianghsun/F1-24B-Base)

## Citation

```bibtex
@misc{f1_24b_base,
  title        = {F1-24B-Base: A Traditional Chinese Continued-Pretrained Mistral-24B Model for Taiwan},
  author       = {Huang, Liang Hsun},
  year         = {2025},
  howpublished = {\url{https://huggingface.co/lianghsun/F1-24B-Base}}
}
```

## Acknowledge

- 特此感謝 [APMIC](https://www.apmic.ai/) 的算力支援。

## Model Card Authors

[Huang Liang Hsun](https://www.linkedin.com/in/lianghsunhuang/?locale=en_US)

## Model Card Contact

[Huang Liang Hsun](https://www.linkedin.com/in/lianghsunhuang/?locale=en_US)