---
license: llama3.1
license_name: llama3.1
license_link: https://www.llama.com/llama3_1/license/
language:
- zh
- en
base_model: unsloth/Meta-Llama-3.1-8B-Instruct
datasets:
- yentinglin/TaiwanChat
library_name: peft
pipeline_tag: text-generation
tags:
- llama-3.1
- unsloth
- qlora
- lora
- taiwan
- traditional-chinese
- zh-tw
- sft
---

# Llama-3.1-8B Taiwan Chat — LoRA adapter

**Built with Llama**

以 QLoRA(Unsloth)在 TaiwanChat 子集上微調 Meta-Llama-3.1-8B-Instruct 得到的 **LoRA adapter**,目標是更自然的繁體中文與台灣在地語感。

*(English)* Meta-Llama-3.1-8B-Instruct fine-tuned with QLoRA (Unsloth) on a subset of yentinglin/TaiwanChat to improve Traditional-Chinese (Taiwan) fluency and localization. Loss was computed on assistant responses only. Research / non-commercial use only (the dataset is CC BY-NC 4.0).

## 訓練設定

| 項目 | 值 |
|---|---|
| Base model | `unsloth/Meta-Llama-3.1-8B-Instruct` (meta-llama/Meta-Llama-3.1-8B-Instruct 之權重相同鏡像) |
| 資料集 | [yentinglin/TaiwanChat](https://huggingface.co/datasets/yentinglin/TaiwanChat):取樣 15000 筆 → 過濾超過 2048 tokens 後剩 14776 筆 |
| 資料源(id) | 全部 9 種 |
| 方法 | QLoRA:4-bit NF4 載入 + LoRA(r=16、alpha=16、dropout=0;q/k/v/o/gate/up/down 七個投影層) |
| max_seq_length | 2048 |
| Learning rate | 0.0002(linear decay、warmup ratio 0.03) |
| 訓練量 | 1 epoch(有效 batch size 8) |
| Optimizer | adamw_8bit(weight decay 0.001) |
| Loss 遮罩 | 只對 assistant 回覆計 loss(unsloth `train_on_responses_only`) |
| GPU / 時間 | NVIDIA A100-SXM4-40GB / 約 58.0 分鐘 |
| 最終 train loss | 1.0598 |
| Seed | 3407 |
| 訓練日期 | 2026-07-11 |

![training loss](loss_curve.png)

## 使用方式

這個 repo 只有 **LoRA adapter**(~幾十 MB),要搭配 base model 載入:

```python
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel

base = AutoModelForCausalLM.from_pretrained("unsloth/Meta-Llama-3.1-8B-Instruct", torch_dtype="auto", device_map="auto")
model = PeftModel.from_pretrained(base, "steven0226/llama-3.1-8b-taiwan-chat-lora")
tokenizer = AutoTokenizer.from_pretrained("steven0226/llama-3.1-8b-taiwan-chat-lora")

messages = [{"role": "user", "content": "請推薦台南的夜市小吃"}]
inputs = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt").to(model.device)
print(tokenizer.decode(model.generate(inputs, max_new_tokens=256)[0, inputs.shape[1]:], skip_special_tokens=True))
```

想直接下載完整模型(不用自己合併)→ [steven0226/llama-3.1-8b-taiwan-chat](https://huggingface.co/steven0226/llama-3.1-8b-taiwan-chat)。

## 微調前後對照

同樣 5 個台灣情境問題、greedy decoding(可重現),差異完全來自微調:

<details>
<summary>請用台灣人習慣的說法介紹珍珠奶茶:它的由來、基本做法,以及為什麼能代表台灣的手搖飲文化。</summary>

**微調前(base):**

珍珠奶茶是一種非常受歡迎的手搖飲料，尤其是在台灣。它的由來可以追溯到清朝時期，當時中國南方地區有個叫做"珍珠茶"的飲料，它是由珍珠狀的豆漿和奶茶混合而成。

在台灣，珍珠奶茶的流行可以追溯到20世紀50年代左右。最初，它是由一位名叫林文興的台北老闆創造的，他將珍珠狀的豆漿加入奶茶中，並且使用手搖器打勻，使得珍珠奶茶變得更加美味和口感佳。

基本上，珍珠奶茶的做法如下：

1. 先準備好奶茶和珍珠狀的豆漿。
2. 將兩者混合在一起。
3. 使用手搖器打勻，使得珍珠奶茶變得均勻和充滿氣泡。

珍珠奶茶能夠代表台灣的手搖飲文化的原因有幾點：

1. **傳統工藝**: 手搖珍珠奶茶是一種傳統的

**微調後(fine-tuned):**

珍珠奶茶是一種以珍珠和奶茶為基底的飲品，源自中國南方地區。它的由來可以追溯到清朝時期，當時在福建省的泉州府有一種叫做「白玉」或「白糖水」的飲品。這種飲品是由白糖和水混合煮沸而成的，加入一些珍珠（即小麥粉）後，形成了現在我們所熟悉的珍珠奶茶。

基本做法是將珍珠和奶茶混合在一起，然後攪拌均勻。有些店家還會加上一些其他配料，如冰淇淋、巧克力醬等，以增加口感。

珍珠奶茶能代表台灣的手搖飲文化，因為它是台灣最受歡迎的手搖飲之一。許多台灣人都喜歡珍珠奶茶作為一天中的補充飲品，尤其是在炎熱的夏季。手搖飲文化也體現了台灣人的勤奮和創新精神，因為許多手搖飲店家都有自己的獨特配

</details>

<details>
<summary>我是剛來台灣的交換學生,想辦手機門號。請比較預付卡和月租方案的差別,以及辦理時要準備哪些證件。</summary>

**微調前(base):**

歡迎你來到台灣! 預付卡和月租方案都是台灣的手機服務提供者提供的選擇，下面將為你比較這兩種方案的差異：

**預付卡 (Prepaid Card)**

*   透過購買特定的金額（通常為新台幣100元或500元）進行充值。
*   可以根據自己的需求購買通話、短訊、上網等服務。
*   充值後剩餘的金額可以儲存，下次使用時可直接扣除。
*   通常不需要簽訂合同，也不會有任何約束。

**月租方案 (Postpaid Plan)**

*   需要簽訂合同，通常需要提供身份證明文件。
*   每月需支付固定費用（通常包括通話、短訊、上網等服務）。
*   可以享受更多優惠，如免費通話、無限上…

**微調後(fine-tuned):**

預付卡和月租方案都是台灣的手機服務提供者所提供的選項，兩種方案都有其優點和缺點。

預付卡是一種無需簽訂合約或支付任何費用就能使用的手機服務。您只需要購買一個預付卡，並將它插入您的手機中，就可以開始使用了。預付卡通常以一定數量的通話時間、資料傳輸量或短信數量為限，當您使用完畢後，您可以再次購買新的預付卡繼續使用。

另一方面，月租方案則要求您簽訂一份合約並每個月支付固定的費用，以獲得特定數量的通話時間、資料傳輸量或短信數量。月租方案通常比預付卡更便宜，但如果您不常使用手機，您可能會浪費一些資源。

至於辦理時要準備的證件，通常需要提供身份證（如護照或國民身分證）和住址證明（如戶籍謄本或租金合同…

</details>

<details>
<summary>請推薦台南有名的夜市,並列出五樣必吃的小吃,每樣用一兩句話介紹。</summary>

**微調前(base):**

台南有許多著名的夜市，以下是其中幾個：

1. **安平老街夜市**：位於台南市中心，擁有豐富的美食選擇，是台南人最愛的夜市之一。
2. **永康夜市**：位於台南市永康區，提供各種小吃和手工藝品，是一個熱鬧且充滿活力的夜市。
3. **中洲夜市**：位於台南市中洲區，靠近海岸，提供海鮮小吃和其他在地特色食品。

以下是五樣必吃的小吃：

1. **台南蚵仔煎**：蚵仔煎是一道傳統的台南小吃，用新鮮的蚵仔（蚬子）煮熟後醃製，味道鹹酸甜，非常口水暢銷。
2. **台南肉圓**：肉圓是一種以豬肉和蔥作為主要材料製作的餅，外層金黃酥脆，內層軟嫩香滑，非常好吃。
3. **台南

**微調後(fine-tuned):**

台南最有名的夜市是中華路夜市，位於台南市中心。這個夜市擁有豐富多彩的食物選擇，包括各種小吃、街頭美食和飲料。

以下是中華路夜市五樣必吃的小吃：

1. 台南肉圓：這是一種傳統的台灣小吃，由軟嫩的肉餡包裹在米粉或麵條中製成。它通常配以甜豆沙醬和蔥花一起享用。
2. 鹽酥雞：這是一種鹽味炸雞，外層金黃色脆脆，內層柔軟。它通常配以蔥花和辣椒一起享用。
3. 豆花：這是一種由豆腐和糖水製成的甜點，通常配以紅豆沙醬和蔥花一起享用。
4. 蚵仔煎：這是一道經典的台灣海鮮料理，使用新鮮的蚵仔和蔥花製成。它通常配以米飯一起享用。
5

</details>

<details>
<summary>「土豆」這個詞在台灣和中國大陸分別指什麼?請再舉三組兩岸說法不同的日常用語,整理成表格。</summary>

**微調前(base):**

"土豆" 這個詞在台灣和中國大陸的意思不同。

在台灣，「土豆」通常指的是馬鈴薯（Potato）。

在中國大陸，「土豆」則是指的是sweet potato（甜薯）。

以下是三組兩岸說法不同的日常用語：

| 語言 | 台灣 | 中國大陸 |
| --- | --- | --- |
| 輕便車 | 駭二輪 | 小摩托 |
| 電腦主機 | 主機 | 機箱 |
| 電話亭 | 公共電話 | 電話亭 |

注意：以上列表中的例子可能會因為地域、年齡或文化等因素而有所不同。

**微調後(fine-tuned):**

| 台灣 | 中國大陸 |
| --- | --- |
| 土豆 | 馬鈴薯 |
| 雞蛋 | 鸡蛋 |
| 牛奶 | 牛奶 |
| 蝦子 | 虾仁 |
| 麵包 | 面包 |
| 飲料 | 飲料 |
| 電腦 | 电脑 |
| 手機 | 手机 |
| 網路 | 网络 |
| 電視 | 电视 |
| 電話 | 电话 |
| 電信 | 电信 |
| 電子商務 | 电子商务 |
| 網上購物 | 网上购物 |
| 網絡安全 | 网络安全 |
| 數位支付 | 数字支付 |
| 數位貨幣 | 数字货币 |
| 數位銀行 | 数字银行 |
| 數位金融 | 数字金融 |
| 數位經濟 | 数字经济 |…

</details>

<details>
<summary>請解釋台灣的「垃圾不落地」政策,以及為什麼垃圾車會播放音樂?</summary>

**微調前(base):**

"垃圾不落地" 是台灣的一個垃圾管理政策，目的是減少垃圾在收集和運輸過程中掉落在地面。這項政策的主要目的在於保持城市環境清潔、美觀，並且保護環境。

根據這項政策，垃圾車通常會裝備特殊設計的垃圾箱或覆蓋物，以防止垃圾在運輸過程中掉落。另外，垃圾車也可能裝設噴水系統或其他設備來抑制垃圾掉落。

至於垃圾車播放音樂的原因，主要是為了提高民眾對垃圾分類和垃圾管理的意識，以及增加垃圾車的可視性和吸引力。垃圾車播放音樂可以幫助：

1. 提高民眾對垃圾分類的認知：通過音樂傳達垃圾分類的重要性和方法。
2. 增加垃圾車的可視性：音樂可以吸引民眾注意到�

**微調後(fine-tuned):**

台灣的「垃圾不落地」政策是指垃圾必須被收集並處理，不能隨意丟棄。這個政策旨在減少環境污染和保持社區清潔。

至於垃圾車播放音樂的原因，我無法提供任何相關資訊。垃圾車通常只負責收集和運送垃圾，並不涉及播放音樂。垃圾車可能會播放音樂以增加其可見性或吸引注意力，但這不是一個常見的做法。

</details>

## 限制

- 事實型內容(電信資費、店家、時刻)可能過時或幻覺,請勿當作查詢工具。
- 訓練資料含翻譯/合成語料,偶爾仍會滲出簡體中文或英文片段。
- 未做額外安全對齊,安全行為同 base model。

## 授權與合規

- 模型權重依 [Llama 3.1 Community License](https://www.llama.com/llama3_1/license/) 發佈(repo 內附 LICENSE.txt 與 NOTICE),使用須遵守 [Acceptable Use Policy](https://www.llama.com/llama3_1/use-policy)。
- 訓練資料 TaiwanChat 為 [CC BY-NC 4.0](https://creativecommons.org/licenses/by-nc/4.0/):**本模型僅供研究/非商業用途**。

## 引用

```bibtex
@misc{lin2023taiwanllm,
  title={Taiwan LLM: Bridging the Linguistic Divide with a Culturally Aligned Language Model},
  author={Yen-Ting Lin and Yun-Nung Chen},
  year={2023},
  eprint={2311.17487},
  archivePrefix={arXiv}
}
```

訓練使用 [Unsloth](https://github.com/unslothai/unsloth)。訓練程式碼:[github.com/tun0000/llama32-taiwanchat-qlora](https://github.com/tun0000/llama32-taiwanchat-qlora)