Taiwan LLM: Bridging the Linguistic Divide with a Culturally Aligned Language Model
Paper • 2311.17487 • Published • 2
Llama-3.1-8B Taiwan Chat
Built with Llama
以 QLoRA(Unsloth)在 TaiwanChat 子集上微調 Meta-Llama-3.1-8B-Instruct 後,合併為完整 fp16 權重的版本,下載即用,目標是更自然的繁體中文與台灣在地語感。
(English) Meta-Llama-3.1-8B-Instruct fine-tuned with QLoRA (Unsloth) on a subset of yentinglin/TaiwanChat to improve Traditional-Chinese (Taiwan) fluency and localization. Loss was computed on assistant responses only. Research / non-commercial use only (the dataset is CC BY-NC 4.0).
訓練設定
| 項目 | 值 |
|---|---|
| Base model | unsloth/Meta-Llama-3.1-8B-Instruct (meta-llama/Meta-Llama-3.1-8B-Instruct 之權重相同鏡像) |
| 資料集 | yentinglin/TaiwanChat:取樣 15000 筆 → 過濾超過 2048 tokens 後剩 14776 筆 |
| 資料源(id) | 全部 9 種 |
| 方法 | QLoRA:4-bit NF4 載入 + LoRA(r=16、alpha=16、dropout=0;q/k/v/o/gate/up/down 七個投影層) |
| max_seq_length | 2048 |
| Learning rate | 0.0002(linear decay、warmup ratio 0.03) |
| 訓練量 | 1 epoch(有效 batch size 8) |
| Optimizer | adamw_8bit(weight decay 0.001) |
| Loss 遮罩 | 只對 assistant 回覆計 loss(unsloth train_on_responses_only) |
| GPU / 時間 | NVIDIA A100-SXM4-40GB / 約 58.0 分鐘 |
| 最終 train loss | 1.0598 |
| Seed | 3407 |
| 訓練日期 | 2026-07-11 |
使用方式
這是合併後的完整 fp16 模型(~6.5 GB),可直接用 transformers 載入:
from transformers import pipeline
pipe = pipeline("text-generation", model="steven0226/llama-3.1-8b-taiwan-chat", torch_dtype="auto", device_map="auto")
out = pipe([{"role": "user", "content": "請推薦台南的夜市小吃"}], max_new_tokens=256)
print(out[0]["generated_text"][-1]["content"])
也可用 vLLM / Unsloth 載入。只想要輕量 adapter → steven0226/llama-3.1-8b-taiwan-chat-lora。
微調前後對照
同樣 5 個台灣情境問題、greedy decoding(可重現),差異完全來自微調:
請用台灣人習慣的說法介紹珍珠奶茶:它的由來、基本做法,以及為什麼能代表台灣的手搖飲文化。
微調前(base):
珍珠奶茶是一種非常受歡迎的手搖飲料，尤其是在台灣。它的由來可以追溯到清朝時期，當時中國南方地區有個叫做"珍珠茶"的飲料，它是由珍珠狀的豆漿和奶茶混合而成。
在台灣，珍珠奶茶的流行可以追溯到20世紀50年代左右。最初，它是由一位名叫林文興的台北老闆創造的，他將珍珠狀的豆漿加入奶茶中，並且使用手搖器打勻，使得珍珠奶茶變得更加美味和口感佳。
基本上，珍珠奶茶的做法如下：
- 先準備好奶茶和珍珠狀的豆漿。
- 將兩者混合在一起。
- 使用手搖器打勻，使得珍珠奶茶變得均勻和充滿氣泡。
珍珠奶茶能夠代表台灣的手搖飲文化的原因有幾點：
- 傳統工藝: 手搖珍珠奶茶是一種傳統的
微調後(fine-tuned):
珍珠奶茶是一種以珍珠和奶茶為基底的飲品，源自中國南方地區。它的由來可以追溯到清朝時期，當時在福建省的泉州府有一種叫做「白玉」或「白糖水」的飲品。這種飲品是由白糖和水混合煮沸而成的，加入一些珍珠（即小麥粉）後，形成了現在我們所熟悉的珍珠奶茶。
基本做法是將珍珠和奶茶混合在一起，然後攪拌均勻。有些店家還會加上一些其他配料，如冰淇淋、巧克力醬等，以增加口感。
珍珠奶茶能代表台灣的手搖飲文化，因為它是台灣最受歡迎的手搖飲之一。許多台灣人都喜歡珍珠奶茶作為一天中的補充飲品，尤其是在炎熱的夏季。手搖飲文化也體現了台灣人的勤奮和創新精神，因為許多手搖飲店家都有自己的獨特配
我是剛來台灣的交換學生,想辦手機門號。請比較預付卡和月租方案的差別,以及辦理時要準備哪些證件。
微調前(base):
歡迎你來到台灣! 預付卡和月租方案都是台灣的手機服務提供者提供的選擇，下面將為你比較這兩種方案的差異：
預付卡 (Prepaid Card)
- 透過購買特定的金額（通常為新台幣100元或500元）進行充值。
- 可以根據自己的需求購買通話、短訊、上網等服務。
- 充值後剩餘的金額可以儲存，下次使用時可直接扣除。
- 通常不需要簽訂合同，也不會有任何約束。
月租方案 (Postpaid Plan)
- 需要簽訂合同，通常需要提供身份證明文件。
- 每月需支付固定費用（通常包括通話、短訊、上網等服務）。
- 可以享受更多優惠，如免費通話、無限上…
微調後(fine-tuned):
預付卡和月租方案都是台灣的手機服務提供者所提供的選項，兩種方案都有其優點和缺點。
預付卡是一種無需簽訂合約或支付任何費用就能使用的手機服務。您只需要購買一個預付卡，並將它插入您的手機中，就可以開始使用了。預付卡通常以一定數量的通話時間、資料傳輸量或短信數量為限，當您使用完畢後，您可以再次購買新的預付卡繼續使用。
另一方面，月租方案則要求您簽訂一份合約並每個月支付固定的費用，以獲得特定數量的通話時間、資料傳輸量或短信數量。月租方案通常比預付卡更便宜，但如果您不常使用手機，您可能會浪費一些資源。
至於辦理時要準備的證件，通常需要提供身份證（如護照或國民身分證）和住址證明（如戶籍謄本或租金合同…
請推薦台南有名的夜市,並列出五樣必吃的小吃,每樣用一兩句話介紹。
微調前(base):
台南有許多著名的夜市，以下是其中幾個：
- 安平老街夜市：位於台南市中心，擁有豐富的美食選擇，是台南人最愛的夜市之一。
- 永康夜市：位於台南市永康區，提供各種小吃和手工藝品，是一個熱鬧且充滿活力的夜市。
- 中洲夜市：位於台南市中洲區，靠近海岸，提供海鮮小吃和其他在地特色食品。
以下是五樣必吃的小吃：
- 台南蚵仔煎：蚵仔煎是一道傳統的台南小吃，用新鮮的蚵仔（蚬子）煮熟後醃製，味道鹹酸甜，非常口水暢銷。
- 台南肉圓：肉圓是一種以豬肉和蔥作為主要材料製作的餅，外層金黃酥脆，內層軟嫩香滑，非常好吃。
- **台南
微調後(fine-tuned):
台南最有名的夜市是中華路夜市，位於台南市中心。這個夜市擁有豐富多彩的食物選擇，包括各種小吃、街頭美食和飲料。
以下是中華路夜市五樣必吃的小吃：
- 台南肉圓：這是一種傳統的台灣小吃，由軟嫩的肉餡包裹在米粉或麵條中製成。它通常配以甜豆沙醬和蔥花一起享用。
- 鹽酥雞：這是一種鹽味炸雞，外層金黃色脆脆，內層柔軟。它通常配以蔥花和辣椒一起享用。
- 豆花：這是一種由豆腐和糖水製成的甜點，通常配以紅豆沙醬和蔥花一起享用。
- 蚵仔煎：這是一道經典的台灣海鮮料理，使用新鮮的蚵仔和蔥花製成。它通常配以米飯一起享用。 5
「土豆」這個詞在台灣和中國大陸分別指什麼?請再舉三組兩岸說法不同的日常用語,整理成表格。
微調前(base):
"土豆" 這個詞在台灣和中國大陸的意思不同。
在台灣，「土豆」通常指的是馬鈴薯（Potato）。
在中國大陸，「土豆」則是指的是sweet potato（甜薯）。
以下是三組兩岸說法不同的日常用語：
| 語言 | 台灣 | 中國大陸 |
|---|---|---|
| 輕便車 | 駭二輪 | 小摩托 |
| 電腦主機 | 主機 | 機箱 |
| 電話亭 | 公共電話 | 電話亭 |
注意：以上列表中的例子可能會因為地域、年齡或文化等因素而有所不同。
微調後(fine-tuned):
| 台灣 | 中國大陸 |
|---|---|
| 土豆 | 馬鈴薯 |
| 雞蛋 | 鸡蛋 |
| 牛奶 | 牛奶 |
| 蝦子 | 虾仁 |
| 麵包 | 面包 |
| 飲料 | 飲料 |
| 電腦 | 电脑 |
| 手機 | 手机 |
| 網路 | 网络 |
| 電視 | 电视 |
| 電話 | 电话 |
| 電信 | 电信 |
| 電子商務 | 电子商务 |
| 網上購物 | 网上购物 |
| 網絡安全 | 网络安全 |
| 數位支付 | 数字支付 |
| 數位貨幣 | 数字货币 |
| 數位銀行 | 数字银行 |
| 數位金融 | 数字金融 |
| 數位經濟 | 数字经济 |
請解釋台灣的「垃圾不落地」政策,以及為什麼垃圾車會播放音樂?
微調前(base):
"垃圾不落地" 是台灣的一個垃圾管理政策，目的是減少垃圾在收集和運輸過程中掉落在地面。這項政策的主要目的在於保持城市環境清潔、美觀，並且保護環境。
根據這項政策，垃圾車通常會裝備特殊設計的垃圾箱或覆蓋物，以防止垃圾在運輸過程中掉落。另外，垃圾車也可能裝設噴水系統或其他設備來抑制垃圾掉落。
至於垃圾車播放音樂的原因，主要是為了提高民眾對垃圾分類和垃圾管理的意識，以及增加垃圾車的可視性和吸引力。垃圾車播放音樂可以幫助：
- 提高民眾對垃圾分類的認知：通過音樂傳達垃圾分類的重要性和方法。
- 增加垃圾車的可視性：音樂可以吸引民眾注意到�
微調後(fine-tuned):
台灣的「垃圾不落地」政策是指垃圾必須被收集並處理，不能隨意丟棄。這個政策旨在減少環境污染和保持社區清潔。
至於垃圾車播放音樂的原因，我無法提供任何相關資訊。垃圾車通常只負責收集和運送垃圾，並不涉及播放音樂。垃圾車可能會播放音樂以增加其可見性或吸引注意力，但這不是一個常見的做法。
限制
- 事實型內容(電信資費、店家、時刻)可能過時或幻覺,請勿當作查詢工具。
- 訓練資料含翻譯/合成語料,偶爾仍會滲出簡體中文或英文片段。
- 未做額外安全對齊,安全行為同 base model。
授權與合規
- 模型權重依 Llama 3.1 Community License 發佈(repo 內附 LICENSE.txt 與 NOTICE),使用須遵守 Acceptable Use Policy。
- 訓練資料 TaiwanChat 為 CC BY-NC 4.0:本模型僅供研究/非商業用途。
引用
@misc{lin2023taiwanllm,
title={Taiwan LLM: Bridging the Linguistic Divide with a Culturally Aligned Language Model},
author={Yen-Ting Lin and Yun-Nung Chen},
year={2023},
eprint={2311.17487},
archivePrefix={arXiv}
}
訓練使用 Unsloth。訓練程式碼:github.com/tun0000/llama32-taiwanchat-qlora
- Downloads last month
- 376
Model tree for steven0226/llama-3.1-8b-taiwan-chat
Base model
meta-llama/Llama-3.1-8B Finetuned
meta-llama/Llama-3.1-8B-Instruct Finetuned
unsloth/Meta-Llama-3.1-8B-Instruct