---
license: gemma
base_model: xCloudinfo/xVITA-Embed-300M-zhTW
language:
- zh
pipeline_tag: sentence-similarity
tags:
- gguf
- llama.cpp
- ollama
- embedding
- retrieval
- rag
- traditional-chinese
- zh-tw
- taiwan
---

# xVITA-Embed-300M-zhTW — GGUF

[xCloudinfo/xVITA-Embed-300M-zhTW](https://huggingface.co/xCloudinfo/xVITA-Embed-300M-zhTW)（云碩科技自製繁體中文檢索 embedding，DRCD test hit@1 86.0、超越 bge-m3 / multilingual-e5-large）的 GGUF 量化版，適用 llama.cpp 與 ollama。

> **2026-07-18 重要修復**：本日以前的所有 GGUF 檔因轉檔工具與 sentence-transformers 5.6 模組命名不相容，
> **缺少模型的 Dense 投影層**，向量空間與 safetensors 版不一致（cosine 相似度失效）。請重新下載本日後的檔案。
> 現版本已逐一與 safetensors 版驗證向量一致（f16 cosine = 1.0、Q8_0 = 0.9998），並已把 mean pooling
> 寫入 GGUF metadata，llama.cpp 無須再手動指定 `--pooling`。

## 兩種版本，依場景選

| 版本 | context | 檔案 | 大小 | 適用 |
|---|---|---|---|---|
| **標準版（v2）** | 8192 | xcloud-emb-zhtw-f16.gguf | 584 MB | 一般 RAG、段落級檢索（**短文分數最佳 86.0**） |
| | | xcloud-emb-zhtw-Q8_0.gguf | 313 MB | |
| **長文特化版** | 8192 | xcloud-emb-zhtw-8k-f16.gguf | 584 MB | 長文件整篇檢索、法規／報告全文（**長文分數最佳 84.7**） |
| | | xcloud-emb-zhtw-8k-Q8_0.gguf | 313 MB | |

- 段落級 RAG（chunk ≤ 2048 tokens）用標準版，短文檢索分數最佳。
- 把整份長文件當單一檢索單位（整篇法規、報告全文）用長文特化版。
- 兩版皆 768 維、同一 prompt 格式、皆支援 8192 tokens 輸入；差別在訓練取向（標準版短文最佳、長文特化版長文最佳）。
- Q8_0 幾乎無損（與 f16 cosine 0.9998）、體積小一半，一般首選。

## 評測（DRCD test，與 safetensors 版同 protocol）

短段落檢索（3,493 查詢 / 1,000 段落庫）：

| 模型 | hit@1 | hit@5 | hit@10 |
|---|---|---|---|
| **標準版 v2（0.3B）** | **86.0** | **97.4** | **98.7** |
| multilingual-e5-large（0.56B） | 82.8 | 95.3 | 97.0 |
| BAAI/bge-m3（0.57B） | 82.2 | 95.6 | 97.2 |

長文整篇檢索（378 篇完整文章 / 3,493 查詢）：

| 模型 | hit@1 | hit@5 | hit@10 |
|---|---|---|---|
| **長文特化版** | **84.7** | **94.5** | **96.6** |
| 標準版 v2 | 79.2 | 91.2 | 94.3 |
| BAAI/bge-m3（8k 原生） | 77.5 | 90.3 | 93.4 |

長文特化版在完整文章檢索上勝過 bge-m3 原生 8k 達 7.2 個百分點。

## llama.cpp

```bash
# 標準版（段落級 RAG）
llama-server -m xcloud-emb-zhtw-Q8_0.gguf --embeddings --port 8080
# 長文特化版（整篇長文件檢索）
llama-server -m xcloud-emb-zhtw-8k-Q8_0.gguf --embeddings --port 8080
```

查詢端與文檔端請使用 EmbeddingGemma 規格 prompt：

- 查詢：`task: search result | query: {你的問題}`
- 文檔：`title: none | text: {文檔內容}`

完整評測、訓練細節與誠實聲明見主 repo model card。

---

云碩科技股份有限公司（xCloudinfo Corp. Limited）

## 授權

底模依 [Gemma Terms of Use](https://ai.google.dev/gemma/terms) 授權，本量化模型之使用同受其約束。

**Gemma 合規聲明**

> Gemma is provided under and subject to the Gemma Terms of Use found at [ai.google.dev/gemma/terms](https://ai.google.dev/gemma/terms)

- 本模型為 **Google EmbeddingGemma-300m 的修改版本（Model Derivative）**，經繁體中文檢索語料微調後轉換為 GGUF 格式。
- 使用者再散布本模型或其衍生物時，須一併傳遞 Gemma Terms of Use 第 3.2 節之使用限制。

> 註：GGUF 檔名維持 `xcloud-emb-*` 前綴不變，以免既有下載腳本與 ollama 設定失效；模型本身即 xVITA-Embed-300M-zhTW。