xCloudinfo/xVITA-Embed-300M-zhTW-GGUF

xVITA-Embed-300M-zhTW — GGUF

xCloudinfo/xVITA-Embed-300M-zhTW（云碩科技自製繁體中文檢索 embedding，DRCD test hit@1 86.0、超越 bge-m3 / multilingual-e5-large）的 GGUF 量化版，適用 llama.cpp 與 ollama。

2026-07-18 重要修復：本日以前的所有 GGUF 檔因轉檔工具與 sentence-transformers 5.6 模組命名不相容， 缺少模型的 Dense 投影層，向量空間與 safetensors 版不一致（cosine 相似度失效）。請重新下載本日後的檔案。 現版本已逐一與 safetensors 版驗證向量一致（f16 cosine = 1.0、Q8_0 = 0.9998），並已把 mean pooling 寫入 GGUF metadata，llama.cpp 無須再手動指定 --pooling。

兩種版本，依場景選

版本	context	檔案	大小	適用
標準版（v2）	8192	xcloud-emb-zhtw-f16.gguf	584 MB	一般 RAG、段落級檢索（短文分數最佳 86.0）
		xcloud-emb-zhtw-Q8_0.gguf	313 MB
長文特化版	8192	xcloud-emb-zhtw-8k-f16.gguf	584 MB	長文件整篇檢索、法規／報告全文（長文分數最佳 84.7）
		xcloud-emb-zhtw-8k-Q8_0.gguf	313 MB

• 段落級 RAG（chunk ≤ 2048 tokens）用標準版，短文檢索分數最佳。
• 把整份長文件當單一檢索單位（整篇法規、報告全文）用長文特化版。
• 兩版皆 768 維、同一 prompt 格式、皆支援 8192 tokens 輸入；差別在訓練取向（標準版短文最佳、長文特化版長文最佳）。
• Q8_0 幾乎無損（與 f16 cosine 0.9998）、體積小一半，一般首選。

評測（DRCD test，與 safetensors 版同 protocol）

短段落檢索（3,493 查詢 / 1,000 段落庫）：

模型	hit@1	hit@5	hit@10
標準版 v2（0.3B）	86.0	97.4	98.7
multilingual-e5-large（0.56B）	82.8	95.3	97.0
BAAI/bge-m3（0.57B）	82.2	95.6	97.2

長文整篇檢索（378 篇完整文章 / 3,493 查詢）：

模型	hit@1	hit@5	hit@10
長文特化版	84.7	94.5	96.6
標準版 v2	79.2	91.2	94.3
BAAI/bge-m3（8k 原生）	77.5	90.3	93.4

長文特化版在完整文章檢索上勝過 bge-m3 原生 8k 達 7.2 個百分點。

llama.cpp

# 標準版（段落級 RAG）
llama-server -m xcloud-emb-zhtw-Q8_0.gguf --embeddings --port 8080
# 長文特化版（整篇長文件檢索）
llama-server -m xcloud-emb-zhtw-8k-Q8_0.gguf --embeddings --port 8080

查詢端與文檔端請使用 EmbeddingGemma 規格 prompt：

• 查詢：task: search result | query: {你的問題}
• 文檔：title: none | text: {文檔內容}

完整評測、訓練細節與誠實聲明見主 repo model card。

---

云碩科技股份有限公司（xCloudinfo Corp. Limited）

授權

底模依 Gemma Terms of Use 授權，本量化模型之使用同受其約束。

Gemma 合規聲明

Gemma is provided under and subject to the Gemma Terms of Use found at ai.google.dev/gemma/terms

• 本模型為 Google EmbeddingGemma-300m 的修改版本（Model Derivative），經繁體中文檢索語料微調後轉換為 GGUF 格式。
• 使用者再散布本模型或其衍生物時，須一併傳遞 Gemma Terms of Use 第 3.2 節之使用限制。

註：GGUF 檔名維持 xcloud-emb-* 前綴不變，以免既有下載腳本與 ollama 設定失效；模型本身即 xVITA-Embed-300M-zhTW。