云碩科技 · xCloudinfo Corp. Limited

台灣的 AI 系統整合團隊，專注本地化大語言模型部署與繁體中文應用。
A Taiwan-based AI team focused on on-premise LLM deployment and Traditional Chinese applications.

關於我們

云碩科技（xCloudinfo Corp. Limited）是位於台灣的資訊團隊，協助企業在自有環境中導入大語言模型，強調資料留在本地、可自主維運。我們同時把整理、優化過的模型與量化版本分享於此。

我們做的事

• 企業內部 / 自架的大語言模型部署與維運
• 繁體中文（台灣）模型的調整與在地化
• 企業知識庫問答（RAG）整合
• GPU 推論環境調校（AMD ROCm / NVIDIA CUDA）

技術 · Tech Stack

微調 / 訓練　PyTorch · Transformers · TRL (SFT) · PEFT (LoRA / QLoRA) · Accelerate · bf16 · 知識蒸餾 (Self-Instruct) · MoE 逐專家即時反量化 (MXFP4) · 多機分散式訓練 (DDP / NCCL) · OpenCC 簡轉繁

量化 / 格式　llama.cpp · GGUF (k-quant Q4–Q8) · imatrix 校準 · 多模態投影器 mmproj · Abliteration（權重正交化）

推論 / 部署　vLLM · llama-server · Ollama · llama-swap · Ray（跨機張量平行）· Open WebUI · LiteLLM · nginx 負載平衡

平台 / 基礎設施　FastAPI · PostgreSQL · React + Vite + Tailwind · Docker / docker-compose · SSDLC · 自研 xCloudFinetune Studio 視覺化微調平台

算力 / 加速　xCloud 地端 GPU 算力資源池（NVIDIA + AMD 異質機群）· CUDA / ROCm · 單機與多機分散式微調 · 邊緣節點推論

模型發布

• TAIDE-Gemma 繁中系列 — 台灣本土繁體中文對話模型
• GGUF Quantizations — 開源模型的 llama.cpp 量化版本，方便在自家硬體運行

詳見下方 Collections。

聯絡

官方網站　https://xaitools.xcloudai.com.tw　·　Email　jefflee@cloudinfo.com.tw

_{模型授權依各自基礎模型之原始授權條款；GGUF 量化版本為重新封裝並標註來源。}