Instructions to use GOBA-AI-Labs/PrunedHub-Qwen3-30B-A3B-JP-80pct-MxMoE with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Notebooks
Google Colab
Kaggle
Local Apps Settings

How to use GOBA-AI-Labs/PrunedHub-Qwen3-30B-A3B-JP-80pct-MxMoE with llama.cpp:

Install (macOS, Linux)

curl -LsSf https://llama.app/install.sh | sh
# Start a local OpenAI-compatible server with a web UI:
llama serve -hf GOBA-AI-Labs/PrunedHub-Qwen3-30B-A3B-JP-80pct-MxMoE
# Run inference directly in the terminal:
llama cli -hf GOBA-AI-Labs/PrunedHub-Qwen3-30B-A3B-JP-80pct-MxMoE

Install from WinGet (Windows)

winget install llama.cpp
# Start a local OpenAI-compatible server with a web UI:
llama serve -hf GOBA-AI-Labs/PrunedHub-Qwen3-30B-A3B-JP-80pct-MxMoE
# Run inference directly in the terminal:
llama cli -hf GOBA-AI-Labs/PrunedHub-Qwen3-30B-A3B-JP-80pct-MxMoE

Use pre-built binary

# Download pre-built binary from:
# https://github.com/ggerganov/llama.cpp/releases
# Start a local OpenAI-compatible server with a web UI:
./llama-server -hf GOBA-AI-Labs/PrunedHub-Qwen3-30B-A3B-JP-80pct-MxMoE
# Run inference directly in the terminal:
./llama-cli -hf GOBA-AI-Labs/PrunedHub-Qwen3-30B-A3B-JP-80pct-MxMoE

Build from source code

git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
cmake -B build
cmake --build build -j --target llama-server llama-cli
# Start a local OpenAI-compatible server with a web UI:
./build/bin/llama-server -hf GOBA-AI-Labs/PrunedHub-Qwen3-30B-A3B-JP-80pct-MxMoE
# Run inference directly in the terminal:
./build/bin/llama-cli -hf GOBA-AI-Labs/PrunedHub-Qwen3-30B-A3B-JP-80pct-MxMoE

Use Docker

docker model run hf.co/GOBA-AI-Labs/PrunedHub-Qwen3-30B-A3B-JP-80pct-MxMoE

LM Studio
Jan

vLLM

How to use GOBA-AI-Labs/PrunedHub-Qwen3-30B-A3B-JP-80pct-MxMoE with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "GOBA-AI-Labs/PrunedHub-Qwen3-30B-A3B-JP-80pct-MxMoE"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "GOBA-AI-Labs/PrunedHub-Qwen3-30B-A3B-JP-80pct-MxMoE",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker

docker model run hf.co/GOBA-AI-Labs/PrunedHub-Qwen3-30B-A3B-JP-80pct-MxMoE

Ollama
How to use GOBA-AI-Labs/PrunedHub-Qwen3-30B-A3B-JP-80pct-MxMoE with Ollama:
```
ollama run hf.co/GOBA-AI-Labs/PrunedHub-Qwen3-30B-A3B-JP-80pct-MxMoE
```

Unsloth Studio

How to use GOBA-AI-Labs/PrunedHub-Qwen3-30B-A3B-JP-80pct-MxMoE with Unsloth Studio:

Install Unsloth Studio (macOS, Linux, WSL)

curl -fsSL https://unsloth.ai/install.sh | sh
# Run unsloth studio
unsloth studio -H 0.0.0.0 -p 8888
# Then open http://localhost:8888 in your browser
# Search for GOBA-AI-Labs/PrunedHub-Qwen3-30B-A3B-JP-80pct-MxMoE to start chatting

Install Unsloth Studio (Windows)

irm https://unsloth.ai/install.ps1 | iex
# Run unsloth studio
unsloth studio -H 0.0.0.0 -p 8888
# Then open http://localhost:8888 in your browser
# Search for GOBA-AI-Labs/PrunedHub-Qwen3-30B-A3B-JP-80pct-MxMoE to start chatting

Using HuggingFace Spaces for Unsloth

# No setup required
# Open https://huggingface.co/spaces/unsloth/studio in your browser
# Search for GOBA-AI-Labs/PrunedHub-Qwen3-30B-A3B-JP-80pct-MxMoE to start chatting

How to use GOBA-AI-Labs/PrunedHub-Qwen3-30B-A3B-JP-80pct-MxMoE with Pi:

Start the llama.cpp server

# Install llama.cpp:
brew install llama.cpp
# Start a local OpenAI-compatible server:
llama serve -hf GOBA-AI-Labs/PrunedHub-Qwen3-30B-A3B-JP-80pct-MxMoE

Configure the model in Pi

# Install Pi:
npm install -g @mariozechner/pi-coding-agent
# Add to ~/.pi/agent/models.json:
{
  "providers": {
    "llama-cpp": {
      "baseUrl": "http://localhost:8080/v1",
      "api": "openai-completions",
      "apiKey": "none",
      "models": [
        {
          "id": "GOBA-AI-Labs/PrunedHub-Qwen3-30B-A3B-JP-80pct-MxMoE"
        }
      ]
    }
  }
}

Run Pi

# Start Pi in your project directory:
pi

Hermes Agent new

How to use GOBA-AI-Labs/PrunedHub-Qwen3-30B-A3B-JP-80pct-MxMoE with Hermes Agent:

Start the llama.cpp server

# Install llama.cpp:
brew install llama.cpp
# Start a local OpenAI-compatible server:
llama serve -hf GOBA-AI-Labs/PrunedHub-Qwen3-30B-A3B-JP-80pct-MxMoE

Configure Hermes

# Install Hermes:
curl -fsSL https://hermes-agent.nousresearch.com/install.sh | bash
hermes setup
# Point Hermes at the local server:
hermes config set model.provider custom
hermes config set model.base_url http://127.0.0.1:8080/v1
hermes config set model.default GOBA-AI-Labs/PrunedHub-Qwen3-30B-A3B-JP-80pct-MxMoE

Run Hermes

hermes

Atomic Chat new

OpenClaw new

How to use GOBA-AI-Labs/PrunedHub-Qwen3-30B-A3B-JP-80pct-MxMoE with OpenClaw:

Start the llama.cpp server

# Install llama.cpp:
brew install llama.cpp
# Start a local OpenAI-compatible server:
llama serve -hf GOBA-AI-Labs/PrunedHub-Qwen3-30B-A3B-JP-80pct-MxMoE

Configure OpenClaw

# Install OpenClaw:
npm install -g openclaw@latest
# Register the local server and set it as the default model:
openclaw onboard --non-interactive --mode local \
  --auth-choice custom-api-key \
  --custom-base-url http://127.0.0.1:8080/v1 \
  --custom-model-id "GOBA-AI-Labs/PrunedHub-Qwen3-30B-A3B-JP-80pct-MxMoE" \
  --custom-provider-id llama-cpp \
  --custom-compatibility openai \
  --custom-text-input \
  --accept-risk \
  --skip-health

Run OpenClaw

openclaw agent --local --agent main --message "Hello from Hugging Face"

Docker Model Runner
How to use GOBA-AI-Labs/PrunedHub-Qwen3-30B-A3B-JP-80pct-MxMoE with Docker Model Runner:
```
docker model run hf.co/GOBA-AI-Labs/PrunedHub-Qwen3-30B-A3B-JP-80pct-MxMoE
```

Lemonade

How to use GOBA-AI-Labs/PrunedHub-Qwen3-30B-A3B-JP-80pct-MxMoE with Lemonade:

Pull the model

# Download Lemonade from https://lemonade-server.ai/
lemonade pull GOBA-AI-Labs/PrunedHub-Qwen3-30B-A3B-JP-80pct-MxMoE

Run and chat with the model

lemonade run user.PrunedHub-Qwen3-30B-A3B-JP-80pct-MxMoE-{{QUANT_TAG}}

List all available models

lemonade list

Qwen3-30B-A3B JP 80% MxMoE: 言語認識 Expert Pruning + 混合量子化

Qwen3-30B-A3B の日本語最適化圧縮バリアント。2つの技術を組み合わせて作成:

言語認識 Expert Pruning (80% 保持): 日本語 specialist expert を保護しながら calibration ベースで重要度スコアリング
MxMoE 混合量子化: 層ごとに適応的な精度 (重要層は Q5K、標準層は Q4K、冗長層は Q3K)

日本語タスク向けに最適化。英語向けは EN バリアントを参照。

特長

13.45 GB: 16 GB RAM で全 GPU 常駐推論が可能
22% サイズ削減 (オリジナル Q4_K_M: 17.28 GB)
MMLU 73% (no-think) / think-ON モードも利用可能
GSM8K 96% (no-think, 50Q) -- 数学推論能力を完全保持
日本語品質 85% (20Q) -- 地理・文化・科学・数学・言語の 6 カテゴリ
日本語 specialist expert を保護: 30 個の日本語特化 expert を優先保持
約 57 tok/s (Apple M4 Pro 24GB、llama-server、Metal GPU)
llama.cpp 互換 (build 7970+) および moe-stream 対応

ベンチマーク結果

ベンチマーク	オリジナル (17.28 GB)	本モデル (13.45 GB)	差分
MMLU (0-shot, 100Q, no-think)	77%	73%	-4 pp
MMLU STEM	--	60.0%	--
MMLU 人文科学	--	73.3%	--
MMLU 社会科学	--	90.0%	--
GSM8K (0-shot, 50Q, no-think)	92%*	96%	+4 pp
日本語品質 (20Q, 6 カテゴリ)	--	85%	--
推論速度 (M4 Pro, llama-server)	約 57 tok/s	約 57 tok/s	ほぼ同等
ファイルサイズ	17.28 GB	13.45 GB	-22.2%

モデル仕様

項目	値
ベースモデル	Qwen/Qwen3-30B-A3B
総パラメータ数	300 億 (トークンあたり 30 億がアクティブ)
アーキテクチャ	Transformer + DeltaNet ハイブリッド、Sparse MoE
MoE 層数	36 (+ Attention 12 層)
Expert 数/層	102 (128 から削減)
ルーティング	Top-8、softmax
Expert FFN 次元	768 (SwiGLU)
共有 Expert FFN 次元	6144
コンテキスト長	32K トークン
量子化	MxMoE -- Q5K (12 層) / Q4K (24 層) / Q3K (12 層)
Pruning	日本語認識 calibration、80% Expert 保持
ファイルサイズ	13.45 GB
ライセンス	Apache 2.0

使い方

llama.cpp による推論 (推奨)

# llama-server で起動 (Metal GPU、約 57 tok/s)
llama-server \
  -m Qwen3-30B-A3B-pruned80-JA-MxMoE.gguf \
  --port 8090 \
  -ngl 99 \
  -c 4096

moe-stream による推論 (代替)

moe-stream でも推論可能です:

git clone https://github.com/GOBA-AI-Labs/moe-stream
cd moe-stream && cargo build --release --features accelerate

./target/release/moe-stream-server \
  --model Qwen3-30B-A3B-pruned80-JA-MxMoE.gguf \
  --port 11434

OpenAI 互換 API で使用

llama-server または moe-stream-server 起動後:

from openai import OpenAI

client = OpenAI(base_url="http://localhost:8090/v1", api_key="none")

response = client.chat.completions.create(
    model="default",
    messages=[{"role": "user", "content": "量子もつれについて簡単に説明してください。"}],
    max_tokens=512,
    temperature=0.7,
)
print(response.choices[0].message.content)

必要環境

llama.cpp (build 7970+) または moe-stream
16 GB RAM 以上 (モデル約 13.5 GB + KV キャッシュ)
Apple Silicon (Metal) 推奨、CUDA も対応

圧縮手法

ステップ 1: 言語認識 Expert Pruning (80% 保持)

各 Expert は calibration ベースの重要度で評価:

importance(l, e) = activation_magnitude(l, e) × routing_frequency(l, e)

本モデルの特徴は日本語 specialist expert の保護です。Qwen3-30B-A3B では 128 expert 中約 30 expert が日本語に特化していることが分析で判明しており、これらの expert を優先的に保持します。

ステップ 2: MxMoE 層レベル混合量子化

Pruning 後、各層の Expert FFN テンソルを重要度に基づき異なる精度で量子化:

Tier	層数	量子化	根拠
Tier 1 (上位 25%)	12 層	Q5_K	重要層 -- 高い重要度とルーティング頻度
Tier 2 (中間 50%)	24 層	Q4_K	標準精度
Tier 3 (下位 25%)	12 層	Q3_K	冗長層 -- 低い重要度

制約:

Attention 層 (12 層) は Tier 2 以上を保証
日本語 specialist 多含層は Tier 2 以上を保証
層重要度 = 平均 Expert 重要度 × 平均ルーティング頻度

サイズ内訳

オリジナル Q4_K_M:    17.28 GB (128 experts × 48 layers)
80% Pruning 後:       約 15.0 GB (102 experts × 48 layers)
MxMoE 適用後:         13.45 GB (Q5K/Q4K/Q3K 混合)
総削減率:              -22.2%

EN バリアントとの比較

	EN モデル	JP モデル (本モデル)
MMLU (no-think)	70%	73%
STEM	57.5%	60.0%
人文科学	70.0%	73.3%
社会科学	86.7%	90.0%
GSM8K (no-think)	94%	96%
日本語品質 (20Q)	--	85%
サイズ	13.45 GB	13.45 GB
最適化対象	英語	日本語 + 多言語

JP モデルが全カテゴリで EN モデルを上回っています。これは日本語 specialist expert が STEM 推論にも寄与しているためです。

Pruning Curve (Qwen3-30B-A3B)

保持率	Expert 数/層	サイズ	MMLU	備考
100% (オリジナル)	128	17.28 GB	77%	ベースライン
90%	115	15.6 GB	75%	軽微な劣化
80% (本モデル)	102	13.45 GB*	73%	最適なサイズ品質トレードオフ
70%	90	12.3 GB	51%	品質急落 (cliff)
60%	77	--	崩壊	使用不可

* MxMoE 込み。80% Pruning のみ (Q4_K_M 均一) では約 15.0 GB。

制限事項

後処理なし: Pruning + 再量子化のみ、ファインチューニングなし
STEM 感度: STEM 精度 (60.0%) は人文科学 (73.3%) や社会科学 (90.0%) より圧縮の影響を受けやすい

再現手順

Pruning スクリプトとプランは GOBA-AI-Labs/moe-prune で公開:

# 1. Qwen3-30B-A3B Q4_K_M GGUF をダウンロード

# 2. 重要度スコア生成
python scripts/qwen3_30b_importance.py

# 3. 言語認識 Pruning (80% 保持、JA 保護)
python scripts/reprune_gguf.py \
  Qwen3-30B-A3B-Q4_K_M.gguf \
  Qwen3-30B-A3B-pruned80-JA.gguf \
  results/calibration/qwen3_30b_a3b/plan_80pct_ja_aware.json

# 4. MxMoE 混合量子化
llama-quantize --allow-requantize \
  --tensor-type-file results/mxmoe/tensor_types_pruned.txt \
  Qwen3-30B-A3B-pruned80-JA.gguf \
  Qwen3-30B-A3B-pruned80-JA-MxMoE.gguf q4_k_m

引用

@misc{goba2026moe,
  title   = {Language-Aware Expert Pruning with Mixed Quantization for MoE Language Models},
  author  = {GOBA-AI-Labs},
  year    = {2026},
  url     = {https://github.com/GOBA-AI-Labs/moe-prune},
  note    = {日本語specialist expert保護 + MxMoE混合量子化で22\%サイズ削減を達成}
}

謝辞

Qwen Team -- Qwen3-30B-A3B の Apache 2.0 公開
llama.cpp -- GGUF フォーマットと llama-quantize ツール
moe-stream -- MoE 推論エンジン

ライセンス

本モデルはベースモデル (Qwen/Qwen3-30B-A3B) の Apache 2.0 ライセンスを継承します。

Downloads last month: 8

GGUF

Model size

25B params

Architecture

qwen3moe

Hardware compatibility

We're not able to determine the quantization variants.

View all variants

Model tree for GOBA-AI-Labs/PrunedHub-Qwen3-30B-A3B-JP-80pct-MxMoE

Base model

Qwen/Qwen3-30B-A3B-Base

Finetuned

Qwen/Qwen3-30B-A3B

Quantized

(128)

this model

GOBA-AI-Labs
/

PrunedHub-Qwen3-30B-A3B-JP-80pct-MxMoE

Qwen3-30B-A3B JP 80% MxMoE: 言語認識 Expert Pruning + 混合量子化

特長

ベンチマーク結果

モデル仕様

使い方

llama.cpp による推論 (推奨)

moe-stream による推論 (代替)

OpenAI 互換 API で使用

必要環境

圧縮手法

ステップ 1: 言語認識 Expert Pruning (80% 保持)

ステップ 2: MxMoE 層レベル混合量子化

サイズ内訳

EN バリアントとの比較

Pruning Curve (Qwen3-30B-A3B)

制限事項

再現手順

引用

謝辞

ライセンス

Model tree for GOBA-AI-Labs/PrunedHub-Qwen3-30B-A3B-JP-80pct-MxMoE

Dataset used to train GOBA-AI-Labs/PrunedHub-Qwen3-30B-A3B-JP-80pct-MxMoE