gemma-4-26b-a4b-it-mxfp4-mlx

Checkpoint MLX quantifie pour Apple Silicon, derive de google/gemma-4-26B-A4B-it.

Ce depot publie une variante locale preparee pour Oriloq MLX. L'objectif n'est pas de reproduire a l'identique une quantification communautaire standard, mais de diffuser un checkpoint telechargeable tel quel par identifiant de repo Hugging Face.

Resume

• Famille : Gemma 4 26B A4B
• Base model : google/gemma-4-26B-A4B-it
• Repo id conseille : NeoRoth/gemma-4-26b-a4b-it-mxfp4-mlx
• Modalites : text, image
• Architecture : MoE
• Couches texte : 30
• Profil public de quantification : MXFP4 4-bit + attention affine 8-bit
• Quantification par defaut : mxfp4 4-bit, group_size=32
• Overrides par couche : 120
• Taille totale des poids : 14.12 GB
• Plus gros shard : 5.00 GB

Ce qui differe des quantifications habituelles

• Quantification non uniforme : les projections d'attention utilisent 120 overrides par couche en affine 8-bit, alors que le mode global reste en MXFP4 4-bit.
• Les composants sensibles restent en haute precision quand c'est necessaire : tours vision/audio, projecteurs multimodaux, normes et router MoE ne sont pas traites comme de simples poids MXFP4 uniformes.
• Les embeddings token suivent la politique locale du checkpoint. Sur les variantes standard publiees ici, ils ne sont pas presentes comme une quantification HF canonique quelconque : il s'agit d'un export MLX prepare pour ce projet.

Fichiers de poids

• model-00001-of-00003.safetensors
• model-00002-of-00003.safetensors
• model-00003-of-00003.safetensors

Format et compatibilite

• Format de repo : safetensors + config.json + tokenizer/chat template.
• Ce depot est pense pour les chargeurs MLX capables de lire la section quantization de config.json, y compris les overrides par couche.
• Le repo est publie en tant que checkpoint MLX complet. Il ne s'agit pas d'un simple alias vers le modele Google original.

Telechargement

Python

from huggingface_hub import snapshot_download

local_path = snapshot_download("NeoRoth/gemma-4-26b-a4b-it-mxfp4-mlx")
print(local_path)

CLI Hugging Face

hf download NeoRoth/gemma-4-26b-a4b-it-mxfp4-mlx --local-dir ./models/gemma-4-26b-a4b-it-mxfp4-mlx

Notes de publication

• Licence du checkpoint heritee du modele de base : Gemma Terms of Use.
• Attribution recommandee : mentionner google/gemma-4-26B-A4B-it comme modele source.
• Les differences de quantification sont documentees ici pour eviter de faire passer ce checkpoint pour une quantification MXFP4 "standard" ou "officielle".

Licence et conditions d'utilisation

Ce checkpoint est un dérivé de Gemma (modèle de base google/gemma-4-26B-A4B-it) et reste soumis aux Gemma Terms of Use. Il n'est pas sous licence Apache 2.0.

Gemma is provided under and subject to the Gemma Terms of Use found at ai.google.dev/gemma/terms

• Conditions complètes : https://ai.google.dev/gemma/terms
• Politique d'usage interdit (Prohibited Use Policy) : https://ai.google.dev/gemma/prohibited_use_policy
• Usage commercial autorisé dans le strict respect de ces conditions.
• En téléchargeant ou en utilisant ce checkpoint, vous acceptez les Gemma Terms of Use et la Prohibited Use Policy, qui se propagent à tout usage en aval.

Le fichier LICENSE de ce dépôt rappelle l'avis Gemma à transmettre aux utilisateurs downstream.