# Messprotokoll MATH-500 — warum eine Zahl allein nichts sagt

Diese Seite protokolliert, wie die Mathematik-Werte in der Modellkarte
zustande kommen, welche Fehler dabei aufgetreten sind und was noch fehlt.
Sie existiert, weil derselbe Messlauf je nach Auswertung **76 oder 98 Prozent**
ergibt — und beide Zahlen belegbar sind.

Wer Benchmark-Werte veröffentlicht, ohne das offenzulegen, veröffentlicht
eine Meinung.

## Der aktuelle Stand

| Modell | streng gewertet | nur abgeschlossene Antworten | abgeschnitten |
|---|---|---|---|
| Qwen3.8-27B Q8_0 | 76,0 % | 98,3 % | 34 von 150 (23 %) |
| Qwen3.8-27B Q6_K | 76,7 % | 97,5 % | 32 von 150 (21 %) |
| Qwen3.6-27B Q6_K | 76,0 % | 97,4 % | 33 von 150 (22 %) |

**Beide Spalten sind verzerrt, in entgegengesetzte Richtungen.** Die strenge
Wertung bestraft Antworten, die nur nicht ins Token-Budget passten. Die zweite
Spalte wirft genau diese Fälle weg — und das sind überwiegend die schweren
Aufgaben, also schönt sie nach oben. Die belastbare Zahl liegt dazwischen und
ist noch nicht gemessen.

## Fehler 1: das Token-Budget — offen

Der erste Durchgang lief mit **1.600 Token** Budget je Aufgabe. Das war die
denkbar schlechteste Wahl: knapp über dem 90.-Perzentil des tatsächlichen
Bedarfs.

Gemessener Bedarf der Antworten, die durchkamen:

| Stufe | Median | 80 % | größte abgeschlossene | abgeschnitten |
|---|---|---|---|---|
| L1 | 433 | 518 | 536 | 1 von 8 |
| L2 | 570 | 837 | 1.578 | 1 von 33 |
| L3 | 588 | 830 | 1.323 | 5 von 36 |
| L4 | 862 | 1.076 | 1.467 | 10 von 35 |
| **L5** | **980** | **1.235** | **1.575** | **17 von 38** |

Bei Stufe 5 wurde **fast die Hälfte** mitten im Rechenweg gekappt. Keine dieser
Antworten enthielt ein Ergebnis — der Abbruch ist echt, kein Extraktionsfehler.

Zum Vergleich: im Produktivbetrieb läuft dasselbe Modell mit **97.000 Token**
je Sitzung. Der Benchmark hat es also um den **Faktor 60** beschnitten und misst
damit teilweise das Budget statt das Modell.

**Behebung:** Nachmessung ausschließlich der abgeschnittenen Aufgaben mit
8.000 Token (`bench_nachmessen.py`). Kostet rund 25 Minuten je Modell statt
drei Stunden für eine Neumessung. Steht aus.

## Fehler 2: zu strenger Antwortvergleich — behoben

Von acht abgeschlossenen, aber als falsch gewerteten Antworten war **genau
eine wirklich falsch**. Die übrigen sieben waren Schreibvarianten:

| gegeben | erwartet | tatsächlich |
|---|---|---|
| `\frac{4}{3}` | `\frac43` | identisch, Kurzform ohne Klammern |
| `\frac{3}{4}` | `\frac 34` | identisch, Leerzeichen statt Klammern |
| `0,35625` | `.35625` | identisch, Dezimalkomma und führende Null |
| `5` | `x=5` | richtig gerechnet, ohne Zuweisungspräfix |
| `[-2, 7]` | `x \in [-2,7]` | richtig, ohne Mengenzeichen |
| `B` | `\text{(B)}` | richtig, Multiple-Choice-Buchstabe |
| `\frac{16}{49}` | `16/49` | identisch, andere Bruchschreibweise |
| `-0.09` | `\frac{9}{100}` | **echter Fehler** (Vorzeichen) |

Der Normalisierer fängt diese Formen jetzt ab. Wirkung ohne jede erneute
Modellrechnung — die Antworten lagen bereits vor:

| Modell | vorher | nachher |
|---|---|---|
| Qwen3.6-27B Q6_K | 70,7 % | **76,0 %** |
| Qwen3.8-27B Q6_K | 72,7 % | **76,7 %** |
| Qwen3.8-27B Q8_0 | 72,0 % | **76,0 %** |

**Vier bis fünf Prozentpunkte, die reine LaTeX-Konvention waren.** Der ältere
Selbsttest hatte diese Fälle nicht abgedeckt; er prüft sie jetzt (39 Prüfungen,
darunter jeder oben genannte Fall).

Das ist der Grund, warum `selftest_mathe.py` mitgeliefert wird: Bei
Mathematik-Benchmarks steckt der Fehler fast nie im Modell, sondern im
Vergleich.

## Fehler 3: Trainingskontamination — nicht geprüft

MATH-500 liegt seit Jahren öffentlich auf HuggingFace. Ob die getesteten
Modelle die Aufgaben im Training gesehen haben, ist **nicht untersucht**.

Für den Vergleich der Varianten untereinander ist das unerheblich —
Kontamination trifft alle sieben gleichermaßen. Für jeden Vergleich mit
fremden Modellen macht es die absoluten Zahlen wertlos.

**Geplante Prüfung:** Fortsetzungstest — dem Modell die ersten Wörter einer
Aufgabe vorlegen und sehen, ob es den Originaltext wörtlich vervollständigt.
Schlägt er an, gehört das als Warnung in die Modellkarte.

## Was die Zahlen deshalb bedeuten

**Belastbar:** Die sieben getesteten Varianten unterscheiden sich nicht. Alle
Konfidenzintervalle überlappen, in beiden Fächern (Code und Mathematik) und
über alle drei Auswertungsarten hinweg. Weder die neuere Generation noch die
höhere Quantisierung bringt einen messbaren Vorteil.

**Nicht belastbar:** Jeder absolute Wert und jeder Vergleich mit publizierten
MATH-500-Zahlen. Dort liegen Spitzenmodelle bei über 99 Prozent — allerdings
mit vollem Reasoning, das hier bewusst abgeschaltet war, und ohne
Budgetbeschränkung.

## Was noch aussteht

1. **Nachmessung** der abgeschnittenen Aufgaben mit 8.000 Token → schließt die
   Lücke zwischen 76 und 98 Prozent
2. **Omega-Messung**: Qwen3.8-27B Q8_0 mit vollem Reasoning, Budget aus einer
   vorgeschalteten Bedarfsmessung statt geraten, Vorgabe: keine Aufgabe bricht
   ab. Erst diese Zahl ist mit Leaderboards vergleichbar.
3. **Kontaminationsprüfung** per Fortsetzungstest

## Mitgelieferte Werkzeuge

| Datei | Zweck |
|---|---|
| `bench_mathe.py` | Messlauf gegen MATH-500 / GSM8K |
| `selftest_mathe.py` | 39 Prüfungen des Vergleichs — **vor** jedem Lauf ausführen |
| `bench_nachmessen.py` | misst nur die abgeschnittenen Aufgaben nach |
| `neubewerten.py` | wertet gespeicherte Läufe mit korrigiertem Vergleich neu |
| `run_omega.sh` | zweistufige Reasoning-Messung mit gemessenem statt geratenem Budget |

Alle Rohdaten liegen unter `bench/` — je Aufgabe die gelieferte Antwort, die
erwartete, der Token-Verbrauch und der Abbruchgrund. Wer die Auswertung
anzweifelt, kann sie nachrechnen.