FEHLERANALYSE.md

Wo genau hat sich das Modell verrechnet?

Diese Seite legt die Fehlschläge der MATH-500-Messung einzeln offen — Aufgabe, Musterlösung, gelieferte Antwort. Wer die Quote von 92 Prozent anzweifelt, kann hier nachsehen, woraus die fehlenden acht Prozent bestehen.

Die kurze Fassung vorweg: wir haben keine einzige Aufgabe gefunden, die das Modell wirklich nicht kann.

Die Ausgangslage

150 Aufgaben, Qwen3.8-27B Q8_0, volles Reasoning, 8.000 Token Budget. 138 richtig, 13 Fehlschläge. Die 13 zerfallen so:

Art	Anzahl
keine Antwort geliefert	10
Fehler im Antwortvergleich, nicht im Modell	2
falsches Ergebnis geliefert	1

Der einzige Fall mit falschem Ergebnis

Aufgabe (test/intermediate_algebra/102.json, Stufe 4, Intermediate Algebra):

Compute $$\sum_{n=1}^{\infty} \frac{F_{n+1}}{F_n F_{n+2}}$$ where $F_n$ denotes the $n$th Fibonacci number, so $F_0 = 0$ and $F_1 = 1$.

Musterlösung. Weil $F_{n+1} = F_{n+2} - F_n$ ist, lässt sich jeder Summand aufspalten:

$$\frac{F_{n+1}}{F_n{F}_{n+2}}=\frac{F_{n+2}-F_n}{F_n{F}_{n+2}}=\frac{1}{F_n}-\frac{1}{F_{n+2}}\backslash frac\{F\_\{n+1\}\}\{F\_n\; F\_\{n+2\}\}\; =\; \backslash frac\{F\_\{n+2\}-F\_n\}\{F\_n\; F\_\{n+2\}\}\; =\; \backslash frac\{1\}\{F\_n\}\; -\; \backslash frac\{1\}\{F\_\{n+2\}\}$$

Das ist eine Teleskopsumme: fast alles hebt sich weg, übrig bleiben die beiden ersten Terme.

$$(\frac{1}{F_1}-\frac{1}{F_3})+(\frac{1}{F_2}-\frac{1}{F_4})+(\frac{1}{F_3}-\frac{1}{F_5})+\cdots =\frac{1}{F_1}+\frac{1}{F_2}=1+1=\boxed{{\displaystyle 2}}\backslash left(\backslash frac\{1\}\{F\_1\}-\backslash frac\{1\}\{F\_3\}\backslash right)\; +\; \backslash left(\backslash frac\{1\}\{F\_2\}-\backslash frac\{1\}\{F\_4\}\backslash right)\; +\; \backslash left(\backslash frac\{1\}\{F\_3\}-\backslash frac\{1\}\{F\_5\}\backslash right)\; +\; \backslash dots\; =\; \backslash frac\{1\}\{F\_1\}\; +\; \backslash frac\{1\}\{F\_2\}\; =\; 1\; +\; 1\; =\; \backslash boxed\{2\}$$

Gelieferte Antwort im Messlauf: 1.

Der Fehler liegt genau an der Stelle, an der Teleskopsummen üblicherweise schiefgehen: Es bleiben zwei Terme stehen, nicht einer. Wer nur $\frac{1}{F_1}$ behält und $\frac{1}{F_2}$ übersieht, landet bei 1. Da $F_1 = F_2 = 1$ ist, sieht das Zwischenergebnis dabei völlig unauffällig aus — es fehlt kein Bruch, es fehlt eine Eins.

Der Fehler ist nicht reproduzierbar

Dieselbe Aufgabe, dieselben Einstellungen, mehrfach wiederholt:

Versuche	richtig
ursprünglicher Messlauf	0 von 1
Wiederholungen danach	21 von 21
gesamt	21 von 22

Ein Fehlschlag auf 22 Versuche — Punktschätzer 4,5 Prozent, 95-Prozent-Intervall 0,1 bis 22,8 Prozent. Das Modell kann diese Aufgabe; es ist ihm einmal danebengegangen.

Das ist der eigentliche Befund dieser Seite: Was in einer Einzelmessung wie ein Wissenslücke aussieht, ist eine Streuung. Wer denselben Benchmark zweimal fährt, bekommt zwei verschiedene Zahlen — und bei 150 Aufgaben mit je ein paar Prozent Ausrutscherrisiko sind ein paar Ausrutscher der Normalfall, nicht die Ausnahme.

Die zehn Aufgaben ohne Antwort

Hier wurde nichts falsch gerechnet — es kam gar kein Ergebnis, weil das abschließende \boxed{} nie geschrieben wurde. Alle zehn wurden mit 32.000 Token statt 8.000 nachgemessen. Neun davon lösen sich, keine einzige lief erneut ins Limit.

Aufgabe	Token in der Nachmessung	Ergebnis
L5	1.527	richtig
L3	1.830	richtig
L5	7.515	richtig
L5	7.698	richtig
L4	7.976	richtig
L5	10.658	richtig
L3	12.907	richtig
L5	14.709	richtig
L5	14.816	richtig
L5	16.044	Wiederholungsschleife, leere Antwort

Daraus lassen sich drei verschiedene Ursachen ablesen:

Erstens: echter Mehrbedarf. Fünf Aufgaben brauchten mehr als 8.000 Token, die aufwendigste 14.816. Diese Fälle lösen sich schlicht mit größerem Budget.

Zweitens: Streuung. Zwei Aufgaben, die im Hauptlauf 8.000 Token rissen, waren in der Nachmessung mit 1.527 beziehungsweise 1.830 Token erledigt — ein Fünftel des vorherigen Verbrauchs. Gleiche Aufgabe, gleiches Modell, gleiche Temperatur, nur ein anderer Durchlauf. Zwei weitere lagen mit 7.515 und 7.976 knapp unter der alten Grenze, waren also Grenzfälle.

Drittens: Wiederholungskollaps. Genau ein Fall. Der Denktext endete so:

 ? x= ? x= ? x= ? x= ? x= ? x= ? x= ? x= ? x= ? x= ? x= ? x= …

Hunderte Male hintereinander. Danach setzte das Modell das Ende-Zeichen und lieferte einen leeren Antworttext. Verbraucht waren dabei 16.044 von 32.000 Token — das Budget war halb leer, der Abbruchgrund lautete stop, nicht length.

Gegen diesen dritten Fall hilft kein größeres Budget. Er ist der einzige echte Ausfall im ganzen Feld, und dagegen hilft nur ein zweiter Versuch.

Die zwei Fälle, die unser Messgerüst falsch bewertet hat

Beide sind inzwischen repariert und stehen als Prüffälle im Selbsttest.

gelieferte Antwort	Musterlösung	warum es dasselbe ist
1-\sqrt{19}, 1+\sqrt{19}	1 \pm \sqrt{19}	dieselbe Lösungsmenge, einmal ausgeschrieben, einmal mit ±
\begin{pmatrix}\frac{16}{49}\\[2mm]\frac{48}{49}\\[2mm]\frac{24}{49}\end{pmatrix}	\begin{pmatrix}16/49\\48/49\\24/49\end{pmatrix}	derselbe Vektor, Bruchstrich statt Schrägstrich

Solche Fälle sind bei Mathematik-Benchmarks der Regelfall, nicht die Ausnahme. Allein die Reparatur des Antwortvergleichs hat über alle Läufe hinweg vier bis sechs Prozentpunkte gebracht, ohne dass ein einziges Modell etwas anders gerechnet hätte. Wer eine Mathe-Quote veröffentlicht, ohne seinen Vergleicher gegen bekannte Schreibvarianten geprüft zu haben, veröffentlicht zu einem guten Teil die Schwächen seines Parsers.

Die Bilanz

Auswertung	richtig
ein Versuch, 8.000 Token	138 / 150 = 92,0 %
dazu die Abgeschnittenen mit 32.000 Token	147 / 150 = 98,0 %
dazu der von Hand geprüfte Vektor-Fall	148 / 150 = 98,7 %

Die zweite Zeile mischt zwei Budgets und ist deshalb keine Quote im Sinne eines Leaderboards — sie beantwortet die Frage „was schafft das Modell, wenn man ihm genug Platz gibt", nicht „was schafft es in einem Durchlauf". Die dritte Zeile stützt sich zusätzlich auf eine Prüfung von Hand, weil die gespeicherte Antwort für die automatische Neubewertung zu kurz abgeschnitten war. Wer eine einzelne vergleichbare Zahl will, nimmt die 92,0 %.

Übrig bleiben damit zwei Fälle: ein Wiederholungskollaps und ein Ausrutscher, der sich in 21 Wiederholungen nicht mehr einstellte.

Was man daraus mitnehmen sollte

Von 150 Aufgaben blieb nach dieser Analyse keine übrig, bei der das Modell den Rechenweg nicht beherrscht. Übrig bleiben drei ganz andere Schwächen:

1. Es verläuft sich manchmal — selten, aber messbar, und unabhängig von der Schwierigkeit.
2. Es kann in eine Wiederholungsschleife fallen und dann gar nichts mehr liefern.
3. Es braucht bei schweren Aufgaben viel Platz — bis über 14.000 Token.

Alle drei sind im Betrieb beherrschbar: großzügiges Token-Budget, und im Client einen zweiten Versuch vorsehen, wenn die Antwort leer bleibt oder kein \boxed{} enthält. Keine davon ist ein Grund, dem Modell das Rechnen abzusprechen.

Rohdaten

Alles unter bench/math500/ — je Aufgabe die gelieferte Antwort, die erwartete, Token-Verbrauch und Abbruchgrund. neubewerten.py rechnet jede gespeicherte Messung mit dem aktuellen Vergleicher neu durch, ohne das Modell erneut zu befragen.