Post-training checkpoint evaluation report — pretrain_minimal_en_it_webwiki_step11000
- Evaluation date:
2026-06-29T18:12:54.009281+00:00 - Commit hash:
d30f1a25995875a4e1b299482b964a046175b5e8 - Hostname:
desktop-H270M-DS3H - Device:
cuda - Dtype:
bf16 - Seed:
1337 - Suite path:
/home/descanso/.openclaw/workspace/python_project/llm-nanochat/configs/eval/20260521_pretrain_minimal_en_it_webwiki_step11000.yaml - Suite model type:
pretrained - Recommended checkpoint:
step_14700
Evaluated checkpoints
- name=
step_14700, selector=manual, step=14700, run=None, path=/mnt/apps/llm-nanochat/checkpoints/20260629_resume-gpt2medium-gpt2preln-k20-wsddecayonly-rerunmissing-lr3p5294e5-anchor20k-final2e5-webwiki-step14200-to14850/step_14700.pt, selected_by=manual_path
Eval datasets
- No quantitative datasets configured.
Metric interpretation
- Lower validation loss is better.
- Lower perplexity is better.
- Higher generation pass rate is better when heuristic prompt scoring is enabled.
Comparison table
| checkpoint_name | checkpoint_selector | checkpoint_step | aggregate_validation_loss_mean | aggregate_validation_perplexity_mean | generation_pass_rate | selected_by |
|---|---|---|---|---|---|---|
| step_14700 | manual | 14700 | manual_path |
Recommendation notes
- Recommended checkpoint: use
step_14700based onval_loss_mixed.
Validation loss / perplexity
| checkpoint_name | checkpoint_selector | checkpoint_step | val_loss_en | val_loss_it | val_loss_mixed | ppl_en | ppl_it | ppl_mixed |
|---|---|---|---|---|---|---|---|---|
| step_14700 | manual | 14700 | 4.3929 | 3.5830 | 4.4436 | 80.8710 | 35.9822 | 85.0781 |
Source/domain losses
| checkpoint_name | source_loss_books_en | source_loss_books_it | source_loss_code | source_loss_web_en | source_loss_web_it | source_loss_wiki_en | source_loss_wiki_it |
|---|---|---|---|---|---|---|---|
| step_14700 | 4.4110 | 4.3904 | 7.7208 | 5.4893 | 5.4087 | 2.9984 | 2.9202 |
Cloze EN/IT
| checkpoint_name | cloze_en_contains | cloze_it_contains | cloze_en_exact | cloze_it_exact |
|---|---|---|---|---|
| step_14700 | 0.1600 | 0.2400 | 0.0000 | 0.0000 |
Continuation samples
Generation comparison
gen_en_0001
- Language:
en - Category:
story - Prompt:
On a quiet street near the river,
step_14700 (step 14700)
a young man, a young woman, and a young man, are walking along a river. They are walking along a river, and the river is a river
gen_en_0002
- Language:
en - Category:
story - Prompt:
At sunrise the village was still asleep, but
step_14700 (step 14700)
the sun was still shining. The sun was still shining, but the sun was still shining. The sun was still shining, but the sun
gen_en_0003
- Language:
en - Category:
story - Prompt:
A child opened the old wooden gate and
step_14700 (step 14700)
the old gate was closed. The old gate was closed. The old gate was closed. The old gate was closed. The old gate was closed. The old
gen_en_0004
- Language:
en - Category:
story - Prompt:
The storm ended just before midnight, and
step_14700 (step 14700)
the storm was still in its infancy. The storm was still in its infancy, and the storm was still in its infancy. The storm was still
gen_en_0005
- Language:
en - Category:
explanation - Prompt:
A bilingual checkpoint comparison is useful because
step_14700 (step 14700)
it can be used to help you determine whether a bilingual checkpoint is being used. The checkpoint is a place where you can check for a b
gen_en_0006
- Language:
en - Category:
explanation - Prompt:
A validation loss curve becomes easier to trust when
step_14700 (step 14700)
the user is using a validation function. For example, if you have a validation function that is validated, you can use the function to return a
gen_en_0007
- Language:
en - Category:
explanation - Prompt:
A packed dataset should be rebuilt after a tokenizer change because
step_14700 (step 14700)
the dataset is not yet available. The dataset should be updated every 2 to 3 days. The dataset should be updated every 2 to
gen_en_0008
- Language:
en - Category:
news - Prompt:
The local research lab announced that
step_14700 (step 14700)
the newest version of the human brain, the human brain, is the first human brain to be developed. The newest version of the human brain, the
gen_en_0009
- Language:
en - Category:
news - Prompt:
According to the operator log, the run
step_14700 (step 14700)
time is "a bit of a mystery" and "a bit of a mystery". The runtime is "a bit of a mystery" and "a bit
gen_en_0010
- Language:
en - Category:
news - Prompt:
The latest experiment summary noted that
step_14700 (step 14700)
the average age of the population is about 18.5 years. The average age of the population is about 21.5 years. The average age of the population
gen_en_0011
- Language:
en - Category:
dialogue - Prompt:
"Can we resume from the best checkpoint?"
step_14700 (step 14700)
"I'm not sure what you mean by that. I'm sure you mean that you're not sure what you mean by that. I'm sure you're
gen_en_0012
- Language:
en - Category:
dialogue - Prompt:
"I checked the report twice," the engineer said,
step_14700 (step 14700)
"and I found that the report was not in the report." The engineer said that the report was not in the report. The engineer said that the report was
gen_en_0013
- Language:
en - Category:
description - Prompt:
The small workstation under the desk
step_14700 (step 14700)
is a bit of a challenge, but the small workstation is a bit of a challenge. The small workstation is a bit of a challenge,
gen_en_0014
- Language:
en - Category:
description - Prompt:
The training dashboard on the screen
step_14700 (step 14700)
is a bit tricky, but it's a good way to get the most out of the training. The dashboard is a little bit tricky,
gen_en_0015
- Language:
en - Category:
instructional - Prompt:
To compare two pretrained checkpoints, first
step_14700 (step 14700)
, the first checkpoint, and second, the second checkpoint, is to compare two pretrained checkpoints. The first checkpoint is the first
gen_en_0016
- Language:
en - Category:
instructional - Prompt:
When a run stops unexpectedly, the safest next step is
step_14700 (step 14700)
to make sure that the run is not interrupted. If the run is interrupted, the run is stopped. If the run is stopped, the run is stopped.
gen_en_0017
- Language:
en - Category:
reflection - Prompt:
One clear lesson from the pilot run was that
step_14700 (step 14700)
the pilot was not in the cockpit. The pilot was not in the cockpit. The pilot was not in the cockpit. The pilot was not in
gen_en_0018
- Language:
en - Category:
reflection - Prompt:
The bilingual probes suggested that
step_14700 (step 14700)
the bilingual bilingual bilingual bilingual bilingual bilingual bilingual bilingual bilingual bilingual b
gen_en_0019
- Language:
en - Category:
technical - Prompt:
A token-weighted validation loss avoids
step_14700 (step 14700)
the need for a validation loss. The validation loss is a loss of validation loss. The validation loss is a loss of validation loss.
gen_en_0020
- Language:
en - Category:
technical - Prompt:
A lightweight repetition metric can reveal
step_14700 (step 14700)
the depth of the meaning of the words. The metric is a metric that is used to describe the meaning of the words. The metric is used
gen_it_0001
- Language:
it - Category:
story - Prompt:
In una strada tranquilla vicino al fiume,
step_14700 (step 14700)
un uomo si ferma a guardare la sua macchina. La sua macchina è in movimento, e la sua mente è in movimento. La sua mente è in movimento,
gen_it_0002
- Language:
it - Category:
story - Prompt:
All'alba il paese dormiva ancora, ma
step_14700 (step 14700)
il cielo era ancora limpido. Il cielo era ancora limpido. Il cielo era ancora limpido. Il cielo era ancora limpido. Il cielo era ancora
gen_it_0003
- Language:
it - Category:
story - Prompt:
Un bambino aprì il vecchio cancello di legno e
step_14700 (step 14700)
si accorse che era stato aperto un passaggio segreto. Il bambino si avvicinò e vide che era stato aperto un passaggio segreto. Il bambino si avvicinò e
gen_it_0004
- Language:
it - Category:
story - Prompt:
La tempesta finì poco prima di mezzanotte, e
step_14700 (step 14700)
la tempesta si abbatté su tutta la costa orientale del Pacifico. La tempesta si abbatté su tutta la costa orientale del Pacifico, e la tempesta si abbatté
gen_it_0005
- Language:
it - Category:
explanation - Prompt:
Un confronto tra checkpoint bilingui è utile perché
step_14700 (step 14700)
permette di verificare se il tuo paese è in grado di fornire servizi di base. Il checkpoint bilingui è un sistema di checkpoint che consente di verificare
gen_it_0006
- Language:
it - Category:
explanation - Prompt:
Una curva di validation loss è più affidabile quando
step_14700 (step 14700)
si utilizza un metodo di validation loss, ma è più probabile che si verifichi un errore di validazione. La validation loss è un metodo di valid
gen_it_0007
- Language:
it - Category:
explanation - Prompt:
Un dataset packed va ricostruito dopo un cambio di tokenizer perché
step_14700 (step 14700)
il tokenizer è stato utilizzato per un periodo di tempo più lungo. Il dataset è stato creato per essere utilizzato per un periodo di tempo più lungo
gen_it_0008
- Language:
it - Category:
news - Prompt:
Il laboratorio locale ha annunciato che
step_14700 (step 14700)
il suo nuovo prodotto, il nuovo prodotto di ricerca, è stato sviluppato da un team di ricercatori del laboratorio di ricerca di San Diego. Il nuovo prodotto è stato
gen_it_0009
- Language:
it - Category:
news - Prompt:
Secondo il log operativo, la run
step_14700 (step 14700)
time è stata creata per essere utilizzata per la prima volta nel 2003. La runtime è stata creata per essere utilizzata per la prima volta nel 2003. La run
gen_it_0010
- Language:
it - Category:
news - Prompt:
L'ultimo riepilogo sperimentale ha notato che
step_14700 (step 14700)
il numero di persone che hanno ricevuto il vaccino è aumentato di quasi il 50% rispetto al numero di persone che hanno ricevuto il vaccino. Il numero di persone che
gen_it_0011
- Language:
it - Category:
dialogue - Prompt:
"Possiamo riprendere dal checkpoint migliore?"
step_14700 (step 14700)
"Sì, è possibile. È possibile. È possibile. È possibile. È possibile. È possibile. È possibile. È possibile. È possibile. È
gen_it_0012
- Language:
it - Category:
dialogue - Prompt:
"Ho controllato il report due volte," disse l'ingegnere,
step_14700 (step 14700)
"e ho trovato un'altra persona che ha fatto un lavoro simile. Non so se è stato un lavoro di squadra o di squadra, ma è stato un
gen_it_0013
- Language:
it - Category:
description - Prompt:
La piccola workstation sotto la scrivania
step_14700 (step 14700)
di un bambino di tre anni è stata la prima a ricevere un’istruzione di base. Il bambino ha ricevuto un’istruzione di base e ha ricevuto un’
gen_it_0014
- Language:
it - Category:
description - Prompt:
La dashboard di training sullo schermo
step_14700 (step 14700)
è un modo semplice per creare un allenamento di forza per i tuoi muscoli. La dashboard di allenamento è un modo semplice per creare un allenamento di forza per
gen_it_0015
- Language:
it - Category:
instructional - Prompt:
Per confrontare due checkpoint pretrained, prima
step_14700 (step 14700)
di effettuare il checkpoint, è necessario verificare che il checkpoint sia stato effettuato correttamente. Se il checkpoint è stato effettuato correttamente, è necessario verificare che il
gen_it_0016
- Language:
it - Category:
instructional - Prompt:
Quando una run si interrompe inaspettatamente, il passo più sicuro è
step_14700 (step 14700)
quello di fare un passo indietro. Se non si riesce a fare un passo indietro, è possibile che si verifichi un errore. Se si riesce a fare un
gen_it_0017
- Language:
it - Category:
reflection - Prompt:
Una lezione chiara del pilot run è stata che
step_14700 (step 14700)
la maggior parte dei piloti non ha mai avuto un buon ritmo di volo. Ma, come abbiamo visto, la maggior parte dei piloti non ha mai avuto un buon
gen_it_0018
- Language:
it - Category:
reflection - Prompt:
Le probe bilingui hanno suggerito che
step_14700 (step 14700)
la Cina potrebbe essere in grado di sviluppare un’arma nucleare in grado di colpire i paesi vicini. Il rapporto, pubblicato il 3 marzo, ha affermato che la
gen_it_0019
- Language:
it - Category:
technical - Prompt:
Una validation loss pesata sui token evita
step_14700 (step 14700)
di dover pagare un'imposta sul valore aggiunto. Il valore aggiunto è un'imposta che viene applicata a un'altra persona, che è un'
gen_it_0020
- Language:
it - Category:
technical - Prompt:
Una metrica leggera di ripetizione può rivelare
step_14700 (step 14700)
un problema di salute mentale. La metrica può essere utilizzata per identificare i problemi di salute mentale, come la depressione, la depressione, la depressione, la depressione
Repetition diagnostics
| checkpoint_name | distinct_1 | distinct_2 | repeated_4gram_rate | loop_rate |
|---|---|---|---|---|
| step_14700 | 0.2780 | 0.5643 | 0.7500 | 0.3750 |
Language-switch diagnostics
| checkpoint_name | language_switch_rate_en | language_switch_rate_it | language_consistency_en | language_consistency_it |
|---|---|---|---|---|
| step_14700 | 0.0000 | 0.0000 | 1.0000 | 0.8500 |
Checkpoint recommendation impact
- Recommended checkpoint: use
step_14700based onval_loss_mixed.