Spaces:
Sleeping
chore: supprimer unregister_job mort + factoriser _numbers_in_payload partagé
Browse filesAudit F4 — deux nettoyages mineurs.
(a) ``picarones/web/state.py:255`` exposait ``unregister_job(job_id)`` qui
mute ``JOBS`` sous ``JOBS_LOCK`` (idempotent). La fonction n'avait
aucun consommateur dans le code (ni dans les tests). Conservée elle
n'aurait fait que tromper un futur lecteur sur la discipline d'accès
au registre — la suppression effective des jobs vit dans
``cleanup_old_jobs``. Suppression : code + entrée ``__all__`` + mention
dans la docstring de ``JOBS``.
(b) ``_numbers_in_payload`` (garde-fou anti-hallucination du moteur
narratif) était dupliqué dans deux fichiers de tests :
- ``tests/measurements/test_sprint19_narrative_engine.py`` (version
complète : walk récursif + parse strings via regex + variantes
décimales 1/2/3/4) ;
- ``tests/measurements/test_sprint36_ensemble_narrative.py`` (version
simplifiée, walk top-level seulement).
Création de ``tests/measurements/_helpers.py`` avec ``numbers_in_payload``
(version complète, strict superset de la simplifiée). Les deux fichiers
sprint réimportent désormais sous l'alias ``_numbers_in_payload`` pour
préserver l'API consommée par
``test_sprint23_anti_hallucination.py:166`` qui fait
``from tests.measurements.test_sprint19_narrative_engine import _numbers_in_payload``.
Aucune régression : sprint36 utilisait déjà la version la plus permissive
n'importe comment (la version sprint19 est strictement plus large), donc
les assertions ``in traceable | whitelist`` passent sans modification.
371 passed (sprint19 + sprint23 + sprint36 + tests/web/). ``ruff check``
clean.
https://claude.ai/code/session_01Hsd7kL8yeCbXn1mA7GQK9L
|
@@ -223,7 +223,7 @@ JOBS: dict[str, BenchmarkJob] = {}
|
|
| 223 |
|
| 224 |
**Discipline d'accès** : tous les ``read`` et ``write`` doivent passer
|
| 225 |
par les helpers ``register_job``, ``get_job_in_memory``,
|
| 226 |
-
``
|
| 227 |
sans verrou expose à un ``RuntimeError: dictionary changed size
|
| 228 |
during iteration`` sous charge concurrente (le GIL protège l'atomicité
|
| 229 |
d'une opération mais pas la cohérence d'une boucle).
|
|
@@ -252,12 +252,6 @@ def get_job_in_memory(job_id: str) -> Optional[BenchmarkJob]:
|
|
| 252 |
return JOBS.get(job_id)
|
| 253 |
|
| 254 |
|
| 255 |
-
def unregister_job(job_id: str) -> None:
|
| 256 |
-
"""Retire un job du registre mémoire (thread-safe ; idempotent)."""
|
| 257 |
-
with JOBS_LOCK:
|
| 258 |
-
JOBS.pop(job_id, None)
|
| 259 |
-
|
| 260 |
-
|
| 261 |
def cleanup_old_jobs() -> None:
|
| 262 |
"""Supprime les jobs terminés les plus anciens si on dépasse ``JOBS_MAX``."""
|
| 263 |
with JOBS_LOCK:
|
|
@@ -289,6 +283,5 @@ __all__ = [
|
|
| 289 |
"JOBS_LOCK",
|
| 290 |
"register_job",
|
| 291 |
"get_job_in_memory",
|
| 292 |
-
"unregister_job",
|
| 293 |
"cleanup_old_jobs",
|
| 294 |
]
|
|
|
|
| 223 |
|
| 224 |
**Discipline d'accès** : tous les ``read`` et ``write`` doivent passer
|
| 225 |
par les helpers ``register_job``, ``get_job_in_memory``,
|
| 226 |
+
``cleanup_old_jobs`` qui prennent ``JOBS_LOCK``. Lire ou muter ce dict
|
| 227 |
sans verrou expose à un ``RuntimeError: dictionary changed size
|
| 228 |
during iteration`` sous charge concurrente (le GIL protège l'atomicité
|
| 229 |
d'une opération mais pas la cohérence d'une boucle).
|
|
|
|
| 252 |
return JOBS.get(job_id)
|
| 253 |
|
| 254 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 255 |
def cleanup_old_jobs() -> None:
|
| 256 |
"""Supprime les jobs terminés les plus anciens si on dépasse ``JOBS_MAX``."""
|
| 257 |
with JOBS_LOCK:
|
|
|
|
| 283 |
"JOBS_LOCK",
|
| 284 |
"register_job",
|
| 285 |
"get_job_in_memory",
|
|
|
|
| 286 |
"cleanup_old_jobs",
|
| 287 |
]
|
|
@@ -0,0 +1,58 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
"""Helpers partagés par les tests ``tests/measurements/``.
|
| 2 |
+
|
| 3 |
+
Centralise des utilitaires de test réutilisés par plusieurs fichiers
|
| 4 |
+
sprint, en particulier le garde-fou anti-hallucination du moteur
|
| 5 |
+
narratif.
|
| 6 |
+
"""
|
| 7 |
+
|
| 8 |
+
from __future__ import annotations
|
| 9 |
+
|
| 10 |
+
import re
|
| 11 |
+
from typing import Any
|
| 12 |
+
|
| 13 |
+
|
| 14 |
+
def numbers_in_payload(payload: Any) -> set[str]:
|
| 15 |
+
"""Collecte toutes les représentations numériques d'un payload de Fact.
|
| 16 |
+
|
| 17 |
+
Inclut les variantes usuelles produites par ``str.format`` :
|
| 18 |
+
``5``, ``5.0``, ``5.00``, ``5.000``, ``5.0000``, etc., pour tolérer
|
| 19 |
+
les patterns ``{x}`` et ``{x:.2f}`` dans les templates narratifs.
|
| 20 |
+
|
| 21 |
+
Le walk est récursif (dict / list / tuple) et parse également les
|
| 22 |
+
chaînes via ``\\d+(?:\\.\\d+)?`` pour couvrir les payloads où une
|
| 23 |
+
valeur numérique a été pré-formatée en string.
|
| 24 |
+
"""
|
| 25 |
+
out: set[str] = set()
|
| 26 |
+
|
| 27 |
+
def _add_variants(v: Any) -> None:
|
| 28 |
+
try:
|
| 29 |
+
f = float(v)
|
| 30 |
+
except (TypeError, ValueError):
|
| 31 |
+
return
|
| 32 |
+
out.add(str(v))
|
| 33 |
+
out.add(str(f))
|
| 34 |
+
if f == int(f):
|
| 35 |
+
out.add(str(int(f)))
|
| 36 |
+
for dec in (1, 2, 3, 4):
|
| 37 |
+
out.add(f"{f:.{dec}f}")
|
| 38 |
+
|
| 39 |
+
def _walk(x: Any) -> None:
|
| 40 |
+
if isinstance(x, dict):
|
| 41 |
+
for v in x.values():
|
| 42 |
+
_walk(v)
|
| 43 |
+
elif isinstance(x, (list, tuple)):
|
| 44 |
+
for v in x:
|
| 45 |
+
_walk(v)
|
| 46 |
+
elif isinstance(x, bool):
|
| 47 |
+
return
|
| 48 |
+
elif isinstance(x, (int, float)):
|
| 49 |
+
_add_variants(x)
|
| 50 |
+
elif isinstance(x, str):
|
| 51 |
+
for n in re.findall(r"\d+(?:\.\d+)?", x):
|
| 52 |
+
_add_variants(n)
|
| 53 |
+
|
| 54 |
+
_walk(payload)
|
| 55 |
+
return out
|
| 56 |
+
|
| 57 |
+
|
| 58 |
+
__all__ = ["numbers_in_payload"]
|
|
@@ -453,44 +453,10 @@ class TestBuildSynthesisE2E:
|
|
| 453 |
# Garde-fou anti-hallucination : traçabilité des nombres
|
| 454 |
# ---------------------------------------------------------------------------
|
| 455 |
|
| 456 |
-
|
| 457 |
-
|
| 458 |
-
|
| 459 |
-
|
| 460 |
-
``5``, ``5.0``, ``5.00``, ``5.000``, etc., pour tolérer les formats
|
| 461 |
-
``{x}`` et ``{x:.2f}`` dans les templates.
|
| 462 |
-
"""
|
| 463 |
-
out: set[str] = set()
|
| 464 |
-
|
| 465 |
-
def _add_variants(v):
|
| 466 |
-
try:
|
| 467 |
-
f = float(v)
|
| 468 |
-
except (TypeError, ValueError):
|
| 469 |
-
return
|
| 470 |
-
out.add(str(v))
|
| 471 |
-
out.add(str(f))
|
| 472 |
-
if f == int(f):
|
| 473 |
-
out.add(str(int(f)))
|
| 474 |
-
for dec in (1, 2, 3, 4):
|
| 475 |
-
out.add(f"{f:.{dec}f}")
|
| 476 |
-
|
| 477 |
-
def _walk(x):
|
| 478 |
-
if isinstance(x, dict):
|
| 479 |
-
for v in x.values():
|
| 480 |
-
_walk(v)
|
| 481 |
-
elif isinstance(x, (list, tuple)):
|
| 482 |
-
for v in x:
|
| 483 |
-
_walk(v)
|
| 484 |
-
elif isinstance(x, bool):
|
| 485 |
-
return
|
| 486 |
-
elif isinstance(x, (int, float)):
|
| 487 |
-
_add_variants(x)
|
| 488 |
-
elif isinstance(x, str):
|
| 489 |
-
for n in re.findall(r"\d+(?:\.\d+)?", x):
|
| 490 |
-
_add_variants(n)
|
| 491 |
-
|
| 492 |
-
_walk(payload)
|
| 493 |
-
return out
|
| 494 |
|
| 495 |
|
| 496 |
# Sprint 23 : whitelist vidée. Tout nombre rendu dans la synthèse doit
|
|
|
|
| 453 |
# Garde-fou anti-hallucination : traçabilité des nombres
|
| 454 |
# ---------------------------------------------------------------------------
|
| 455 |
|
| 456 |
+
# ``_numbers_in_payload`` vit dans ``tests/measurements/_helpers.py`` ;
|
| 457 |
+
# on le ré-expose sous son ancien nom privé pour compatibilité avec les
|
| 458 |
+
# tests qui l'importent depuis ce module (ex. test_sprint23).
|
| 459 |
+
from tests.measurements._helpers import numbers_in_payload as _numbers_in_payload # noqa: E402
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 460 |
|
| 461 |
|
| 462 |
# Sprint 23 : whitelist vidée. Tout nombre rendu dans la synthèse doit
|
|
@@ -264,22 +264,7 @@ class TestSynthesisIntegration:
|
|
| 264 |
# ──────────────────────────────────────────────────────────────────────────
|
| 265 |
|
| 266 |
|
| 267 |
-
|
| 268 |
-
"""Extrait toutes les représentations numériques du payload."""
|
| 269 |
-
found: set[str] = set()
|
| 270 |
-
for v in payload.values():
|
| 271 |
-
if isinstance(v, (int, float)):
|
| 272 |
-
s = f"{v}"
|
| 273 |
-
found.add(s)
|
| 274 |
-
# ajoute la version sans .0 pour les floats entiers
|
| 275 |
-
if isinstance(v, float) and v.is_integer():
|
| 276 |
-
found.add(str(int(v)))
|
| 277 |
-
# ajoute la version "70.0" si valeur "70.0"
|
| 278 |
-
try:
|
| 279 |
-
found.add(f"{float(v)}")
|
| 280 |
-
except (TypeError, ValueError):
|
| 281 |
-
pass
|
| 282 |
-
return found
|
| 283 |
|
| 284 |
|
| 285 |
class TestTraceability:
|
|
|
|
| 264 |
# ──────────────────────────────────────────────────────────────────────────
|
| 265 |
|
| 266 |
|
| 267 |
+
from tests.measurements._helpers import numbers_in_payload as _numbers_in_payload # noqa: E402
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 268 |
|
| 269 |
|
| 270 |
class TestTraceability:
|