lamine-f-edu/asl-yolo-rfdetr

ASL Detection — YOLO11n & RF-DETR-S Fine-tuned

Modèles fine-tunés pour la détection des 26 lettres de l'alphabet de la langue des signes américaine (ASL).

Réalisé dans le cadre d'un projet académique de Deep Learning à l'École Supérieure Polytechnique de l'Université Cheikh Anta Diop de Dakar (ESP/UCAD), Département Génie Informatique, DIC3.

Auteurs : Mouhamed Lamine Faye, Pape Moussa Mbengue, Mouhamadou Wally Ndour.

Contenu

Fichier	Modèle	Taille	Format
yolo/best.pt	YOLO11n	5.2 MB	Ultralytics PyTorch
rfdetr/checkpoint_best_total.pth	RF-DETR-S	121.8 MB	rfdetr PyTorch

Performance — test set (72 images)

Métrique	YOLO11n	RF-DETR-S
mAP@0.5	0.904	0.901
mAP@0.5:0.95	0.875	0.881
Latence (T4 GPU)	36.4 ms	132.8 ms
FPS	27.5	7.5
Taille	5.21 MB	121.8 MB

Robustesse aux dégradations photométriques

Les modèles ont été évalués sur cinq conditions dégradées (luminosité gamma 0.5/0.75/1.5, bruit gaussien σ=15/35) :

Condition	YOLO Δ%	RF-DETR-S Δ%
γ=1.5	+1.3%	+0.8%
γ=0.75	-1.0%	-0.8%
γ=0.5	-3.5%	-0.8%
σ=15	-2.1%	+0.1%
σ=35	-76.8%	-1.1%
Chute moyenne	16.9%	0.7%

RF-DETR-S est dramatiquement plus robuste, particulièrement sous bruit gaussien fort où YOLO s'effondre.

Utilisation rapide

YOLO11n

from huggingface_hub import hf_hub_download
from ultralytics import YOLO

weights = hf_hub_download("lamine-f-edu/asl-yolo-rfdetr", "yolo/best.pt")
model = YOLO(weights)
results = model.predict("image.jpg")

RF-DETR-S

from huggingface_hub import hf_hub_download
from rfdetr import RFDETRSmall

weights = hf_hub_download("lamine-f-edu/asl-yolo-rfdetr", "rfdetr/checkpoint_best_total.pth")
model = RFDETRSmall(pretrain_weights=weights)
detections = model.predict("image.jpg", threshold=0.4)

Dataset

American Sign Language Letters par David Lee (Roboflow Universe), 26 classes, ~1700 images.

Démo en ligne

🚀 Application live : https://asl-detection-yolo-rfdetr.duckdns.org/

Détection ASL temps réel via webcam, comparaison YOLO vs RF-DETR sur image, mode épellation. Déployée sur VPS avec Docker + Caddy + Let's Encrypt.

Code & rapport

Repo GitHub : https://github.com/lamine-f/asl-detection-yolo-rfdetr

Le repo contient le code complet (training, évaluation, app Gradio, Dockerfile), le rapport scientifique (LaTeX + PDF), les notebooks Colab avec leurs outputs, ainsi que les résultats bruts (all_results.json).

Citation

@misc{asl_yolo_rfdetr_2026,
  title  = {Étude comparative YOLO11 vs RF-DETR pour la détection ASL en temps réel},
  author = {Faye, Mouhamed Lamine and Mbengue, Pape Moussa and Ndour, Mouhamadou Wally},
  year   = 2026,
  howpublished = {DIC3 Deep Learning, ESP/UCAD},
  url    = {https://huggingface.co/lamine-f-edu/asl-yolo-rfdetr}
}