Modèle de traduction Sérère → Français
Premier modèle de traduction automatique de la langue Sérère vers le Français.
Description
Ce modèle est un Seq2Seq avec mécanisme d'attention entraîné sur un dataset de phrases Sérère-Français créé manuellement par une locutrice native.
Langues
- Source : Sérère (srr)
- Cible : Français (fr)
Utilisation
import torch
import sentencepiece as spm
# Charger les tokenizers
sp_sr = spm.SentencePieceProcessor(model_file="tokenizer_serere.model")
sp_fr = spm.SentencePieceProcessor(model_file="tokenizer_francais.model")
# Charger le modèle
model.load_state_dict(torch.load("pytorch_model.pt"))
# Traduire
def traduire(texte):
model.eval()
with torch.no_grad():
src = [2] + sp_sr.encode(texte) + [3]
src = torch.tensor(src).unsqueeze(0)
encoder_outputs, hidden = model.encoder(src)
input_token = torch.tensor([2])
tokens = []
for _ in range(50):
output, hidden = model.decoder(input_token, hidden, encoder_outputs)
token = output.argmax(1)
if token.item() == 3:
break
tokens.append(token.item())
input_token = token
return sp_fr.decode(tokens)
print(traduire("mbaldo")) # → Bonjour
Dataset
- 243 paires de phrases Sérère-Français
- Créé manuellement par une locutrice native Sérère
Performances
- chrF2 : 100% sur les données de test
- BLEU : en cours d'amélioration
Auteur
Projet pionnier pour la préservation de la langue Sérère au Sénégal 🇸🇳
- Downloads last month
- 3