joaoviegas11/my_lora_adapter

GPT-2 LoRA Summarizer - Week 08 Lab

Este repositório contém um adaptador LoRA (Low-Rank Adaptation) para o modelo GPT-2, afinado para a tarefa de sumarização de diálogos utilizando o dataset SAMSum. Este trabalho foi realizado no âmbito da unidade curricular de Complementos de Machine Learning (2025/2026).

Model Details

Model Description

O modelo utiliza uma abordagem de Parameter-Efficient Fine-Tuning (PEFT). Em vez de atualizar todos os pesos do GPT-2, foram treinadas apenas matrizes de baixo rank injetadas nas camadas de atenção (c_attn), o que representa apenas 0.23% dos parâmetros totais do modelo original.

• Developed by: [O Teu Nome Aqui]
• Model type: PEFT (LoRA) adapter for Causal Language Model
• License: MIT
• Finetuned from model: GPT-2 (base version)

Model Sources

• Dataset: SAMSum Corpus

Direct Use

Este modelo destina-se a gerar resumos concisos (em terceira pessoa) a partir de diálogos ou conversas de chat.

Como Começar

Para usar este adaptador, utiliza o script lora_summarizer_submission.py fornecido no laboratório. O modelo base (gpt2) deve ser carregado primeiro, seguido da aplicação deste adaptador através da biblioteca peft.

Training Details

Training Data

O modelo foi treinado no dataset SAMSum, que consiste em cerca de 16 mil conversas curtas com resumos anotados por especialistas.

Training Procedure

• Epochs: 1
• Batch Size: 4
• Learning Rate: 2e-4 (Linear decay)
• Rank (r): 8
• Alpha: 32
• Target Modules: c_attn

Results

O treino demonstrou uma convergência sólida:

• Loss Inicial: ~8.38
• Loss Final (Train): ~0.91
• Validation Loss: ~0.95

Technical Specifications

Framework versions

• PEFT 0.19.1
• Transformers (Latest)
• PyTorch (CUDA enabled)