---
base_model: gpt2
library_name: peft
pipeline_tag: text-generation
datasets:
- knkarthick/samsum
tags:
- lora
- transformers
- dialogue-summarization
---

# GPT-2 LoRA Summarizer - Week 08 Lab

Este repositório contém um adaptador **LoRA** (Low-Rank Adaptation) para o modelo **GPT-2**, afinado para a tarefa de sumarização de diálogos utilizando o dataset **SAMSum**. Este trabalho foi realizado no âmbito da unidade curricular de **Complementos de Machine Learning (2025/2026)**.

## Model Details

### Model Description

O modelo utiliza uma abordagem de **Parameter-Efficient Fine-Tuning (PEFT)**. Em vez de atualizar todos os pesos do GPT-2, foram treinadas apenas matrizes de baixo rank injetadas nas camadas de atenção (`c_attn`), o que representa apenas **0.23%** dos parâmetros totais do modelo original.

- **Developed by:** [O Teu Nome Aqui]
- **Model type:** PEFT (LoRA) adapter for Causal Language Model
- **License:** MIT
- **Finetuned from model:** GPT-2 (base version)

### Model Sources

- **Dataset:** [SAMSum Corpus](https://huggingface.co/datasets/knkarthick/samsum)


### Direct Use

Este modelo destina-se a gerar resumos concisos (em terceira pessoa) a partir de diálogos ou conversas de chat. 

### Como Começar

Para usar este adaptador, utiliza o script `lora_summarizer_submission.py` fornecido no laboratório. O modelo base (`gpt2`) deve ser carregado primeiro, seguido da aplicação deste adaptador através da biblioteca `peft`.

## Training Details

### Training Data

O modelo foi treinado no dataset **SAMSum**, que consiste em cerca de 16 mil conversas curtas com resumos anotados por especialistas.

### Training Procedure

- **Epochs:** 1
- **Batch Size:** 4
- **Learning Rate:** 2e-4 (Linear decay)
- **Rank (r):** 8
- **Alpha:** 32
- **Target Modules:** `c_attn`

### Results

O treino demonstrou uma convergência sólida:
- **Loss Inicial:** ~8.38
- **Loss Final (Train):** ~0.91
- **Validation Loss:** ~0.95

## Technical Specifications

### Framework versions

- PEFT 0.19.1
- Transformers (Latest)
- PyTorch (CUDA enabled)