wesleybritowx/bertimbau-folha-categorias

BERTimbau — Classificador de Macrocategorias de Notícias (PT-BR)

Fine-tune do BERTimbau para classificar notícias brasileiras em 12 macrocategorias temáticas.

Dados

News of the Site Folha de São Paulo — ~167 mil notícias (2015–2017).

As 48 categorias originais do dataset foram consolidadas em 12 macrocategorias temáticas. Motivo (derivado da EDA): o desbalanceamento era extremo (a maior classe tinha 22.022 notícias, a menor tinha 1) e várias "categorias" eram editorias (colunas, opiniao, paineldoleitor), não temas.

Entrada: título + texto da notícia (truncado em 256 tokens).

Classes

Carreira · Ciência e Tecnologia · Cultura e Entretenimento · Economia · Educação · Esporte · Internacional · Opinião · Outros · Política · Saúde · Sociedade

Resultados

Avaliado em holdout de 32.824 notícias (split estratificado, seed 42):

Métrica	Valor
F1-macro	0,858
Accuracy	0,918

Baseline de referência (TF-IDF + LinearSVC) no mesmo split: F1-macro 0,800. O ganho do BERT concentra-se nas classes raras e semanticamente ambíguas.

Uso

import torch
from transformers import AutoTokenizer, AutoModelForSequenceClassification

mid = "wesleybritowx/bertimbau-folha-categorias"
tok = AutoTokenizer.from_pretrained(mid)
model = AutoModelForSequenceClassification.from_pretrained(mid)
model.eval()

texto = ("Banco Central mantém a taxa Selic. O Copom decidiu manter os juros "
         "diante da inflação e das expectativas para o crescimento econômico.")

enc = tok(texto, truncation=True, max_length=256, return_tensors="pt")
with torch.no_grad():
    probs = torch.softmax(model(**enc).logits[0], dim=-1)

print(model.config.id2label[int(probs.argmax())])  # -> Economia

Treino

• 3 épocas · learning rate 2e-5 · batch 16 · fp16
• Loss ponderada por classe (class_weight="balanced") — os dados são desbalanceados
• Melhor época escolhida por F1-macro na validação

Projeto completo

EDA, baseline clássico, comparação de modelos e API FastAPI dockerizada: 👉 https://github.com/wesleybritowx/Text-classification