---
language:
- pt
pipeline_tag: text-generation
library_name: transformers
tags:
- causal-lm
- pt-br
- custom-code
---

# Echoes-0

`henriqueimoveis/Echoes-0` é a primeira publicação do Echoes.

## O que e isso

Esse modelo foi treinado do zero em PT-BR como um projeto pessoal/experimental.
O checkpoint publicado aqui vem de `checkpoints/echoes_ptbr_hammer_4060.pt`.

## Arquitetura

- Parametros aproximados: 134.30M
- Camadas: 12
- Heads: 12
- Embedding: 768
- Contexto: 256 tokens
- Vocabulario: 32000
- Tokenizer: BPE proprio em PT-BR

## Dados

Mistura principal usada neste checkpoint:

- `Madras1/corpus-ptbr-v1`
- `dominguesm/Canarim-Instruct-PTBR-Dataset`
- `rishiraj/portuguesechat`

Dataset mix salvo no checkpoint: `sft-heavy`.

## Status

Esse é um modelo experimental publicado para marcar a existencia do projeto.
Ele pode responder bem em alguns casos e falhar feio em outros.

## Como usar

```python
from transformers import AutoModelForCausalLM, AutoTokenizer

repo_id = "henriqueimoveis/Echoes-0"
tokenizer = AutoTokenizer.from_pretrained(repo_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(repo_id, trust_remote_code=True)

prompt = "Usuario: Oi, Echoes. Quem e voce?\nEchoes:"
inputs = tokenizer(prompt, return_tensors="pt")
outputs = model.generate(**inputs, max_new_tokens=80, temperature=0.9, top_p=0.95)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))
```

## Metadados do checkpoint

- Step salvo: 8028
- Melhor val loss historico: 3.603450618684292
- Tokenizer BOS/EOS/PAD: `<s>` / `</s>` / `<pad>`