Comunidade-Synapse-BR
/

Synapse-LangID

@@ -44,106 +44,104 @@ metrics:
 # 🌍 Synapse-LangID
-**Synapse-LangID** is a lightweight multilingual language identification model developed by **Comunidade Synapse BR**.
-Designed for fast and efficient language detection, the model combines a compact BERT architecture with strong multilingual performance, making it suitable for production systems, APIs, mobile applications and edge devices.
-The project focuses on providing an open-source, lightweight alternative for language identification while maintaining low computational requirements.
 ---
-# 🚀 Highlights
-- 🌍 Supports **15 languages**
-- ⚡ Fast inference
-- 🪶 Lightweight architecture (~5M parameters)
-- 📦 Small model size (~20 MB)
-- 🤗 Compatible with Hugging Face Transformers
-- 🔓 Open-source
-- 💻 Suitable for production and edge computing
 ---
-# 📖 Model Overview
-| Property | Value |
-|-----------|-------|
-| Architecture | BERT Encoder |
-| Parameters | ~5 Million |
-| Model Size | ~20 MB |
-| Vocabulary Size | 16,000 |
-| Maximum Sequence Length | 128 tokens |
 | Hidden Size | 192 |
-| Transformer Layers | 6 |
-| Attention Heads | 4 |
-| Intermediate Size | 512 |
 | Framework | PyTorch |
-| Library | Hugging Face Transformers |
 ---
-# 🌐 Supported Languages
-| Code | Language |
-|------|----------|
-| en | English |
-| es | Spanish |
-| fi | Finnish |
-| fr | French |
-| it | Italian |
-| ja | Japanese |
-| ko | Korean |
-| nl | Dutch |
-| pl | Polish |
-| pt | Portuguese |
-| ro | Romanian |
-| ru | Russian |
-| sv | Swedish |
-| tr | Turkish |
-| zh | Chinese |
-**Total:** 15 supported languages.
 ---
-# 📚 Training Dataset
-The model was trained using:
 **Comunidade-Synapse-BR/dataset-multilingue-750k**
-Dataset characteristics:
-- Approximately **750,000 texts**
-- 15 balanced languages
-- UTF-8 encoding
-- Cleaned and deduplicated
-- Balanced class distribution
-- Train / Validation / Test splits
-- Optimized for language identification
 ---
-# 🎯 Intended Uses
-Synapse-LangID is suitable for:
-- Language Identification
-- NLP Pipelines
-- Search Engines
-- Translation Pipelines
-- Dataset Cleaning
-- Dataset Filtering
-- Language Routing
-- Text Preprocessing
-- Document Processing
-- AI Applications
 ---
-# ⚡ Quick Start
-Install Transformers:
 ```bash
 pip install transformers torch
@@ -151,7 +149,7 @@ pip install transformers torch
 ---
-# 🤗 Pipeline Example
 ```python
 from transformers import pipeline
@@ -166,7 +164,7 @@ print(classifier("Olá, tudo bem?"))
 ---
-# 💻 Python Example
 ```python
 import torch
@@ -177,10 +175,10 @@ repo = "Comunidade-Synapse-BR/Synapse-LangID"
 tokenizer = AutoTokenizer.from_pretrained(repo)
 model = AutoModelForSequenceClassification.from_pretrained(repo)
-text = "Olá, tudo bem?"
 inputs = tokenizer(
-    text,
     return_tensors="pt",
     truncation=True,
     max_length=128
@@ -189,70 +187,71 @@ inputs = tokenizer(
 with torch.no_grad():
     outputs = model(**inputs)
-prediction = outputs.logits.softmax(dim=-1)
-label = model.config.id2label[prediction.argmax().item()]
-print(label)
 ```
 ---
-# 📊 Example Predictions
-| Input | Prediction |
-|-------|------------|
-| Hello world | en |
-| Olá mundo | pt |
-| Bonjour | fr |
-| Hola amigos | es |
-| Ciao a tutti | it |
-| 今日はいい天気ですね | ja |
-| 안녕하세요 | ko |
-| Привет | ru |
 ---
-# 📈 Performance
-Synapse-LangID performs best on:
-- Complete sentences
-- Paragraphs
-- Documentation
-- News articles
-- General conversations
-Performance may decrease for:
-- Extremely short texts
-- Mixed-language sentences
-- Random strings
-- Numbers only
-- Emoji-only messages
-- Heavy internet slang
-Performance metrics will be expanded in future releases.
 ---
-# ⚠️ Limitations
-Although Synapse-LangID performs well on multilingual language identification, no classifier is perfect.
-The model may struggle with:
-- Very short texts
-- Code-switching
-- Ambiguous content
-- Texts with little linguistic information
-- Mixed-language inputs
-Human review is recommended for critical applications.
 ---
-# 📂 Repository Files
 ```
 config.json
@@ -265,17 +264,17 @@ README.md
 ---
-# 📜 License
-This model is distributed under the **Apache License 2.0**.
-See the repository for additional licensing information.
 ---
-# 📚 Citation
-If this model contributes to your research or project, please consider citing it.
 ```bibtex
 @misc{synapse_langid_2026,
@@ -288,12 +287,10 @@ If this model contributes to your research or project, please consider citing it
 ---
-# 🤝 About Comunidade Synapse BR
-**Comunidade Synapse BR** is a Brazilian open-source initiative dedicated to developing lightweight AI models, datasets and tools for the global AI community.
-Our mission is to make artificial intelligence more accessible through efficient, transparent and open technologies while strengthening the Brazilian AI ecosystem.
-We welcome contributions, suggestions and community feedback.
----

 # 🌍 Synapse-LangID
+O **Synapse-LangID** é um modelo leve de identificação automática de idiomas desenvolvido pela **Comunidade Synapse BR**.
+Projetado para oferecer detecção rápida e eficiente de idiomas, o modelo combina uma arquitetura compacta baseada em **BERT** com bom desempenho multilíngue, sendo adequado para sistemas em produção, APIs, aplicações móveis e dispositivos de borda (*edge computing*).
+Nosso objetivo é disponibilizar uma solução **open source**, leve e acessível para identificação de idiomas, mantendo baixo custo computacional e facilidade de integração.
 ---
+# 🚀 Destaques
+- 🌍 Suporte para **15 idiomas**
+- ⚡ Inferência rápida
+- 🪶 Arquitetura leve (~5 milhões de parâmetros)
+- 📦 Aproximadamente 20 MB
+- 🤗 Compatível com Hugging Face Transformers
+- 🔓 Código aberto
+- 💻 Ideal para produção, APIs e Edge Computing
 ---
+# 📖 Visão Geral do Modelo
+| Propriedade | Valor |
+|-------------|-------|
+| Arquitetura | BERT Encoder |
+| Parâmetros | ~5 milhões |
+| Tamanho | ~20 MB |
+| Vocabulário | 16.000 tokens |
+| Comprimento máximo | 128 tokens |
 | Hidden Size | 192 |
+| Camadas Transformer | 6 |
+| Cabeças de Atenção | 4 |
+| Camada Intermediária | 512 |
 | Framework | PyTorch |
+| Biblioteca | Hugging Face Transformers |
 ---
+# 🌐 Idiomas Suportados
+| Código | Idioma |
+|---------|--------|
+| en | Inglês |
+| es | Espanhol |
+| fi | Finlandês |
+| fr | Francês |
+| it | Italiano |
+| ja | Japonês |
+| ko | Coreano |
+| nl | Holandês |
+| pl | Polonês |
+| pt | Português |
+| ro | Romeno |
+| ru | Russo |
+| sv | Sueco |
+| tr | Turco |
+| zh | Chinês |
+**Total:** 15 idiomas.
 ---
+# 📚 Dataset de Treinamento
+O modelo foi treinado utilizando o dataset:
 **Comunidade-Synapse-BR/dataset-multilingue-750k**
+Características do conjunto de dados:
+- Aproximadamente **750 mil textos**
+- 15 idiomas
+- Distribuição balanceada
+- Textos codificados em UTF-8
+- Dados limpos e sem duplicações
+- Divisão em treino, validação e teste
+- Otimizado para identificação de idiomas
 ---
+# 🎯 Casos de Uso
+O Synapse-LangID pode ser utilizado em:
+- Identificação automática de idiomas
+- Pipelines de NLP
+- Motores de busca
+- Sistemas de tradução
+- Limpeza de datasets
+- Filtragem de documentos
+- Roteamento por idioma
+- Pré-processamento de texto
+- Organização de documentos
+- Aplicações de Inteligência Artificial
 ---
+# ⚡ Instalação
 ```bash
 pip install transformers torch
 ---
+# 🤗 Exemplo utilizando Pipeline
 ```python
 from transformers import pipeline
 ---
+# 💻 Exemplo em Python
 ```python
 import torch
 tokenizer = AutoTokenizer.from_pretrained(repo)
 model = AutoModelForSequenceClassification.from_pretrained(repo)
+texto = "Olá, tudo bem?"
 inputs = tokenizer(
+    texto,
     return_tensors="pt",
     truncation=True,
     max_length=128
 with torch.no_grad():
     outputs = model(**inputs)
+probabilidades = outputs.logits.softmax(dim=-1)
+classe = model.config.id2label[
+    probabilidades.argmax().item()
+]
+print(classe)
 ```
 ---
+# 📊 Exemplos de Predição
+| Texto | Idioma |
+|--------|---------|
+| Hello world | Inglês |
+| Olá mundo | Português |
+| Bonjour | Francês |
+| Hola amigos | Espanhol |
+| Ciao a tutti | Italiano |
+| 今日はいい天気ですね | Japonês |
+| 안녕하세요 | Coreano |
+| Привет | Russo |
 ---
+# 📈 Desempenho
+O Synapse-LangID apresenta melhor desempenho em:
+- Frases completas
+- Parágrafos
+- Documentação
+- Notícias
+- Conversas do cotidiano
+O desempenho pode diminuir em casos como:
+- Textos extremamente curtos
+- Frases com múltiplos idiomas
+- Sequências aleatórias de caracteres
+- Apenas números
+- Apenas emojis
+- Uso excessivo de gírias da internet
+Novas métricas serão adicionadas em futuras versões.
 ---
+# ⚠️ Limitações
+Embora apresente bom desempenho em identificação automática de idiomas, nenhum classificador é perfeito.
+O modelo pode apresentar dificuldades em situações como:
+- Mensagens muito curtas
+- Mistura de idiomas (*code-switching*)
+- Conteúdo ambíguo
+- Textos com pouca informação linguística
+Para aplicações críticas, recomenda-se utilizar validação humana como camada adicional de segurança.
 ---
+# 📂 Arquivos do Repositório
 ```
 config.json
 ---
+# 📜 Licença
+Este modelo é distribuído sob a licença **Apache License 2.0**.
+Consulte o repositório para mais informações.
 ---
+# 📚 Citação
+Caso este modelo contribua para sua pesquisa ou projeto, considere citá-lo.
 ```bibtex
 @misc{synapse_langid_2026,
 ---
+# 🤝 Sobre a Comunidade Synapse BR
+A **Comunidade Synapse BR** é uma iniciativa brasileira dedicada ao desenvolvimento de modelos de inteligência artificial, datasets e ferramentas de código aberto.
+Nossa missão é tornar a inteligência artificial mais acessível por meio de tecnologias eficientes, leves e abertas, contribuindo para fortalecer a presença do Brasil no ecossistema global de IA.
+Contribuições, sugestões e relatos de problemas são sempre bem-vindos.