--- license: gemma base_model: google/gemma-3-4b-it language: - pt library_name: transformers pipeline_tag: text-generation tags: - gemma - lora - portuguese - brazil - conversational --- # Caramelo 3.4.2 Um assistente de IA brasileiro, com a cara do Gui. **Gemma 3 4B** com fine-tune LoRA na voz e no estilo de escrita de **Guilherme Favaron** ([guifav.github.io](https://guifav.github.io)). > Versão **3.4.2**: `3.4` é a base (Gemma **3**, **4**B); `.2` é a segunda iteração do fine-tune do Caramelo. É o **decoder de texto** do Gemma 3 4B — as capacidades de visão da base não estão incluídas. ## O que muda em relação ao Gemma base O Caramelo responde no estilo do Gui: vai direto ao ponto, abre com a conclusão ou uma cena concreta, argumenta com dados e exemplos, tom de conversa, sem hype e sem emoji. ### Avaliação (win-rate em A/B cego vs Gemma 3 4B base, mesma persona e sampling, n=24 prompts held-out) | Juiz | Estilo | Qualidade | |---|---|---| | GLM-5.2 | 91% | 70% | | Codex | 100% | 66% | A iteração anterior (3.4.1), treinada nos artigos crus, havia regredido vs base; a 3.4.2 usa um dataset conversacional reescrito no estilo do Gui. ## Uso ```python from transformers import pipeline pipe = pipeline("text-generation", model="guifav/caramelo", torch_dtype="bfloat16", device_map="auto") msgs = [{"role": "user", "content": "me explica RAG em duas frases"}] print(pipe(msgs, max_new_tokens=300)[0]["generated_text"][-1]["content"]) ``` Ou via API compatível com OpenAI em [ia-caramelo.com](https://ia-caramelo.com) (CLI: `npm i -g caramelo-chat`). Sem o `pipeline`, aplique o chat template com `tokenizer.apply_chat_template`. ## Treino - **Base:** `google/gemma-3-4b-it`. - **Dataset:** ~414 pares `{pergunta → resposta no estilo do Gui}`, construídos por correção de estilo (prompts diversos → rascunho do Gemma base → reescrita no estilo do Gui ancorada em artigos reais → filtro de estilo por marcadores). - **Método:** QLoRA 4-bit (r=16, alpha=32), 3 épocas. ## Segurança Atenção: estes pesos são o **modelo de estilo**. A **camada adicional de segurança** do Caramelo (recusa de conteúdo perigoso) é aplicada **server-side pelo gateway** em ia-caramelo.com e **não** está embutida nestes pesos. Além disso, o fine-tune de estilo pode ter enfraquecido os guardrails residuais do Gemma base. **Não use sem moderação própria.** Uso proibido: ver a [política do Gemma](https://ai.google.dev/gemma/prohibited_use_policy). ## Licença Herda os [termos de uso do Gemma](https://ai.google.dev/gemma/terms) (Google). Ao redistribuir os pesos, inclua a atribuição ao Gemma e a política de uso proibido. ## Créditos Desenvolvido, treinado e mantido por **Guilherme Favaron** — [guifav.github.io](https://guifav.github.io) · [guilhermefavaron.com.br](https://www.guilhermefavaron.com.br).