Update app.py

app.py

@@ -2,8 +2,8 @@ import gradio as gr
 from huggingface_hub import InferenceClient
 from transformers import pipeline
 from transformers import AutoTokenizer, AutoModelForCausalLM
-import torch
 import os
+import torch
 
 title = "Generador y clasificador de coloquialismos cubanos"
 description = "Genera texto con el dialecto cubano y detecta expresiones coloquiales cubanas."
@@ -23,38 +23,62 @@ Se utilizó el dataset somosnlp-hackathon-2026/patriae-cuba-literature-dataset p
 HF_TOKEN = os.environ.get("HF_TOKEN", None)
 
 # Cargar el modelo para clasificación
+print("📊 Cargando clasificador...")
 classifier = pipeline(
     "text-classification", 
     model='somosnlp-hackathon-2026/patriae-cuban-dialect-model', 
     token=HF_TOKEN 
 )
 
-repo_id='somosnlp-hackathon-2026/patriae-cuban-dialect-model' 
+repo_id = 'somosnlp-hackathon-2026/patriae-cuban-dialect-model'
+chat_available = False
+generator = None
+tokenizer_chat = None
+error_message = ""
 
+print("💬 Intentando cargar modelo de chat...")
 try:
-    # Cargar tokenizador y modelo para generación
+    # Cargar tokenizador
     tokenizer_chat = AutoTokenizer.from_pretrained(repo_id, token=HF_TOKEN)
+    print("✅ Tokenizador cargado")
+    
+    # Configurar token de padding
+    if tokenizer_chat.pad_token is None:
+        tokenizer_chat.pad_token = tokenizer_chat.eos_token
+        print("✅ Token de padding configurado")
+    
+    # Cargar modelo para generación
     model_chat = AutoModelForCausalLM.from_pretrained(
         repo_id, 
         torch_dtype=torch.float16 if torch.cuda.is_available() else torch.float32,
         device_map="auto" if torch.cuda.is_available() else None,
-        token=HF_TOKEN
+        token=HF_TOKEN,
+        low_cpu_mem_usage=True
     )
+    print("✅ Modelo cargado")
     
-    # Crear pipeline de generación de texto
+    # Crear pipeline de generación de texto con parámetros optimizados
     generator = pipeline(
         "text-generation",
         model=model_chat,
         tokenizer=tokenizer_chat,
-        device=0 if torch.cuda.is_available() else -1
+        device=0 if torch.cuda.is_available() else -1,
+        max_new_tokens=100,  # Reducido para velocidad
+        temperature=0.7,
+        top_p=0.95,
+        do_sample=True,
+        repetition_penalty=1.1  # Evita repeticiones
     )
+    
     chat_available = True
     print("✅ Modelo de chat cargado correctamente")
     
 except Exception as e:
+    error_message = str(e)
     print(f"⚠️ Error cargando modelo de chat: {e}")
     chat_available = False
     generator = None
+    tokenizer_chat = None
 
 
 def chat_response(message, history):
@@ -62,7 +86,7 @@ def chat_response(message, history):
     Función para generar respuestas en dialecto cubano usando el modelo de chat
     """
     if not chat_available:
-        yield "⚠️ El modelo de chat no está disponible. Usa el clasificador por ahora."
+        yield f"⚠️ El modelo de chat no está disponible.\n\n**Error:** {error_message}\n\nUsa el clasificador por ahora."
         return
     
     if not message or message.strip() == "":
@@ -70,20 +94,19 @@ def chat_response(message, history):
         return
     
     try:
-        # Construir el prompt con contexto
-        prompt = f"""Eres un cubano conversando con un amigo. Responde con naturalidad usando el dialecto cubano.
-
-Usuario: {message}
-Cubano:"""
+        # Construir el prompt con contexto más corto para velocidad
+        prompt = f"""Eres un cubano conversando con un amigo. Responde con naturalidad usando el dialecto cubano:\nUsuario: {message}\nCubano:"""
         
-        # Generar respuesta
+        # Generar respuesta con parámetros optimizados
         result = generator(
             prompt,
-            max_new_tokens=150,
+            max_new_tokens=80,  # Límite de tokens para respuesta más rápida
             temperature=0.7,
-            top_p=0.95,
+            top_p=0.9,
             do_sample=True,
-            pad_token_id=tokenizer_chat.eos_token_id
+            repetition_penalty=1.15,
+            pad_token_id=tokenizer_chat.eos_token_id if tokenizer_chat else None,
+            eos_token_id=tokenizer_chat.eos_token_id if tokenizer_chat else None
         )
         
         # Extraer la respuesta generada
@@ -95,6 +118,10 @@ Cubano:"""
         if not response:
             response = "¡Ay, mi hermano! No sé qué decirte, pero pa' que veas que estoy aquí escuchando."
         
+        # Limitar respuesta a 200 caracteres para velocidad
+        if len(response) > 200:
+            response = response[:200] + "..."
+        
         yield response
         
     except Exception as e:
@@ -112,11 +139,6 @@ def classify_text(text):
         # Obtener resultados del modelo
         results = classifier(text)
         
-        # DEBUG: Imprimir para ver la estructura (puedes eliminar después)
-        print(f"Results: {results}")
-        print(f"Type: {type(results)}")
-        print(f"Length: {len(results)}")
-        
         # Verificar que results no esté vacío
         if not results or len(results) == 0:
             return "❌ No se obtuvieron resultados del modelo."
@@ -128,17 +150,14 @@ def classify_text(text):
         
         # Determinar si es coloquial (LABEL_1 = coloquial, LABEL_0 = no coloquial)
         if label == "LABEL_1":
-            es_coloquial = True
             emoji = "🇨🇺"
             tipo = "**COLOQUIAL CUBANO**"
             descripcion = "✅ Este texto contiene expresiones típicas del dialecto cubano."
         elif label == "LABEL_0":
-            es_coloquial = False
             emoji = "📚"
             tipo = "**NO COLOQUIAL / ESTÁNDAR**"
             descripcion = "ℹ️ Este texto usa lenguaje estándar, sin expresiones coloquiales cubanas."
         else:
-            # Si la etiqueta no es LABEL_0 ni LABEL_1, mostrar la etiqueta original
             emoji = "🔍"
             tipo = f"**{label}**"
             descripcion = f"Etiqueta desconocida: {label}"
@@ -153,8 +172,9 @@ def classify_text(text):
 
 """
         return output
+        
     except Exception as e:
-        return f"❌ Error en clasificación: {str(e)}\n\nDetalles técnicos: El modelo devolvió: {results if 'results' in locals() else 'No hay resultados'}"
+        return f"❌ Error en clasificación: {str(e)}"
 
     
 # Interfaz de Chat
@@ -163,11 +183,9 @@ chat_interface = gr.ChatInterface(
     title="💬 Chat en Dialecto Cubano",
     description="Conversa con un modelo entrenado en dialecto cubano.",
     examples=[
-        "¿Qué bolá? ¿Cómo andas?",
+        "¿Qué bolá?",
         "Cuéntame qué hiciste hoy.",
-        "¿Cómo se dice 'amigo' en español cubano?",
-        "Dime un refrán cubano.",
-        "¿Qué opinas de la comida cubana?"
+        "Dime un refrán cubano."
     ]
 )
 
@@ -176,7 +194,7 @@ classifier_interface = gr.Interface(
     fn=classify_text,
     inputs=gr.Textbox(
         label="Texto a clasificar",
-        placeholder="Escribe una frase en cubano...",
+        placeholder="Escribe una frase en español cubano...",
         lines=5
     ),
     outputs=gr.Markdown(label="Resultado"),
@@ -188,7 +206,6 @@ classifier_interface = gr.Interface(
         ["Los pueblos que no se conocen han de darse prisa para conocerse, como quienes van a pelear juntos."],
         ["El cielo está despejado y hace buen tiempo."],
         ["¿Qué bolá? ¿Cómo andas? ¡Tremenda jodedera!"],
-
     ]
 )
 
@@ -201,7 +218,15 @@ with gr.Blocks(title=title) as demo:
         classifier_interface.render()
     
     with gr.Tab("💬 Chat"):
-        chat_interface.render()
+        if chat_available:
+            chat_interface.render()
+        else:
+            gr.Markdown(f"""
+            ## ⚠️ Modelo de chat no disponible
+            
+            **Error:** `{error_message}`
+            
+            """)
     
     gr.Markdown(article)