feat: implement marketing data ingestion with normalization and add bulk deduplication/cleaning to financial records

app.py

@@ -1,4 +1,5 @@
 import os
+import json
 import datetime
 import logging
 import re
@@ -8,6 +9,14 @@ from pydantic import BaseModel, ConfigDict, Field, field_validator
 import rapidfuzz
 import pandas as pd
 from typing import List, Optional, Dict, Any
+
+# ── Carga del diccionario de normalización ────────────────────────────────────
+_DICT_PATH = os.path.join(os.path.dirname(__file__), "diccionario_normalizacion.json")
+try:
+    with open(_DICT_PATH, "r", encoding="utf-8") as _f:
+        DICCIONARIO_NORMALIZACION = json.load(_f)
+except Exception:
+    DICCIONARIO_NORMALIZACION = {}
 from sqlalchemy.orm import Session
 from database import (
     get_db,
@@ -784,8 +793,71 @@ def procesar_lote_encuestas(payloads: List[Dict[str, Any]], db: Session = Depend
 
 @app.post("/api/v1/ingest/marketing", status_code=status.HTTP_201_CREATED)
 def procesar_lote_marketing(payloads: List[Dict[str, Any]], db: Session = Depends(get_db)):
-    """Ruta para OKRs de Marketing (Placeholder)"""
-    return {"status": "success", "message": "Ruta de marketing lista para implementación"}
+    """
+    Bulk Insert real de datos de Marketing/Ventas en fact_marketing.
+    Recibe una lista de dicts con raw_data del frontend y los inserta
+    resolviendo las dimensiones id_modulo e id_tiempo.
+    """
+    try:
+        from sqlalchemy import func
+
+        existing_modulos = {m.nombre_modulo: m.id_modulo for m in db.query(DimModulo).all()}
+        existing_tiempos = {t.id_tiempo for t in db.query(DimTiempo).all()}
+
+        hechos_mkt = []
+        for p in payloads:
+            raw = p.get("raw_data", p) if isinstance(p, dict) else p
+
+            # Resolver módulo/programa
+            programa_raw = raw.get("programa") or raw.get("modulo") or raw.get("data_domain", "Marketing General")
+            # Aplicar normalización del diccionario
+            norm_progs = DICCIONARIO_NORMALIZACION.get("programas_cursos", {})
+            programa_clean = norm_progs.get(programa_raw, programa_raw)
+
+            id_modulo_val = existing_modulos.get(programa_clean)
+            if not id_modulo_val:
+                nuevo_modulo = DimModulo(
+                    nombre_modulo=programa_clean,
+                    nombre_institucion=raw.get("institucion", "GiraGroup"),
+                    programa=programa_clean
+                )
+                db.add(nuevo_modulo)
+                db.flush()
+                id_modulo_val = nuevo_modulo.id_modulo
+                existing_modulos[programa_clean] = id_modulo_val
+
+            # Resolver tiempo
+            id_tiempo_val = raw.get("id_tiempo", 1)
+            if id_tiempo_val not in existing_tiempos:
+                db.add(DimTiempo(id_tiempo=id_tiempo_val, gestion=2026, semestre=1, mes="Junio"))
+                db.flush()
+                existing_tiempos.add(id_tiempo_val)
+
+            # Extraer métricas de marketing
+            leads_val = int(raw.get("leads", 1))
+            reservas_val = int(raw.get("reservas", 0))
+            inscritos_val = int(raw.get("inscritos", 0))
+            costo_val = float(raw.get("costo", raw.get("costo_programa", 0)))
+
+            hechos_mkt.append(FactMarketingInscripciones(
+                id_modulo=id_modulo_val,
+                id_tiempo=id_tiempo_val,
+                leads=leads_val,
+                reservas=reservas_val,
+                inscritos=inscritos_val,
+                costo_programa=costo_val
+            ))
+
+        if hechos_mkt:
+            db.add_all(hechos_mkt)
+        db.commit()
+
+        return {"status": "success", "inserted": len(hechos_mkt)}
+    except Exception as e:
+        db.rollback()
+        import traceback
+        traceback.print_exc()
+        raise HTTPException(status_code=500, detail=str(e))
 
 @app.post("/api/v1/ingesta/financiera/bulk", status_code=status.HTTP_201_CREATED)
 def procesar_lote_financiero(payloads: List[FinancePayload], db: Session = Depends(get_db), current_user: Users = Depends(get_current_user)):
@@ -1272,6 +1344,44 @@ def batch_analyze_nlp(
     else:
         records = payload.records
 
+    # ── Deduplicación con Pandas (todas las columnas) ─────────────────────
+    try:
+        records_dicts = [r.model_dump() if hasattr(r, 'model_dump') else r.dict() for r in records]
+        df_records = pd.DataFrame(records_dicts)
+        original_count = len(df_records)
+        df_records = df_records.drop_duplicates()
+        dedup_count = original_count - len(df_records)
+        if dedup_count > 0:
+            logger.info(f"drop_duplicates eliminó {dedup_count} registros duplicados exactos de {original_count}")
+        # ── Normalización con diccionario ─────────────────────────────────
+        norm_progs = DICCIONARIO_NORMALIZACION.get("programas_cursos", {})
+        norm_ciudades = DICCIONARIO_NORMALIZACION.get("departamentos_ciudades", {})
+        norm_grupos = DICCIONARIO_NORMALIZACION.get("grupos_sede", {})
+        norm_estados = DICCIONARIO_NORMALIZACION.get("estados_financieros", {})
+        norm_estados_arca = DICCIONARIO_NORMALIZACION.get("estados_academicos_arca", {})
+        if "programa" in df_records.columns:
+            # Eliminar versiones como "v.3", "2° Versión", "3ª Versión" antes del cruce
+            df_records["programa"] = df_records["programa"].str.replace(r'(?i)\s*(v\.\d+|\d+[°ª]\s*Versi[oó]n).*$', '', regex=True)
+            df_records["programa"] = df_records["programa"].replace(norm_progs)
+        if "modulo" in df_records.columns:
+            df_records["modulo"] = df_records["modulo"].replace(norm_progs)
+        if "ciudad" in df_records.columns:
+            df_records["ciudad"] = df_records["ciudad"].replace(norm_ciudades)
+            df_records["ciudad"] = df_records["ciudad"].replace(norm_grupos)
+        if "estado_cartera" in df_records.columns:
+            df_records["estado_cartera"] = df_records["estado_cartera"].replace(norm_estados)
+        for col_arca in ["estado_academico", "estado_tutoria", "estado_arca"]:
+            if col_arca in df_records.columns:
+                df_records[col_arca] = df_records[col_arca].replace(norm_estados_arca)
+        # Reconstruir records desde DataFrame normalizado
+        if hasattr(records[0], 'model_validate'):
+            RecordClass = type(records[0])
+            records = [RecordClass.model_validate(row) for row in df_records.to_dict(orient="records")]
+        else:
+            records = [type(records[0])(**row) for row in df_records.to_dict(orient="records")]
+    except Exception as e:
+        logger.warning(f"drop_duplicates/normalización falló (procesando sin dedup): {e}")
+
     results = []
     estudiantes_existentes = db.query(DimEstudiante).all()
     

diccionario_normalizacion.json

@@ -0,0 +1,224 @@
+{
+  "programas_cursos": {
+    "MBA": "Administración de Empresas (MBA)",
+    "Maestria MBA": "Administración de Empresas (MBA)",
+    "Maestría MBA": "Administración de Empresas (MBA)",
+    "Maestria Administracion": "Administración de Empresas (MBA)",
+    "Maestría Administración": "Administración de Empresas (MBA)",
+    "Maestria Transformacion Digital": "Transformación Digital e Innovación Empresarial Basada en Inteligencia Artificial",
+    "Maestría Transformación Digital": "Transformación Digital e Innovación Empresarial Basada en Inteligencia Artificial",
+    "Maestria IA": "Transformación Digital e Innovación Empresarial Basada en Inteligencia Artificial",
+    "Maestría IA": "Transformación Digital e Innovación Empresarial Basada en Inteligencia Artificial",
+    "Maestria Neurociencia": "Neurociencia Aplicada",
+    "Maestría Neurociencia": "Neurociencia Aplicada",
+    "Maestria Marketing": "Marketing Inteligente y Gestión Comercial",
+    "Maestría Marketing": "Marketing Inteligente y Gestión Comercial",
+    "Maestria Marketing Inteligente": "Marketing Inteligente y Gestión Comercial",
+    "Maestría Marketing Inteligente": "Marketing Inteligente y Gestión Comercial",
+    "Maestria Gestion Hospitalaria": "Gestión Hospitalaria y Gerencia de Salud",
+    "Maestría Gestión Hospitalaria": "Gestión Hospitalaria y Gerencia de Salud",
+    "Maestria Salud": "Gestión Hospitalaria y Gerencia de Salud",
+    "Maestría Salud": "Gestión Hospitalaria y Gerencia de Salud",
+    "Diplomado Educacion Superior": "Educación Superior por Competencias e Innovación Tecnológica",
+    "Diplomado Educación Superior": "Educación Superior por Competencias e Innovación Tecnológica",
+    "Diplomado TIC": "Educación Superior por Competencias e Innovación Tecnológica",
+    "Diplomado TICs": "Educación Superior por Competencias e Innovación Tecnológica",
+    "Diplomado IA Educacion": "Inteligencia Artificial Aplicada a la Educación",
+    "Diplomado IA Educación": "Inteligencia Artificial Aplicada a la Educación",
+    "Diplomado Marketing Digital": "Marketing Digital y Social Ads",
+    "Diplomado Mkt Digital": "Marketing Digital y Social Ads",
+    "Diplomado Social Ads": "Marketing Digital y Social Ads",
+    "Diplomado Marketing Farmaceutico": "Marketing Farmacéutico",
+    "Diplomado Marketing Farmacéutico": "Marketing Farmacéutico",
+    "Diplomado Mkt Farma": "Marketing Farmacéutico",
+    "Diplomado Gerencia Financiera": "Gerencia Financiera y Administración de Negocios",
+    "Diplomado Finanzas": "Gerencia Financiera y Administración de Negocios",
+    "Diplomado Medicina Estetica": "Medicina Estética",
+    "Diplomado Medicina Estética": "Medicina Estética",
+    "Diplomado Ozonoterapia": "Protocolos Fundamentales en Ozonoterapia",
+    "Diplomado Preparaciones Magistrales": "Preparaciones Magistrales y Buenas Prácticas de Elaboración",
+    "Diplomado Emergencias Medicas": "Emergencias Médicas: Traumas y Soporte Vital Avanzado",
+    "Diplomado Emergencias Médicas": "Emergencias Médicas: Traumas y Soporte Vital Avanzado",
+    "Diplomado Derecho Bancario": "Derecho Bancario y Bursátil (Enfoque Nacional e Internacional)",
+    "Diplomado Talento Humano": "Gestión y Administración de Talento Humano",
+    "Diplomado RRHH": "Gestión y Administración de Talento Humano",
+    "Diplomado RR.HH.": "Gestión y Administración de Talento Humano",
+    "Maestr. RRHH": "Gestión y Administración de Talento Humano",
+    "Maestría en RR.HH.": "Gestión y Administración de Talento Humano",
+    "Diplomado Psicologia Clinica": "Psicología Clínica y Psicoterapia Centrada en Procesos",
+    "Diplomado Psicología Clínica": "Psicología Clínica y Psicoterapia Centrada en Procesos",
+    "Experto Costos": "Gestión Estratégica de Costos",
+    "Experto Gestion Costos": "Gestión Estratégica de Costos",
+    "Experto Gestión Costos": "Gestión Estratégica de Costos",
+    "Experto Asesoria Financiera": "Asesoría y Gestión Financiera",
+    "Experto Asesoría Financiera": "Asesoría y Gestión Financiera",
+    "Experto Riesgo Financiero": "Gestión Integral de Riesgo Financiero",
+    "Experto IA TICs Educacion": "Inteligencia Artificial y TICs Aplicadas a la Educación",
+    "Experto IA TICs Educación": "Inteligencia Artificial y TICs Aplicadas a la Educación",
+    "Curso Edicion Video": "Edición de Video para Redes Sociales",
+    "Curso Edición Video": "Edición de Video para Redes Sociales",
+    "Curso Direccion Comercial": "Dirección Estratégica Comercial",
+    "Curso Dirección Comercial": "Dirección Estratégica Comercial",
+    "Curso Marketing Digital": "Marketing Digital (Curso corto)",
+    "Curso Salud Mental Infanto": "Salud Mental Infanto – Juvenil: Psicopatología de los Trastornos Mentales más Frecuentes",
+    "Curso Fotografia Odontologia": "Fotografía en Odontología y su Importancia Clínica",
+    "Curso Fotografía Odontología": "Fotografía en Odontología y su Importancia Clínica",
+    "Curso Flebologia": "Flebología y Linfología (Escleroterapia)",
+    "Curso Flebología": "Flebología y Linfología (Escleroterapia)",
+    "Curso Escritura Legal": "Curso en Escritura Legal y Jurisprudencia",
+    "Curso Obstetricia": "Curso en Obstetricia Clínica Integral",
+    "Curso Residencia Medica": "Curso Preparatorio para la Residencia Médica",
+    "Curso Residencia Médica": "Curso Preparatorio para la Residencia Médica",
+    "Curso Tablas Dinamicas": "Curso Tablas Dinámicas en Microsoft Excel",
+    "Curso Tablas Dinámicas": "Curso Tablas Dinámicas en Microsoft Excel",
+    "Curso Excel": "Curso Tablas Dinámicas en Microsoft Excel",
+    "Curso Contratacion Estado": "Curso Especializado en Procesos de Contratación del Estado",
+    "Curso Contratación Estado": "Curso Especializado en Procesos de Contratación del Estado",
+    "Curso Ethical Hacking": "Curso en Ethical Hacking-Pentesting",
+    "Curso Pentesting": "Curso en Ethical Hacking-Pentesting",
+    "Curso Psicologia Consumidor": "Curso en Psicología del Consumidor",
+    "Curso Psicología Consumidor": "Curso en Psicología del Consumidor",
+    "Curso Ciberseguridad": "Curso en Ciberseguridad y Educación Financiera",
+    "Curso Oficiales Credito": "Curso Formación de Oficiales de Crédito",
+    "Curso Oficiales Crédito": "Curso Formación de Oficiales de Crédito",
+    "Curso Herramientas Tecnologicas": "Curso en Uso de Herramientas Tecnológicas para Educadores",
+    "Curso Herramientas Tecnológicas": "Curso en Uso de Herramientas Tecnológicas para Educadores",
+    "Curso Bienestar Salud Mental": "Curso en Bienestar y Salud Mental en el Trabajo",
+    "Curso Redaccion Creativa": "Curso de Redacción Creativa para Redes Sociales",
+    "Curso Redacción Creativa": "Curso de Redacción Creativa para Redes Sociales",
+    "Curso Inteligencia Empresarial": "Curso Inteligencia Empresarial con Microsoft Excel",
+    "Curso Abdomen Agudo": "Curso en Manejo del Abdomen Agudo Quirúrgico",
+    "Curso Contenidos Educacion": "Curso en Creación de Contenidos en Educación en Redes Sociales",
+    "Curso Contenidos Educación": "Curso en Creación de Contenidos en Educación en Redes Sociales",
+    "Curso Atencion Cliente": "Curso en Atención al Cliente y Manejo de Conflictos",
+    "Curso Atención Cliente": "Curso en Atención al Cliente y Manejo de Conflictos"
+  },
+  "departamentos_ciudades": {
+    "Lp": "La Paz",
+    "LP": "La Paz",
+    "LPZ": "La Paz",
+    "Lpz": "La Paz",
+    "la paz": "La Paz",
+    "LA PAZ": "La Paz",
+    "Cbba": "Cochabamba",
+    "CBBA": "Cochabamba",
+    "cbba": "Cochabamba",
+    "cochabamba": "Cochabamba",
+    "COCHABAMBA": "Cochabamba",
+    "Scz": "Santa Cruz",
+    "SCZ": "Santa Cruz",
+    "scz": "Santa Cruz",
+    "Santa cruz": "Santa Cruz",
+    "santa cruz": "Santa Cruz",
+    "SANTA CRUZ": "Santa Cruz",
+    "Oruro": "Oruro",
+    "ORURO": "Oruro",
+    "Potosi": "Potosí",
+    "POTOSI": "Potosí",
+    "potosi": "Potosí",
+    "Sucre": "Sucre",
+    "SUCRE": "Sucre",
+    "Chuquisaca": "Sucre",
+    "CHUQUISACA": "Sucre",
+    "Tarija": "Tarija",
+    "TARIJA": "Tarija",
+    "Beni": "Trinidad",
+    "BENI": "Trinidad",
+    "Trinidad": "Trinidad",
+    "TRINIDAD": "Trinidad",
+    "Pando": "Cobija",
+    "PANDO": "Cobija",
+    "Cobija": "Cobija",
+    "COBIJA": "Cobija",
+    "El Alto": "El Alto",
+    "EL ALTO": "El Alto",
+    "el alto": "El Alto"
+  },
+  "universidades_instituciones": {
+    "GiraGroup": "GiraGroup Centro de Formación Continua",
+    "Gira Group": "GiraGroup Centro de Formación Continua",
+    "GIRAGROUP": "GiraGroup Centro de Formación Continua",
+    "giragroup": "GiraGroup Centro de Formación Continua",
+    "Gira": "GiraGroup Centro de Formación Continua",
+    "UMSA": "Universidad Mayor de San Andrés",
+    "UMSS": "Universidad Mayor de San Simón",
+    "UAGRM": "Universidad Autónoma Gabriel René Moreno",
+    "UCB": "Universidad Católica Boliviana San Pablo",
+    "UPB": "Universidad Privada Boliviana",
+    "UPEA": "Universidad Pública de El Alto",
+    "UTB": "Universidad Técnica de Bolivia",
+    "EMI": "Escuela Militar de Ingeniería",
+    "UNIVALLE": "Universidad Privada del Valle",
+    "UTO": "Universidad Técnica de Oruro",
+    "USFX": "Universidad Mayor, Real y Pontificia de San Francisco Xavier de Chuquisaca",
+    "UNIFRANZ": "Universidad Franz Tamayo",
+    "unifranz": "Universidad Franz Tamayo",
+    "Unifranz": "Universidad Franz Tamayo"
+  },
+  "estados_financieros": {
+    "AL DIA": "AL DÍA",
+    "al dia": "AL DÍA",
+    "Al Dia": "AL DÍA",
+    "Al dia": "AL DÍA",
+    "al día": "AL DÍA",
+    "ALDIA": "AL DÍA",
+    "EN MORA": "MORA",
+    "en mora": "MORA",
+    "En Mora": "MORA",
+    "mora": "MORA",
+    "PENDIENTE": "PENDIENTE",
+    "pendiente": "PENDIENTE",
+    "PAGADO": "PAGADO",
+    "pagado": "PAGADO",
+    "Pagado": "PAGADO",
+    "PROYECTADO": "PROYECTADO",
+    "proyectado": "PROYECTADO",
+    "PENDIENTE DE PAGO": "PENDIENTE",
+    "DERIVADO A LEGAL": "LEGAL",
+    "ACUERDO DE PAGO FIRMADO": "ACUERDO DE PAGO",
+    "EN GESTIÓN DE COBRO": "GESTIÓN DE COBRO",
+    "CARTERA CERRADA": "CARTERA CERRADA",
+    "CARTERA EN MORA": "CARTERA EN MORA",
+    "CARTERA VIGENTE": "CARTERA VIGENTE",
+    "CARTERA DADO DE BAJA": "CARTERA DADO DE BAJA"
+  },
+  "grupos_sede": {
+    "Grupo A - La Paz": "La Paz",
+    "Grupo B - La Paz": "La Paz",
+    "Grupo C - La Paz": "La Paz",
+    "Grupo A - Cochabamba": "Cochabamba",
+    "Grupo Cbba": "Cochabamba",
+    "Grupo CBBA": "Cochabamba",
+    "Grupo El Alto": "El Alto",
+    "Grupo C - El Alto": "El Alto",
+    "Grupo A - El Alto": "El Alto",
+    "Grupo B - El Alto": "El Alto",
+    "Grupo A - Santa Cruz": "Santa Cruz",
+    "Grupo B - Santa Cruz": "Santa Cruz",
+    "Grupo SCZ": "Santa Cruz",
+    "Grupo A - Oruro": "Oruro",
+    "Grupo B - Oruro": "Oruro",
+    "Grupo A - Sucre": "Sucre",
+    "Grupo B - Sucre": "Sucre",
+    "Grupo A - Tarija": "Tarija",
+    "Grupo B - Tarija": "Tarija",
+    "Grupo A - Trinidad": "Trinidad",
+    "Grupo A - Cobija": "Cobija",
+    "Grupo Virtual": "Virtual",
+    "Grupo Online": "Virtual",
+    "VIRTUAL": "Virtual",
+    "Online": "Virtual"
+  },
+  "estados_academicos_arca": {
+    "Aprobado": "APROBADO",
+    "Reprobado": "REPROBADO",
+    "Abandono": "ABANDONO",
+    "En Proceso": "EN PROCESO",
+    "Atrasado": "ATRASADO",
+    "Al Dia": "AL DÍA",
+    "Sin Tutoria": "SIN TUTORÍA",
+    "Emitido": "EMITIDO",
+    "Pendiente": "PENDIENTE",
+    "En Tramite": "EN TRÁMITE"
+  }
+}