Phase 2: full 5-node pipeline working end-to-end - cross-reference and synthesis verified

src/agents/cross_reference.py

@@ -0,0 +1,129 @@
+# src/agents/cross_reference.py
+import os
+import json
+from langchain_google_genai import ChatGoogleGenerativeAI
+from src.agents.state import AgentState
+from src.utils.logger import logger
+from dotenv import load_dotenv
+
+load_dotenv()
+
+llm = ChatGoogleGenerativeAI(
+    model="gemini-2.5-flash",
+    google_api_key=os.getenv("GOOGLE_API_KEY"),
+    temperature=0
+)
+
+CROSS_REFERENCE_PROMPT = """Bạn là chuyên gia pháp lý so sánh luật Việt Nam với các hiệp định thương mại quốc tế.
+
+Nhiệm vụ: Phân tích và đối chiếu các quy định pháp luật Việt Nam với các tiêu chuẩn quốc tế (EVFTA, CPTPP) dựa trên các đoạn văn bản được cung cấp.
+
+## Câu hỏi gốc:
+{original_query}
+
+## Quy định pháp luật Việt Nam (nội địa):
+{domestic_context}
+
+## Tiêu chuẩn quốc tế (EVFTA/CPTPP):
+{international_context}
+
+## Yêu cầu phân tích:
+1. Tóm tắt ngắn gọn nội dung chính từ pháp luật Việt Nam liên quan đến câu hỏi
+2. Tóm tắt ngắn gọn các yêu cầu từ hiệp định quốc tế liên quan
+3. Đánh giá mức độ tương thích:
+   - "aligned": pháp luật Việt Nam đáp ứng đầy đủ yêu cầu quốc tế
+   - "conflict": có mâu thuẫn trực tiếp giữa luật Việt Nam và yêu cầu quốc tế
+   - "gap": pháp luật Việt Nam chưa đáp ứng đầy đủ hoặc còn thiếu sót
+   - "no_international": không có tiêu chuẩn quốc tế liên quan trong dữ liệu
+4. Giải thích cụ thể lý do đánh giá
+5. Liệt kê các văn bản đã hết hiệu lực được tìm thấy (nếu có)
+
+Trả lời ONLY bằng JSON hợp lệ, không có text nào khác:
+{{
+  "domestic_summary": "...",
+  "international_summary": "...",
+  "alignment": "aligned|conflict|gap|no_international",
+  "explanation": "...",
+  "expired_docs": ["tên văn bản 1", "tên văn bản 2"]
+}}"""
+
+def format_chunks_for_context(chunks: list[dict], max_chars_per_chunk: int = 400) -> str:
+    if not chunks:
+        return "Không có dữ liệu."
+
+    lines = []
+    for i, chunk in enumerate(chunks):
+        title = chunk.get("title", "")[:60]
+        article = chunk.get("article_number", "N/A")
+        text = chunk.get("text", "")[:max_chars_per_chunk]
+        status = chunk.get("tinh_trang_hieu_luc", "")
+        agreement = chunk.get("agreement", "")
+        source_label = f"[{agreement}]" if agreement else "[Việt Nam]"
+        expired_note = " ⚠️ HẾT HIỆU LỰC" if "hết hiệu lực" in status.lower() else ""
+
+        lines.append(
+            f"[{i+1}] {source_label} {title} — {article}{expired_note}\n{text}"
+        )
+
+    return "\n\n".join(lines)
+
+def cross_reference_node(state: AgentState) -> dict:
+    original_query = state["original_query"]
+    domestic_chunks = state.get("domestic_chunks", [])
+    international_chunks = state.get("international_chunks", [])
+
+    # Skip if no international chunks — no cross-reference needed
+    if not international_chunks:
+        logger.info("Cross-Reference: no international chunks, skipping")
+        return {
+            "cross_reference": {
+                "domestic_summary": "",
+                "international_summary": "",
+                "alignment": "no_international",
+                "explanation": "Câu hỏi chỉ liên quan đến pháp luật nội địa Việt Nam.",
+                "expired_docs": []
+            }
+        }
+
+    logger.info(f"Cross-Reference: analyzing {len(domestic_chunks)} domestic + {len(international_chunks)} international chunks")
+
+    domestic_context = format_chunks_for_context(domestic_chunks)
+    international_context = format_chunks_for_context(international_chunks)
+
+    prompt = CROSS_REFERENCE_PROMPT.format(
+        original_query=original_query,
+        domestic_context=domestic_context,
+        international_context=international_context
+    )
+
+    try:
+        response = llm.invoke(prompt)
+        raw = response.content.strip()
+
+        # Strip markdown fences if present
+        if "```" in raw:
+            raw = raw.split("```")[1]
+            if raw.startswith("json"):
+                raw = raw[4:]
+        raw = raw.strip()
+
+        result = json.loads(raw)
+
+        logger.success(f"Cross-Reference: alignment = {result['alignment']}")
+        logger.info(f"  Explanation: {result['explanation'][:120]}...")
+        if result.get("expired_docs"):
+            logger.warning(f"  Expired docs flagged: {result['expired_docs']}")
+
+        return {"cross_reference": result}
+
+    except Exception as e:
+        logger.error(f"Cross-Reference failed: {e}")
+        return {
+            "cross_reference": {
+                "domestic_summary": "Lỗi phân tích",
+                "international_summary": "Lỗi phân tích",
+                "alignment": "gap",
+                "explanation": f"Lỗi hệ thống: {str(e)}",
+                "expired_docs": []
+            }
+        }

src/agents/graph.py

@@ -0,0 +1,84 @@
+# src/agents/graph.py
+import os
+from langgraph.graph import StateGraph, START, END
+from src.agents.state import AgentState
+from src.agents.query_decomposer import query_decomposer_node
+from src.agents.domestic_retriever import domestic_retriever_node
+from src.agents.international_retriever import international_retriever_node
+from src.agents.cross_reference import cross_reference_node
+from src.agents.synthesizer import synthesizer_node
+from src.utils.logger import logger
+
+def build_graph() -> StateGraph:
+    graph = StateGraph(AgentState)
+
+    # Add nodes
+    graph.add_node("query_decomposer", query_decomposer_node)
+    graph.add_node("domestic_retriever", domestic_retriever_node)
+    graph.add_node("international_retriever", international_retriever_node)
+    graph.add_node("cross_reference", cross_reference_node)
+    graph.add_node("synthesizer", synthesizer_node)
+
+    # Entry point
+    graph.add_edge(START, "query_decomposer")
+
+    # After decomposition, run both retrievers
+    graph.add_edge("query_decomposer", "domestic_retriever")
+    graph.add_edge("query_decomposer", "international_retriever")
+
+    # After both retrievers complete, cross-reference
+    graph.add_edge("domestic_retriever", "cross_reference")
+    graph.add_edge("international_retriever", "cross_reference")
+
+    # After cross-reference, synthesize
+    graph.add_edge("cross_reference", "synthesizer")
+
+    # End
+    graph.add_edge("synthesizer", END)
+
+    return graph.compile()
+
+# Module-level compiled graph
+vilexagent = build_graph()
+
+def run_query(query: str) -> dict:
+    logger.info(f"\n{'='*60}")
+    logger.info(f"Query: {query}")
+
+    initial_state: AgentState = {
+        "original_query": query,
+        "sub_questions": [],
+        "requires_international": False,
+        "domestic_chunks": [],
+        "international_chunks": [],
+        "cross_reference": None,
+        "final_answer": "",
+        "citations": [],
+        "has_expired_docs": False,
+        "error": None
+    }
+
+    result = vilexagent.invoke(initial_state)
+
+    logger.info(f"\n--- FINAL ANSWER ---")
+    logger.info(result["final_answer"])
+    logger.info(f"\n--- CITATIONS ---")
+    for c in result["citations"]:
+        logger.info(f"  {c}")
+    logger.info(f"\nAlignment: {result['cross_reference']['alignment'] if result['cross_reference'] else 'N/A'}")
+    logger.info(f"Expired docs: {result['has_expired_docs']}")
+
+    return result
+
+if __name__ == "__main__":
+    # Test with all three query types
+    queries = [
+        # Type A — domestic only
+        "Hợp đồng lao động phải có những nội dung gì theo quy định hiện hành?",
+        # Type C — cross-corpus
+        "Việt Nam có đáp ứng các tiêu chuẩn lao động của CPTPP về tự do hiệp hội không?",
+    ]
+
+    for query in queries:
+        run_query(query)
+        print("\n" + "="*60 + "\n")

src/agents/synthesizer.py

@@ -0,0 +1,120 @@
+# src/agents/synthesizer.py
+import os
+from langchain_google_genai import ChatGoogleGenerativeAI
+from src.agents.state import AgentState
+from src.utils.logger import logger
+from dotenv import load_dotenv
+
+load_dotenv()
+
+llm = ChatGoogleGenerativeAI(
+    model="gemini-2.5-flash",
+    google_api_key=os.getenv("GOOGLE_API_KEY"),
+    temperature=0
+)
+
+SYNTHESIS_PROMPT = """Bạn là trợ lý pháp lý chuyên về luật Việt Nam và các hiệp định thương mại quốc tế.
+
+Dựa trên kết quả phân tích dưới đây, hãy trả lời câu hỏi của người dùng một cách rõ ràng, chính xác và có trích dẫn nguồn.
+
+## Câu hỏi:
+{original_query}
+
+## Tóm tắt từ pháp luật Việt Nam:
+{domestic_summary}
+
+## Tóm tắt từ tiêu chuẩn quốc tế:
+{international_summary}
+
+## Đánh giá tương thích:
+Mức độ: {alignment}
+Giải thích: {explanation}
+
+## Các văn bản pháp luật Việt Nam liên quan:
+{domestic_citations}
+
+## Các điều khoản quốc tế liên quan:
+{international_citations}
+
+{expired_warning}
+
+## Yêu cầu trả lời:
+1. Trả lời trực tiếp câu hỏi trong 1-2 câu đầu tiên
+2. Giải thích chi tiết dựa trên các văn bản pháp luật
+3. Nếu có sự khác biệt giữa luật Việt Nam và tiêu chuẩn quốc tế, nêu rõ khoảng cách đó
+4. Trích dẫn cụ thể điều khoản, số hiệu văn bản
+5. Nếu có văn bản hết hiệu lực, cảnh báo người dùng và chỉ dùng văn bản còn hiệu lực làm căn cứ chính
+
+Trả lời bằng tiếng Việt, rõ ràng và chuyên nghiệp."""
+
+def format_citations(chunks: list[dict]) -> str:
+    if not chunks:
+        return "Không có dữ liệu."
+    lines = []
+    for c in chunks[:5]:
+        title = c.get("title", "")[:70]
+        article = c.get("article_number", "N/A")
+        so_ky_hieu = c.get("so_ky_hieu", "")
+        status = c.get("tinh_trang_hieu_luc", "")
+        agreement = c.get("agreement", "")
+        expired = " ⚠️ HẾT HIỆU LỰC" if "hết hiệu lực" in status.lower() else ""
+        ref = f"[{agreement}] " if agreement else ""
+        lines.append(f"- {ref}{title} ({so_ky_hieu}) — {article}{expired}")
+    return "\n".join(lines)
+
+def synthesizer_node(state: AgentState) -> dict:
+    original_query = state["original_query"]
+    domestic_chunks = state.get("domestic_chunks", [])
+    international_chunks = state.get("international_chunks", [])
+    cross_reference = state.get("cross_reference", {})
+    has_expired = state.get("has_expired_docs", False)
+
+    logger.info("Synthesizer: generating final answer...")
+
+    expired_warning = ""
+    if has_expired:
+        expired_warning = """## ⚠️ CẢNH BÁO:
+Một số văn bản pháp luật được tìm thấy đã HẾT HIỆU LỰC. 
+Hãy cảnh báo rõ ràng người dùng và chỉ sử dụng văn bản CÒN HIỆU LỰC làm căn cứ pháp lý chính."""
+
+    prompt = SYNTHESIS_PROMPT.format(
+        original_query=original_query,
+        domestic_summary=cross_reference.get("domestic_summary", "Không có dữ liệu nội địa."),
+        international_summary=cross_reference.get("international_summary", "Không áp dụng."),
+        alignment=cross_reference.get("alignment", "unknown"),
+        explanation=cross_reference.get("explanation", ""),
+        domestic_citations=format_citations(domestic_chunks),
+        international_citations=format_citations(international_chunks),
+        expired_warning=expired_warning
+    )
+
+    try:
+        response = llm.invoke(prompt)
+        final_answer = response.content.strip()
+
+        # Build citation list
+        citations = []
+        for c in domestic_chunks[:5]:
+            so_ky_hieu = c.get("so_ky_hieu", "")
+            article = c.get("article_number", "")
+            if so_ky_hieu:
+                citations.append(f"{so_ky_hieu} — {article}")
+
+        for c in international_chunks[:5]:
+            title = c.get("title", "")[:40]
+            article = c.get("article_number", "")
+            citations.append(f"{title} — {article}")
+
+        logger.success(f"Synthesizer: answer generated ({len(final_answer)} chars)")
+
+        return {
+            "final_answer": final_answer,
+            "citations": citations
+        }
+
+    except Exception as e:
+        logger.error(f"Synthesizer failed: {e}")
+        return {
+            "final_answer": f"Lỗi hệ thống khi tổng hợp câu trả lời: {str(e)}",
+            "citations": []
+        }