fix cache

Dockerfile

@@ -13,8 +13,6 @@ RUN apt-get update && apt-get install -y \
 
 # ✅ Tạo thư mục FAISS index và gán quyền đầy đủ
 RUN mkdir -p faiss_index && chmod -R 777 faiss_index
-# Tạo thư mục FAISS index cache
-RUN mkdir -p /data && chmod -R 777 /data
 
 # Cài đặt dependencies
 RUN pip install --upgrade pip

rag_core/chunker.py

@@ -1,22 +1,86 @@
 import re
+import json
+import os
+import logging
 from typing import List
 from rag_core.utils import log_timed
-import logging
 
-@log_timed("chunking văn bản luật")
+NESTED_LOG_PATH = "faiss_index/chunk_structure.json"
+
+@log_timed("chunking văn bản luật nâng cao")
 def chunk_legal_text(text: str) -> List[str]:
-    # Chunk theo "Chương" và "Điều"
-    pattern = r"(Chương\s+[IVXLC]+\s+.*?|Điều\s+\d+\..*?)(?=(Chương\s+[IVXLC]+\s+|Điều\s+\d+\.|$))"
-    matches = re.findall(pattern, text, flags=re.DOTALL)
+    nested_chunks = []
+    current_chapter = ""
+    current_article = ""
+    current_clause = ""
+    current_points = []
+
+    for line in text.splitlines():
+        line = line.strip()
+        if re.match(r"^Chương\s+[IVXLC]+\s+", line):
+            current_chapter = line
+        elif re.match(r"^Điều\s+\d+\.", line):
+            if current_article:
+                nested_chunks.append({
+                    "chương": current_chapter,
+                    "điều": current_article,
+                    "khoản": current_clause,
+                    "điểm": current_points
+                })
+            current_article = line
+            current_clause = ""
+            current_points = []
+        elif re.match(r"^\d+\.\s", line):
+            if current_clause:
+                nested_chunks.append({
+                    "chương": current_chapter,
+                    "điều": current_article,
+                    "khoản": current_clause,
+                    "điểm": current_points
+                })
+            current_clause = line
+            current_points = []
+        elif re.match(r"^[a-zA-Z]\)|^[a-zA-Z]\.", line):
+            current_points.append(line)
+        else:
+            if current_points:
+                current_points[-1] += " " + line
+            elif current_clause:
+                current_clause += " " + line
+            elif current_article:
+                current_article += " " + line
+
+    if current_article:
+        nested_chunks.append({
+            "chương": current_chapter,
+            "điều": current_article,
+            "khoản": current_clause,
+            "điểm": current_points
+        })
+
+    # Ghi ra file JSON để debug / kiểm tra
+    os.makedirs(os.path.dirname(NESTED_LOG_PATH), exist_ok=True)
+    with open(NESTED_LOG_PATH, "w", encoding="utf-8") as f:
+        json.dump(nested_chunks, f, ensure_ascii=False, indent=2)
 
-    chunks = [m[0].strip() for m in matches if len(m[0].strip()) > 30]
+    logging.info(f"✅ Đã ghi cấu trúc nested vào {NESTED_LOG_PATH}")
+    logging.info(f"📎 Tải file tại: https://<YOUR_SPACE>.hf.space/file/{NESTED_LOG_PATH}")
 
-    if not chunks:
-        logging.warning("Không tìm thấy chunk theo Chương/Điều. Đang fallback sang chia theo đoạn văn.")
-        chunks = [p.strip() for p in text.split("\n\n") if len(p.strip()) > 100]
+    # Chuyển về dạng list[str] để dùng với FAISS
+    flat_chunks = []
+    for item in nested_chunks:
+        parts = [
+            item.get("chương"),
+            item.get("điều"),
+            item.get("khoản"),
+            *item.get("điểm", [])
+        ]
+        flat_text = "\n".join(filter(None, parts)).strip()
+        if len(flat_text) > 30:
+            flat_chunks.append(flat_text)
 
-    logging.info(f"Tổng số chunk sau khi xử lý: {len(chunks)}")
-    for i, c in enumerate(chunks[:2]):
+    logging.info(f"Tổng số chunk sau khi xử lý: {len(flat_chunks)}")
+    for i, c in enumerate(flat_chunks[:2]):
         logging.info(f"Mẫu chunk {i+1}:\n{c[:300]}...\n")
 
-    return chunks
+    return flat_chunks