added table data + image data, + replaces with the old version for the table processing

app.py

@@ -58,7 +58,7 @@ def initialize_system(repo_id, hf_token, download_dir, chunks_filename=None,
         log_message(f"Configured chunk size: {CHUNK_SIZE}")
         log_message(f"Configured chunk overlap: {CHUNK_OVERLAP}")
         log_message(f"Settings text splitter chunk size: {Settings.text_splitter.chunk_size if hasattr(Settings, 'text_splitter') else 'Not set'}")
-        
+
         all_documents = []
         chunks_df = None
         chunk_info = []
@@ -182,6 +182,7 @@ def create_demo_interface(answer_question_func, switch_model_func, current_model
                             "Какой стандарт устанавливает порядок признания протоколов испытаний продукции в области использования атомной энергии?",
                             "Кто несет ответственность за организацию и проведение признания протоколов испытаний продукции?",
                             "В каких случаях могут быть признаны протоколы испытаний, проведенные лабораториями?",
+                            "В какой таблице можно найти информацию о методы исследований при аттестационных испытаниях технологии термической обработки заготовок из легированных сталей? Какой документ и какой раздел?"
                         ],
                         inputs=question_input
                     )

documents_prep.py

@@ -13,7 +13,7 @@ def chunk_document(doc, chunk_size=None, chunk_overlap=None):
         chunk_size = CHUNK_SIZE
     if chunk_overlap is None:
         chunk_overlap = CHUNK_OVERLAP
-        
+
     text_splitter = SentenceSplitter(
         chunk_size=chunk_size,
         chunk_overlap=chunk_overlap,
@@ -44,29 +44,80 @@ def chunk_document(doc, chunk_size=None, chunk_overlap=None):
 def process_documents_with_chunking(documents):
     all_chunked_docs = []
     chunk_info = []
+    table_count = 0
+    image_count = 0
+    text_chunks_count = 0
+    large_tables_count = 0
+    large_images_count = 0
     
     for doc in documents:
-        if len(doc.text) > CHUNK_SIZE:
-            chunked_docs = chunk_document(doc)
-            all_chunked_docs.extend(chunked_docs)
+        doc_type = doc.metadata.get('type', 'text')
+        
+        if doc_type == 'table':
+            table_count += 1
+            if len(doc.text) > CHUNK_SIZE:
+                large_tables_count += 1
+                log_message(f"Large table found: {doc.metadata.get('table_number', 'unknown')} in document {doc.metadata.get('document_id', 'unknown')}, size: {len(doc.text)} characters")
             
-            for i, chunk_doc in enumerate(chunked_docs):
-                chunk_info.append({
-                    'document_id': chunk_doc.metadata.get('document_id', 'unknown'),
-                    'section_id': chunk_doc.metadata.get('section_id', 'unknown'),
-                    'chunk_id': i,
-                    'chunk_size': len(chunk_doc.text),
-                    'chunk_preview': chunk_doc.text[:200] + "..." if len(chunk_doc.text) > 200 else chunk_doc.text
-                })
-        else:
             all_chunked_docs.append(doc)
             chunk_info.append({
                 'document_id': doc.metadata.get('document_id', 'unknown'),
                 'section_id': doc.metadata.get('section_id', 'unknown'),
                 'chunk_id': 0,
                 'chunk_size': len(doc.text),
-                'chunk_preview': doc.text[:200] + "..." if len(doc.text) > 200 else doc.text
+                'chunk_preview': doc.text[:200] + "..." if len(doc.text) > 200 else doc.text,
+                'type': 'table'
             })
+            
+        elif doc_type == 'image':
+            image_count += 1
+            if len(doc.text) > CHUNK_SIZE:
+                large_images_count += 1
+                log_message(f"Large image description found: {doc.metadata.get('image_number', 'unknown')} in document {doc.metadata.get('document_id', 'unknown')}, size: {len(doc.text)} characters")
+            
+            all_chunked_docs.append(doc)
+            chunk_info.append({
+                'document_id': doc.metadata.get('document_id', 'unknown'),
+                'section_id': doc.metadata.get('section_id', 'unknown'),
+                'chunk_id': 0,
+                'chunk_size': len(doc.text),
+                'chunk_preview': doc.text[:200] + "..." if len(doc.text) > 200 else doc.text,
+                'type': 'image'
+            })
+            
+        else:
+            if len(doc.text) > CHUNK_SIZE:
+                chunked_docs = chunk_document(doc)
+                all_chunked_docs.extend(chunked_docs)
+                text_chunks_count += len(chunked_docs)
+                
+                for i, chunk_doc in enumerate(chunked_docs):
+                    chunk_info.append({
+                        'document_id': chunk_doc.metadata.get('document_id', 'unknown'),
+                        'section_id': chunk_doc.metadata.get('section_id', 'unknown'),
+                        'chunk_id': i,
+                        'chunk_size': len(chunk_doc.text),
+                        'chunk_preview': chunk_doc.text[:200] + "..." if len(chunk_doc.text) > 200 else chunk_doc.text,
+                        'type': 'text'
+                    })
+            else:
+                all_chunked_docs.append(doc)
+                chunk_info.append({
+                    'document_id': doc.metadata.get('document_id', 'unknown'),
+                    'section_id': doc.metadata.get('section_id', 'unknown'),
+                    'chunk_id': 0,
+                    'chunk_size': len(doc.text),
+                    'chunk_preview': doc.text[:200] + "..." if len(doc.text) > 200 else doc.text,
+                    'type': 'text'
+                })
+    
+    log_message(f"=== PROCESSING STATISTICS ===")
+    log_message(f"Total tables processed: {table_count}")
+    log_message(f"Large tables (>{CHUNK_SIZE} chars): {large_tables_count}")
+    log_message(f"Total images processed: {image_count}")
+    log_message(f"Large images (>{CHUNK_SIZE} chars): {large_images_count}")
+    log_message(f"Total text chunks created: {text_chunks_count}")
+    log_message(f"Total documents after processing: {len(all_chunked_docs)}")
     
     return all_chunked_docs, chunk_info
 
@@ -299,33 +350,29 @@ def table_to_document(table_data, document_id=None):
         table_title = table_data.get('table_title', 'Неизвестно')
         section = table_data.get('section', 'Не��звестно')
         
-        # Создаем заголовочный контент
         header_content = f"Таблица: {table_num}\nНазвание: {table_title}\nДокумент: {doc_id}\nРаздел: {section}\n"
         
         if 'data' in table_data and isinstance(table_data['data'], list):
-            # Каждая строка таблицы - отдельный документ
+            table_content = header_content + "\nДанные таблицы:\n"
             for row_idx, row in enumerate(table_data['data']):
                 if isinstance(row, dict):
                     row_text = " | ".join([f"{k}: {v}" for k, v in row.items()])
-                    content = header_content + f"Строка {row_idx + 1}: {row_text}"
-                    
-                    doc = Document(
-                        text=content,
-                        metadata={
-                            "type": "table_row",
-                            "table_number": table_num,
-                            "table_title": table_title,
-                            "document_id": doc_id,
-                            "section": section,
-                            "section_id": section,
-                            "row_number": row_idx + 1,
-                            "total_rows": len(table_data['data'])
-                        }
-                    )
-                    documents.append(doc)
-        
-        # Если нет строк, создаем общий документ таблицы
-        if not documents:
+                    table_content += f"Строка {row_idx + 1}: {row_text}\n"
+            
+            doc = Document(
+                text=table_content,
+                metadata={
+                    "type": "table",
+                    "table_number": table_num,
+                    "table_title": table_title,
+                    "document_id": doc_id,
+                    "section": section,
+                    "section_id": section,
+                    "total_rows": len(table_data['data'])
+                }
+            )
+            documents.append(doc)
+        else:
             doc = Document(
                 text=header_content,
                 metadata={
@@ -339,7 +386,7 @@ def table_to_document(table_data, document_id=None):
             )
             documents.append(doc)
     
-    return documents  # Возвращаем список документов
+    return documents
 
 def load_table_data(repo_id, hf_token, table_data_dir):
     log_message("Начинаю загрузку табличных данных")

utils.py

@@ -146,10 +146,6 @@ def generate_sources_html(nodes, chunks_df=None):
         
         if doc_type == 'text':
             html += f"<h4 style='margin: 0 0 10px 0; color: #63b3ed;'>📄 {doc_id}</h4>"
-            # Show all sections for this document
-            if source_info['sections']:
-                sections_text = ", ".join(sorted(source_info['sections']))
-                html += f"<p style='margin: 5px 0; color: #a0aec0; font-size: 14px;'>{sections_text}</p>"
 
         elif doc_type == 'table' or doc_type == 'table_row':
             table_num = metadata.get('table_number', 'unknown')

Табличные данные_JSON/ГОСТ Р 50.01.01-2017.json

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:8bebc9cfa99d47068d172d696ca673ac8d186f2f4ff422e52b16d6793bc19852
+size 3865

Табличные данные_JSON/ГОСТ Р 50.03.01-2017.json

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:1d049d9b5e872d32348cba145b45f055b414a8d7a53b98b5d12f09e1863659f4
+size 292448

Табличные данные_JSON/ГОСТ Р 50.04.02-2018.json

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:d89b7529b424406bb5b6cc4b7e3d26418b9964310b7c50b4e8a8e89063e7b919
+size 12788

Табличные данные_JSON/ГОСТ Р 50.04.04-2018.json

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:0849327daa88257d1ef0e1fed349d2ceb5c5c6fd59b1c21b2bf3e0d63f12116e
+size 12169

Табличные данные_JSON/ГОСТ Р 50.04.06-2018.json

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:bfd341c7a63cf793d479c61d8e7e754d5d56b247d8e6b8ce78bed8d400aee36e
+size 3273

Табличные данные_JSON/ГОСТ Р 50.04.07-2022.json

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:d5d2919c43f3e1b299cd68fab9562a60ef786f316750c98b65d73ffee6006d31
+size 44817

Табличные данные_JSON/ГОСТ Р 50.04.08-2019.json

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:14adc8dbc02e4557992c8a3dec1c97481726098bbfa3f5f018538dbeca773abf
+size 1866

Табличные данные_JSON/ГОСТ Р 50.05.01-2018.json

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:da3eeda11e828ae1d50e65b37570ac79ead7e8f968fdc64d34a9f2395bfaf7a9
+size 106007

Табличные данные_JSON/ГОСТ Р 50.05.07-2019.json

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:74cd00bf969c684f146f7ca97572727d830bd2c6977145a713c05bc23b878fbf
+size 65716

Табличные данные_JSON/ГОСТ Р 50.05.17-2019.json

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:8d40c59922b8c43bee9032df51974fe6ed72208497c59385b56a0debc5ff7dae
+size 65716

Табличные данные_JSON/ГОСТ Р 50.05.18-2019.json

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:ab8210459fb77ba836ab46b8ca964a49104e548ad1eb6be7f21e55075dbaab14
+size 6260

Табличные данные_JSON/ГОСТ Р 50.05.22-2020.json

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:dd91ffebbb9d9e4883d1621a008dfda9def3be9eccfa00c1d64c1d4d5276d425
+size 13395

Табличные данные_JSON/ГОСТ Р 50.05.23-2020.json

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:0041a13ff01c7fe8135c3e1d32420b5450338bcc5c7b15f0dc2548adead05c7d
+size 323660

Табличные данные_JSON/ГОСТ Р 50.05.24-2020.json

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:809b86062651c029d6ba3f8a9106e7a45302db7e06e0dbf87cde98b990bf5f25
+size 149252

Табличные данные_JSON/ГОСТ Р 50.05.25-2020.json

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:f11fb140772f804e8d760acb6ef9c70a45bbc0f3169663a52d8f270808bdde50
+size 242923

Табличные данные_JSON/ГОСТ Р 50.06.01-2017.json

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:89ce8fc5791e172064f633426f6ed3947a307eaf08265ce865bb3ddc752c76a2
+size 56414

Табличные данные_JSON/ГОСТ Р 50.08.01-2023.json

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:83749b20c36487830ef2a55defb15051219bf80ceb2dc5ae0fc51c35167eabc2
+size 4159

Табличные данные_JSON/ГОСТ Р 50.08.04-2022.json

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:3609bd101e65515eac3fccb7a29206fc5a7f4e12813d6b4c27da74fa9e2d586d
+size 3714

Табличные данные_JSON/МУ 1.1.4.01.1422-2019.json

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:ee894ee4bb33ba40eabe6188e39aa1466815d4ef67978fea855dfaaf02f58b82
+size 8102

Табличные данные_JSON/МУ 1.2.3.07.0057-2018.json

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:a83451b3a174f2deee20d72f1030cdefe2931223d34a1c8c6bce10e31370be2a
+size 147620

Табличные данные_JSON/НП-068-05.json

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:e41d440016a04c1d4358f0a5d5229b49e473d3b73744b47ebbf56fa7b3b5459e
+size 449769

Табличные данные_JSON/НП-089-15.json

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:d437457f6513b7b157f33beb15b4b5f812cdaf8a54a452e7563aaf12b7acbd11
+size 151862

Табличные данные_JSON/НП-104-18_ГОСТ 59023.json

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:ee3468bc116401f24b7ab1dff7850e458d933ab157639c3e7127451deb310291
+size 2642133

Табличные данные_JSON/НП-105-18.json

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:a519ea25badc75a15db5721d2f97583bdf809580b40895a3ed4474e50e24cae1
+size 434836