MrSimple07 commited on
Commit
503f1ef
·
1 Parent(s): c2a83c1

Removed duplicate logs throughout all files

Browse files
Files changed (1) hide show
  1. table_prep.py +5 -6
table_prep.py CHANGED
@@ -237,21 +237,20 @@ def load_table_data(repo_id, hf_token, table_data_dir):
237
  sheet['document'] = document_id
238
  docs_list = table_to_document(sheet, document_id)
239
  table_documents.extend(docs_list)
 
240
  else:
241
  docs_list = table_to_document(table_data, document_id)
242
  table_documents.extend(docs_list)
 
243
  elif isinstance(table_data, list):
244
  for table_json in table_data:
245
  docs_list = table_to_document(table_json)
246
  table_documents.extend(docs_list)
 
247
 
248
  except Exception as e:
249
  log_message(f"Ошибка файла {file_path}: {str(e)}")
250
  continue
251
 
252
- log_message(f"Создано {len(table_documents)} документов из таблиц")
253
- return table_documents
254
-
255
- except Exception as e:
256
- log_message(f"Ошибка загрузки табличных данных: {str(e)}")
257
- return []
 
237
  sheet['document'] = document_id
238
  docs_list = table_to_document(sheet, document_id)
239
  table_documents.extend(docs_list)
240
+ log_message(f" → Добавлен sheet из {file_path}: {len(docs_list)} документов")
241
  else:
242
  docs_list = table_to_document(table_data, document_id)
243
  table_documents.extend(docs_list)
244
+ log_message(f" → Добавлена таблица из {file_path}: {len(docs_list)} документов")
245
  elif isinstance(table_data, list):
246
  for table_json in table_data:
247
  docs_list = table_to_document(table_json)
248
  table_documents.extend(docs_list)
249
+ log_message(f" → Добавлен список таблиц из {file_path}: {len(docs_list)} документов")
250
 
251
  except Exception as e:
252
  log_message(f"Ошибка файла {file_path}: {str(e)}")
253
  continue
254
 
255
+ log_message(f"✓✓✓ ИТОГО создано {len(table_documents)} табличных документов (до chunking)")
256
+ return table_documents