Spaces:
Sleeping
Sleeping
Update app.py
Browse files
app.py
CHANGED
@@ -29,10 +29,13 @@ def initialize_chroma():
|
|
29 |
global status_message
|
30 |
if not os.path.exists(CHROMA_PATH):
|
31 |
status_message = "Создание базы данных Chroma..."
|
32 |
-
generate_data_store()
|
33 |
-
status_message = "База данных Chroma создана и подготовлена."
|
34 |
else:
|
35 |
-
status_message = "База данных Chroma уже существует."
|
|
|
|
|
|
|
|
|
|
|
36 |
embeddings = HuggingFaceEmbeddings(
|
37 |
model_name="sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2",
|
38 |
cache_folder="/tmp/model_cache",
|
@@ -47,10 +50,13 @@ def initialize_chroma():
|
|
47 |
|
48 |
def generate_data_store():
|
49 |
documents = load_documents()
|
50 |
-
if documents:
|
51 |
-
|
52 |
-
|
53 |
-
|
|
|
|
|
|
|
54 |
def load_documents():
|
55 |
file_path = os.path.join(DATA_PATH, "pl250320252.md")
|
56 |
if not os.path.exists(file_path):
|
|
|
29 |
global status_message
|
30 |
if not os.path.exists(CHROMA_PATH):
|
31 |
status_message = "Создание базы данных Chroma..."
|
|
|
|
|
32 |
else:
|
33 |
+
status_message = "База данных Chroma уже существует. Пересоздаем базу данных..."
|
34 |
+
shutil.rmtree(CHROMA_PATH)
|
35 |
+
|
36 |
+
generate_data_store()
|
37 |
+
status_message = "База данных Chroma создана и подготовлена."
|
38 |
+
|
39 |
embeddings = HuggingFaceEmbeddings(
|
40 |
model_name="sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2",
|
41 |
cache_folder="/tmp/model_cache",
|
|
|
50 |
|
51 |
def generate_data_store():
|
52 |
documents = load_documents()
|
53 |
+
if not documents:
|
54 |
+
raise Exception("Документы не загружены!")
|
55 |
+
chunks = split_text(documents)
|
56 |
+
status_message = f"Первые 50 символов первого чанка: {chunks[0].page_content[:50]}"
|
57 |
+
save_to_chroma(chunks)
|
58 |
+
|
59 |
+
|
60 |
def load_documents():
|
61 |
file_path = os.path.join(DATA_PATH, "pl250320252.md")
|
62 |
if not os.path.exists(file_path):
|