Update app.py

app.py

@@ -60,12 +60,22 @@ if __name__=="__main__":
     if not os.path.exists(persist_directory):
         os.makedirs(persist_directory)
     
-    # Crea el vector store y persiste los documentos
-    vectorstore = Chroma.from_documents(
-        list(tqdm(textos, desc="Procesando documentos", unit="doc")), 
-        embeddings,
-        persist_directory=persist_directory  # Ruta de persistencia
-    )
+        # Función para procesar documentos por lotes
+    def process_in_batches(documents, batch_size=16):
+        # Dividir los documentos en lotes
+        for i in range(0, len(documents), batch_size):
+            batch = documents[i:i+batch_size]
+            embeddings_batch = embeddings.encode(batch, convert_to_tensor=True, show_progress_bar=True)
+            yield embeddings_batch
+    
+    # Crear el vector store
+    vectorstore = Chroma(persist_directory=persist_directory)
+    
+    # Procesar los documentos por lotes
+    for embeddings_batch in tqdm(process_in_batches(textos[:10], batch_size=16), desc="Procesando lotes de documentos"):
+    # Aquí se asume que tienes algún método para agregar estos embeddings al vectorstore
+    vectorstore.add_documents(embeddings_batch)
+
     
     print("Vectorizado terminado")