Update app.py

app.py

@@ -1,85 +1,84 @@
 import streamlit as st
+import time
 from langchain.document_loaders import PyPDFLoader
 from langchain.text_splitter import RecursiveCharacterTextSplitter
 from langchain_together import TogetherEmbeddings
 from langchain.vectorstores import FAISS
 from langchain.chat_models import ChatOpenAI
 from langchain.chains import RetrievalQA
-import time
 
-# --------------------------------------------
-# 1. بارگذاری پی دی اف و ساخت امبدینگ چانک‌ها (فقط یکبار و کش شده)
-# --------------------------------------------
+# --- 📄 ساخت امبدینگ‌ها با batch 50 تایی
+def batch_embed(texts, embeddings_model, batch_size=50):
+    all_embeddings = []
+    for i in range(0, len(texts), batch_size):
+        batch = texts[i:i+batch_size]
+        embs = embeddings_model.embed_documents([doc.page_content for doc in batch])
+        all_embeddings.extend(embs)
+    return all_embeddings
+
 @st.cache_resource
-def get_chunks_and_embeddings():
+def load_chunks_and_embeddings():
     pdf_loader = PyPDFLoader('test1.pdf')
-    pages = pdf_loader.load_and_split(RecursiveCharacterTextSplitter(chunk_size=300, chunk_overlap=0))
-    chunk_texts = [page.page_content for page in pages]
+    pages = pdf_loader.load()
+    text_splitter = RecursiveCharacterTextSplitter(chunk_size=300, chunk_overlap=0)
+    docs = text_splitter.split_documents(pages)
 
-    embeddings_model = TogetherEmbeddings(
+    embeddings = TogetherEmbeddings(
         api_key="0291f33aee03412a47fa5d8e562e515182dcc5d9aac5a7fb5eefdd1759005979"
     )
-    return chunk_texts, embeddings_model
-
-# کش شده
-chunk_texts, embeddings_model = get_chunks_and_embeddings()
+    
+    vectorstore = FAISS.from_documents([], embedding=embeddings)  # اول خالی
 
-# --------------------------------------------
-# 2. ساختن امبدینگ چانک‌ها با پروگرس بار
-# --------------------------------------------
-st.title("📄 Chat with your PDF (با پی‌دی‌اف خودت حرف بزن!)")
-st.subheader("در حال آماده‌سازی امبدینگ چانک‌ها...")
+    # پروگرس بار
+    progress = st.progress(0, text="🔄 در حال پردازش چانک‌ها...")
+    total = len(docs)
 
-progress_bar = st.progress(0)
-all_embeddings = []
-batch_size = 128
+    batch_size = 50
+    for i in range(0, total, batch_size):
+        batch_docs = docs[i:i+batch_size]
+        embeddings_batch = embeddings.embed_documents([doc.page_content for doc in batch_docs])
+        vectorstore.add_embeddings(embeddings_batch, batch_docs)
 
-for i in range(0, len(chunk_texts), batch_size):
-    batch = chunk_texts[i:i+batch_size]
-    embedded = embeddings_model.embed_documents(batch)
-    all_embeddings.extend(embedded)
+        progress.progress(min((i+batch_size)/total, 1.0))
 
-    progress_bar.progress(min((i + batch_size) / len(chunk_texts), 1.0))
+    progress.empty()
+    return vectorstore
 
-st.success("✅ همه چانک‌ها آماده شدند!")
+# --- 🛠️ آماده کردن دیتابیس
+with st.spinner("📚 در حال بارگذاری فایل و ساخت امبدینگ‌ها... لطفا صبور باشید"):
+    vectorstore = load_chunks_and_embeddings()
 
-# --------------------------------------------
-# 3. ساختن ایندکس FAISS از امبدینگ‌ها
-# --------------------------------------------
-vectorstore = FAISS.from_embeddings(all_embeddings, chunk_texts)
-
-# --------------------------------------------
-# 4. آماده سازی مدل LLM و چین
-# --------------------------------------------
+# --- 🤖 آماده سازی مدل LLM
 llm = ChatOpenAI(
     base_url="https://api.together.xyz/v1",
     api_key='0291f33aee03412a47fa5d8e562e515182dcc5d9aac5a7fb5eefdd1759005979',
     model="meta-llama/Llama-3-70B-Instruct-Turbo-Free"
 )
 
+retriever = vectorstore.as_retriever(search_type="similarity", search_kwargs={"k": 10})
+
 chain = RetrievalQA.from_chain_type(
     llm=llm,
     chain_type='stuff',
-    retriever=vectorstore.as_retriever(search_kwargs={"k": 10}),
+    retriever=retriever,
     input_key='question'
 )
 
-# --------------------------------------------
-# 5. چت بات Streamlit
-# --------------------------------------------
+# --- 💬 چت بات
 if 'messages' not in st.session_state:
     st.session_state.messages = []
 
 if 'pending_prompt' not in st.session_state:
     st.session_state.pending_prompt = None
 
-# نمایش پیام‌های قبلی
+st.title("📄🤖 دستیار PDF شما")
+
+# نمایش تاریخچه گفتگو
 for msg in st.session_state.messages:
     with st.chat_message(msg['role']):
         st.markdown(f"🗨️ {msg['content']}", unsafe_allow_html=True)
 
-# دریافت ورودی از کاربر
-prompt = st.chat_input("چطور میتونم کمکت کنم؟")
+prompt = st.chat_input("سوالی از PDF داری؟")
 
 if prompt:
     st.session_state.messages.append({'role': 'user', 'content': prompt})
@@ -91,8 +90,8 @@ if st.session_state.pending_prompt:
         thinking = st.empty()
         thinking.markdown("🤖 در حال فکر کردن...")
 
-        # اجرای جستجو در ایندکس برای پاسخ
-        response = chain.run(f"فقط به زبان فارسی پاسخ بده. سوال: {st.session_state.pending_prompt}")
+        # اجرای جستجو در ایندکس
+        response = chain.run(f'فقط به زبان فارسی جواب بده. سوال: {st.session_state.pending_prompt}')
         answer = response.split("Helpful Answer:")[-1].strip()
         if not answer:
             answer = "متأسفم، اطلاعات دقیقی در این مورد ندارم."
@@ -101,7 +100,6 @@ if st.session_state.pending_prompt:
         full_response = ""
         placeholder = st.empty()
 
-        # نمایش پاسخ به صورت تایپی
         for word in answer.split():
             full_response += word + " "
             placeholder.markdown(full_response + "▌")