Update app.py

app.py

@@ -10,7 +10,7 @@ from langchain.chat_models import ChatOpenAI
 from typing import List
 from together import Together
 import pandas as pd
-import streamlit as st
+from langchain.docstore.document import Document
 
 # ----------------- تنظیمات صفحه -----------------
 st.set_page_config(page_title="رزم یار ارتش", page_icon="🪖", layout="wide")
@@ -182,14 +182,16 @@ st.markdown('<div class="chat-message">👋 سلام! چطور میتونم کم
 
 
 # ----------------- لود csv و ساخت ایندکس -----------------
+
+
+# --- Embedding Class ---
 class TogetherEmbeddings(Embeddings):
     def __init__(self, model_name: str, api_key: str):
         self.model_name = model_name
         self.client = Together(api_key=api_key)
 
     def embed_documents(self, texts: List[str]) -> List[List[float]]:
-        # تقسیم متن‌ها به دسته‌های کوچک‌تر برای جلوگیری از خطای 413
-        batch_size = 100  # این مقدار را می‌توانید تنظیم کنید
+        batch_size = 100
         embeddings = []
         for i in range(0, len(texts), batch_size):
             batch = texts[i:i + batch_size]
@@ -200,84 +202,64 @@ class TogetherEmbeddings(Embeddings):
     def embed_query(self, text: str) -> List[float]:
         return self.embed_documents([text])[0]
 
+# --- Load CSV and Create Index ---
 @st.cache_resource
 def get_csv_index(csv_file):
     with st.spinner('📄 در حال پردازش فایل CSV...'):
-        # خواندن داده‌های CSV
         df = pd.read_csv(csv_file)
-        
-        # تبدیل DataFrame به لیست از متون
-        texts = df.iloc[:, 0].astype(str).tolist()  # ستون اول را می‌گیرد
-
-        # فیلتر کردن متن‌های خالی
+        texts = df.iloc[:, 0].astype(str).tolist()
         texts = [text for text in texts if text.strip()]
-        
-        # تقسیم متن‌های طولانی به بخش‌های کوچکتر
+
         text_splitter = RecursiveCharacterTextSplitter(
             chunk_size=2048,
             chunk_overlap=256,
             length_function=len,
             separators=["\n\n", "\n", " ", ""]
         )
-        
+
         split_texts = []
         for text in texts:
             split_texts.extend(text_splitter.split_text(text))
 
-        # ایجاد embeddings
+        documents = [Document(page_content=text) for text in split_texts]
+
         embeddings = TogetherEmbeddings(
             model_name="togethercomputer/m2-bert-80M-8k-retrieval",
             api_key="0291f33aee03412a47fa5d8e562e515182dcc5d9aac5a7fb5eefdd1759005979"
         )
 
-        # استفاده از VectorstoreIndexCreator برای ساخت ایندکس
-        index_creator = VectorstoreIndexCreator(
-            embedding=embeddings,
-            text_splitter=text_splitter
-        )
-        
-        # تبدیل متون به اسناد (documents)
-        from langchain.docstore.document import Document
-        documents = [Document(page_content=text) for text in split_texts]
-        
-        return index_creator.from_documents(documents)
+        vectorstore = FAISS.from_documents(documents, embeddings)
+        return vectorstore, embeddings
 
-# مسیر فایل CSV
+# --- Load CSV ---
 csv_file_path = 'output (1).csv'
 
 try:
-    # ساخت ایندکس
-    csv_index = get_csv_index(csv_file_path)
-    # st.success("ایندکس فایل CSV با موفقیت ساخته شد!")
+    vectorstore, embedding_model = get_csv_index(csv_file_path)
 except Exception as e:
     st.error(f"خطا در ساخت ایندکس: {str(e)}")
+    st.stop()
 
-
-    
-#------------------------------------------
+# --- Load LLM ---
 llm = ChatOpenAI(
     base_url="https://api.together.xyz/v1",
     api_key='0291f33aee03412a47fa5d8e562e515182dcc5d9aac5a7fb5eefdd1759005979',
-    model="meta-llama/Llama-3.3-70B-Instruct-Turbo-Free"
-)
-
-chain = RetrievalQA.from_chain_type(
-    llm=llm,
-    chain_type='stuff',
-    retriever=csv_index.vectorstore.as_retriever(),
-    input_key='question'
+    model="meta-llama/Llama-3-70B-Instruct"
 )
 
+# --- Chat UI ---
 if 'messages' not in st.session_state:
     st.session_state.messages = []
 
 if 'pending_prompt' not in st.session_state:
     st.session_state.pending_prompt = None
 
+# نمایش پیام‌های قبلی
 for msg in st.session_state.messages:
     with st.chat_message(msg['role']):
         st.markdown(f"🗨️ {msg['content']}", unsafe_allow_html=True)
 
+# ورودی جدید کاربر
 prompt = st.chat_input("چطور می‌تونم کمک کنم؟")
 
 if prompt:
@@ -285,24 +267,45 @@ if prompt:
     st.session_state.pending_prompt = prompt
     st.rerun()
 
+# پردازش سوال
 if st.session_state.pending_prompt:
     with st.chat_message('ai'):
         thinking = st.empty()
         thinking.markdown("🤖 در حال فکر کردن...")
 
-        response = chain.run(f'پاسخ را فقط به زبان فارسی جواب بده به هیچ عنوان از زبان غیر از فارسی در پاسخ استفاده نکن. سوال: {st.session_state.pending_prompt}')
-        answer = response.split("Helpful Answer:")[-1].strip() if "Helpful Answer:" in response else response.strip()
-        if not answer:
-            answer = "متأسفم، اطلاعات دقیقی در این مورد ندارم."
-
-        thinking.empty()
-        full_response = ""
-        placeholder = st.empty()
-        for word in answer.split():
-            full_response += word + " "
-            placeholder.markdown(full_response + "▌")
-            time.sleep(0.03)
-
-        placeholder.markdown(full_response)
-        st.session_state.messages.append({'role': 'ai', 'content': full_response})
-        st.session_state.pending_prompt = None
+        try:
+            # امبد کردن سوال
+            query = st.session_state.pending_prompt
+            query_embedding = embedding_model.embed_query(query)
+
+            # بازیابی اسناد مشابه
+            docs = vectorstore.similarity_search_by_vector(query_embedding, k=4)
+            context = "\n".join([doc.page_content for doc in docs])
+
+            # ساخت پرامپت نهایی برای LLM
+            final_prompt = f"""با توجه به اطلاعات زیر پاسخ بده. فقط به زبان فارسی پاسخ بده:
+اطلاعات:\n{context}\n\nسوال: {query}
+"""
+
+            # ارسال به LLM
+            response = llm.invoke(final_prompt)
+            answer = response.content.strip()
+            if not answer:
+                answer = "متأسفم، اطلاعات دقیقی در این مورد ندارم."
+
+            # تایپ کردن تدریجی پاسخ
+            thinking.empty()
+            full_response = ""
+            placeholder = st.empty()
+            for word in answer.split():
+                full_response += word + " "
+                placeholder.markdown(full_response + "▌")
+                time.sleep(0.03)
+
+            placeholder.markdown(full_response)
+            st.session_state.messages.append({'role': 'ai', 'content': full_response})
+            st.session_state.pending_prompt = None
+
+        except Exception as e:
+            thinking.empty()
+            st.error(f"خطا در پاسخ‌دهی: {str(e)}")