Update app.py

app.py

@@ -12,6 +12,12 @@ from together import Together
 import pandas as pd
 import streamlit as st
 
+
+import numpy as np
+from sentence_transformers import SentenceTransformer
+import faiss
+
+
 # ----------------- تنظیمات صفحه -----------------
 st.set_page_config(page_title="رزم یار ارتش", page_icon="🪖", layout="wide")
 
@@ -181,93 +187,50 @@ st.markdown('<div class="chat-message">👋 سلام! چطور میتونم کم
 
 
 
-# ----------------- لود csv و ساخت ایندکس -----------------
-class TogetherEmbeddings(Embeddings):
-    def __init__(self, model_name: str, api_key: str):
-        self.model_name = model_name
-        self.client = Together(api_key=api_key)
-
-    def embed_documents(self, texts: List[str]) -> List[List[float]]:
-        # تقسیم متن‌ها به دسته‌های کوچک‌تر برای جلوگیری از خطای 413
-        batch_size = 100  # این مقدار را می‌توانید تنظیم کنید
-        embeddings = []
-        for i in range(0, len(texts), batch_size):
-            batch = texts[i:i + batch_size]
-            response = self.client.embeddings.create(model=self.model_name, input=batch)
-            embeddings.extend([item.embedding for item in response.data])
-        return embeddings
 
-    def embed_query(self, text: str) -> List[float]:
-        return self.embed_documents([text])[0]
+# ⚙️ مدل Embedding ساده و سریع
+@st.cache_resource
+def get_embedding_model():
+    return SentenceTransformer('paraphrase-multilingual-MiniLM-L12-v2')
 
 @st.cache_resource
-def get_csv_index(csv_file):
-    with st.spinner('📄 در حال پردازش فایل CSV...'):
-        # خواندن داده‌های CSV
-        df = pd.read_csv(csv_file)
-        
-        # تبدیل DataFrame به لیست از متون
-        texts = df.iloc[:, 0].astype(str).tolist()  # ستون اول را می‌گیرد
-
-        # فیلتر کردن متن‌های خالی
-        texts = [text for text in texts if text.strip()]
-        
-        # تقسیم متن‌های طولانی به بخش‌های کوچکتر
-        text_splitter = RecursiveCharacterTextSplitter(
-            chunk_size=300,
-            chunk_overlap=50,
-            length_function=len,
-            separators=["\n\n", "\n", " ", ""]
-        )
-        
-        split_texts = []
-        for text in texts:
-            split_texts.extend(text_splitter.split_text(text))
-
-        # ایجاد embeddings
-        embeddings = TogetherEmbeddings(
-            model_name="togethercomputer/m2-bert-80M-8k-retrieval",
-            api_key="0291f33aee03412a47fa5d8e562e515182dcc5d9aac5a7fb5eefdd1759005979"
-        )
-
-        # استفاده از VectorstoreIndexCreator برای ساخت ایندکس
-        index_creator = VectorstoreIndexCreator(
-            embedding=embeddings,
-            text_splitter=text_splitter
-        )
-        
-        # تبدیل متون به اسناد (documents)
-        from langchain.docstore.document import Document
-        documents = [Document(page_content=text) for text in split_texts]
-        
-        return index_creator.from_documents(documents)
+def process_csv(csv_file):
+    df = pd.read_csv(csv_file)
+    texts = df.iloc[:, 0].astype(str).tolist()
+    texts = [text for text in texts if text.strip()]
+
+    text_splitter = RecursiveCharacterTextSplitter(
+        chunk_size=300,
+        chunk_overlap=50,
+        length_function=len,
+        separators=["\n\n", "\n", " ", ""]
+    )
+
+    split_texts = []
+    for text in texts:
+        split_texts.extend(text_splitter.split_text(text))
+
+    # مدل امبدینگ
+    model = get_embedding_model()
+    embeddings = model.encode(split_texts, show_progress_bar=True)
+
+    # ساخت ایندکس FAISS
+    dim = embeddings.shape[1]
+    index = faiss.IndexFlatL2(dim)
+    index.add(np.array(embeddings))
+
+    return split_texts, embeddings, index
 
 # مسیر فایل CSV
 csv_file_path = 'output (1).csv'
 
 try:
-    # ساخت ایندکس
-    csv_index = get_csv_index(csv_file_path)
-    st.success("ایندکس فایل CSV با موفقیت ساخته شد!")
+    texts, vectors, index = process_csv(csv_file_path)
+    st.success("✅ ایندکس‌سازی با موفقیت انجام شد.")
 except Exception as e:
-    st.error(f"خطا در ساخت ایندکس: {str(e)}")
-
-
-    
-#------------------------------------------
-llm = ChatOpenAI(
-    base_url="https://api.together.xyz/v1",
-    api_key='0291f33aee03412a47fa5d8e562e515182dcc5d9aac5a7fb5eefdd1759005979',
-    model="togethercomputer/m2-bert-80M-8k-retrieval"
-)
-
-chain = RetrievalQA.from_chain_type(
-    llm=llm,
-    chain_type='stuff',
-    retriever=csv_index.vectorstore.as_retriever(),
-    input_key='question'
-)
+    st.error(f"❌ خطا در پردازش فایل: {str(e)}")
 
+# رابط چت
 if 'messages' not in st.session_state:
     st.session_state.messages = []
 
@@ -276,33 +239,36 @@ if 'pending_prompt' not in st.session_state:
 
 for msg in st.session_state.messages:
     with st.chat_message(msg['role']):
-        st.markdown(f"🗨️ {msg['content']}", unsafe_allow_html=True)
+        st.markdown(msg['content'], unsafe_allow_html=True)
 
-prompt = st.chat_input("چطور می‌تونم کمک کنم؟")
+query = st.chat_input("سؤالت را بپرس...")
 
-if prompt:
-    st.session_state.messages.append({'role': 'user', 'content': prompt})
-    st.session_state.pending_prompt = prompt
+if query:
+    st.session_state.messages.append({'role': 'user', 'content': query})
+    st.session_state.pending_prompt = query
     st.rerun()
 
 if st.session_state.pending_prompt:
-    with st.chat_message('ai'):
+    with st.chat_message("ai"):
         thinking = st.empty()
-        thinking.markdown("🤖 در حال فکر کردن...")
+        thinking.markdown("🤖 در حال جستجو...")
+
+        # امبد کردن سؤال و جستجو
+        model = get_embedding_model()
+        query_vector = model.encode([st.session_state.pending_prompt])
+        D, I = index.search(np.array(query_vector), k=3)  # 3 نتیجه نزدیک
 
-        response = chain.run(f'پاسخ را فقط به زبان فارسی جواب بده و به هیچ عنوان از زبان غیر از فارسی در پاسخ استفاده نکن: {st.session_state.pending_prompt}')
-        answer = response.split("Helpful Answer:")[-1].strip() if "Helpful Answer:" in response else response.strip()
-        if not answer:
-            answer = "متأسفم، اطلاعات دقیقی در این مورد ندارم."
+        results = [texts[i] for i in I[0]]
+        response = "🧠 نزدیک‌ترین پاسخ‌ها:\n\n" + "\n\n---\n\n".join(results)
 
         thinking.empty()
         full_response = ""
         placeholder = st.empty()
-        for word in answer.split():
+        for word in response.split():
             full_response += word + " "
             placeholder.markdown(full_response + "▌")
-            time.sleep(0.03)
+            time.sleep(0.02)
 
         placeholder.markdown(full_response)
         st.session_state.messages.append({'role': 'ai', 'content': full_response})
-        st.session_state.pending_prompt = None
+        st.session_state.pending_prompt = None