Update app.py

app.py

@@ -1,219 +1,195 @@
+import time
 import streamlit as st
-import datetime
-import pandas as pd
-from typing import List
-from langchain_core.embeddings.embeddings import Embeddings
+from langchain.document_loaders import PyPDFLoader
+from langchain.text_splitter import RecursiveCharacterTextSplitter
+from langchain.embeddings.base import Embeddings
 from langchain.vectorstores import FAISS
-from langchain.prompts import ChatPromptTemplate
+from langchain.indexes import VectorstoreIndexCreator
+from langchain.chains import RetrievalQA
 from langchain.chat_models import ChatOpenAI
-from langchain.chains import ChatChain
-from langchain.text_splitter import RecursiveCharacterTextSplitter
-from langchain.schema import Document
-import re
+from typing import List
+from together import Together
+import pandas as pd
+import streamlit as st
 
-st.set_page_config(page_title="رزم‌یار ارتش", page_icon="🪖", layout="wide")
+# ----------------- تنظیمات صفحه -----------------
+st.set_page_config(page_title="رزم یار ارتش", page_icon="🪖", layout="wide")
 
 # ----------------- استایل سفارشی -----------------
 st.markdown("""
     <style>
     @import url('https://fonts.googleapis.com/css2?family=Vazirmatn:wght@400;700&display=swap');
-    
     html, body, [class*="css"] {
         font-family: 'Vazirmatn', Tahoma, sans-serif;
         direction: rtl;
         text-align: right;
     }
-    
     .stApp {
-        background: linear-gradient(to left, #4b5e40, #2e3b2e);
-        color: #ffffff;
+        background: linear-gradient(to left, #f0f4f7, #d9e2ec);
     }
-    
-    /* استایل سایدبار */
-    [data-testid="stSidebar"] {
-        width: 260px !important;
-        background-color: #1a2b1e;
-        border: none !important; /* حذف حاشیه زرد */
-        padding-top: 20px;
+    .sidebar .sidebar-content {
+        background-color: #ffffff;
+        border-left: 2px solid #4e8a3e;
+        padding-top: 10px;
     }
-    
-    .menu-item {
-        display: flex;
-        align-items: center;
-        gap: 12px;
-        padding: 12px 20px;
-        font-size: 16px;
-        color: #d4d4d4;
-        cursor: pointer;
-        transition: background-color 0.3s ease;
-    }
-    
-    .menu-item:hover {
-        background-color: #2e3b2e;
-        color: #b8860b;
-    }
-    
-    .menu-item img {
-        width: 24px;
-        height: 24px;
+    .sidebar .sidebar-content div {
+        margin-bottom: 10px;
+        font-weight: bold;
+        color: #2c3e50;
+        font-size: 15px;
     }
-    
-    /* استایل دکمه‌ها */
     .stButton>button {
-        background-color: #b8860b !important;
-        color: #1a2b1e !important;
-        font-family: 'Vazirmatn', Tahoma;
-        font-weight: 700;
-        border-radius: 10px;
-        padding: 12px 24px;
-        border: none;
-        transition: all 0.3s ease;
-        font-size: 16px;
-        width: 100%;
-        margin: 10px 0;
+        background-color: #4e8a3e !important;
+        color: white !important;
+        font-weight: bold;
+        border-radius: 8px;
+        padding: 5px 16px;
+        transition: 0.3s;
+        font-size: 14px;
     }
-    
     .stButton>button:hover {
-        background-color: #8b6508 !important;
-        transform: translateY(-2px);
-        box-shadow: 0 4px 8px rgba(0,0,0,0.3);
+        background-color: #3c6d30 !important;
     }
-    
-    /* استایل هدر */
     .header-text {
         text-align: center;
-        margin: 20px 0;
-        background-color: rgba(26, 43, 30, 0.9);
-        padding: 25px;
-        border-radius: 15px;
-        box-shadow: 0 6px 12px rgba(0,0,0,0.4);
+        margin-top: 15px;
+        margin-bottom: 25px;
+        background-color: rgba(255, 255, 255, 0.85);
+        padding: 16px;
+        border-radius: 16px;
+        box-shadow: 0 4px 10px rgba(0,0,0,0.1);
     }
-    
     .header-text h1 {
-        font-size: 42px;
-        color: #b8860b;
+        font-size: 36px;
+        color: #2c3e50;
         margin: 0;
-        font-weight: 700;
+        font-weight: bold;
     }
-    
     .subtitle {
-        font-size: 18px;
-        color: #d4d4d4;
-        margin-top: 10px;
+        font-size: 16px;
+        color: #34495e;
+        margin-top: 5px;
     }
-    
-    /* استایل پیام چت */
     .chat-message {
-        background-color: rgba(26, 43, 30, 0.95);
-        border: 2px solid #b8860b;
-        border-radius: 15px;
-        padding: 20px;
-        margin: 15px 0;
-        box-shadow: 0 6px 12px rgba(0,0,0,0.3);
-        animation: fadeIn 0.6s ease;
-        font-size: 18px;
-        color: #d4d4d4;
-        display: flex;
-        align-items: center;
-        gap: 15px;
-    }
-    
-    @keyframes fadeIn {
-        from { opacity: 0; transform: translateY(10px); }
-        to { opacity: 1; transform: translateY(0); }
+        background-color: rgba(255, 255, 255, 0.95);
+        border: 1px solid #4e8a3e;
+        border-radius: 12px;
+        padding: 14px;
+        margin-bottom: 10px;
+        box-shadow: 0 4px 8px rgba(0,0,0,0.08);
+        animation: fadeIn 0.5s ease;
     }
-    
-    /* استایل ورودی‌ها */
     .stTextInput>div>input, .stTextArea textarea {
-        background-color: rgba(26, 43, 30, 0.95) !important;
-        border-radius: 10px !important;
-        border: 1px solid #b8860b !important;
-        padding: 12px !important;
+        background-color: rgba(255,255,255,0.9) !important;
+        border-radius: 8px !important;
+        direction: rtl;
+        text-align: right;
         font-family: 'Vazirmatn', Tahoma;
-        font-size: 16px;
-        color: #d4d4d4 !important;
     }
-    
     img.small-logo {
-        width: 120px;
-        margin: 0 auto 20px;
+        width: 90px;
+        margin-bottom: 15px;
         display: block;
+        margin-right: auto;
+        margin-left: auto;
     }
-    
-    hr {
-        border: 1px solid #b8860b;
-        margin: 15px 0;
+    .menu-item {
+        display: flex;
+        align-items: center;
+        gap: 8px;
+        padding: 6px 0;
+        font-size: 15px;
+        cursor: pointer;
     }
-    
-    /* رفع مشکل نوار زرد */
-    [data-testid="stSidebar"] > div {
-        border: none !important;
+    .menu-item img {
+        width: 20px;
+        height: 20px;
     }
     </style>
 """, unsafe_allow_html=True)
 
-# ----------------- احراز هویت ساده -----------------
-if "authenticated" not in st.session_state:
-    st.session_state.authenticated = False
-
-if not st.session_state.authenticated:
-    st.markdown("<h3 style='text-align: center; color: #b8860b;'>ورود به رزم‌یار ارتش</h3>", unsafe_allow_html=True)
-    username = st.text_input("نام کاربری:", placeholder="شناسه نظامی خود را وارد کنید")
-    password = st.text_input("رمز عبور:", type="password", placeholder="رمز عبور نظامی")
-    if st.button("ورود"):
-        if username == "admin" and password == "123":
-            st.session_state.authenticated = True
-            st.rerun()
-        else:
-            st.error("نام کاربری یا رمز عبور اشتباه است.")
-    st.stop()
-
-# ----------------- سایدبار -----------------
+# ----------------- بدنه اصلی -----------------
 with st.sidebar:
-    st.image("log.png", use_container_width=True)
-    
-    menu_items = [
-        ("گزارش عملیاتی", "https://cdn-icons-png.flaticon.com/512/3596/3596165.png"),
-        ("تاریخچه ماموریت‌ها", "https://cdn-icons-png.flaticon.com/512/709/709496.png"),
-        ("تحلیل داده‌های نظامی", "https://cdn-icons-png.flaticon.com/512/1828/1828932.png"),
-        ("مدیریت منابع", "https://cdn-icons-png.flaticon.com/512/681/681494.png"),
-        ("دستیار فرماندهی", "https://cdn-icons-png.flaticon.com/512/3601/3601646.png"),
-        ("تنظیمات امنیتی", "https://cdn-icons-png.flaticon.com/512/2099/2099058.png"),
-        ("پشتیبانی فنی", "https://cdn-icons-png.flaticon.com/512/597/597177.png"),
-    ]
+    st.image("log.png", width=90)
+
     
-    for idx, (text, icon) in enumerate(menu_items):
-        st.markdown(f"""
-            <div class="menu-item">
-                <img src="{icon}" />
-                {text}
-            </div>
-        """, unsafe_allow_html=True)
+    st.markdown("""
+    <div class="menu-item">
+        <img src="https://cdn-icons-png.flaticon.com/512/3596/3596165.png" />
+        گفتگوی جدید
+    </div>
+    <div class="menu-item">
+        <img src="https://cdn-icons-png.flaticon.com/512/709/709496.png" />
+        تاریخچه
+    </div>
+    <hr/>
+    <div class="menu-item">
+        <img src="https://cdn-icons-png.flaticon.com/512/1828/1828932.png" />
+        مدل‌های هوش مصنوعی
+    </div>
+    <div class="menu-item">
+        <img src="https://cdn-icons-png.flaticon.com/512/681/681494.png" />
+        تولید محتوا
+    </div>
+    <hr/>
+    <div class="menu-item">
+        <img src="https://cdn-icons-png.flaticon.com/512/3601/3601646.png" />
+        دستیار ویژه
+    </div>
+    <div class="menu-item">
+        <img src="https://cdn-icons-png.flaticon.com/512/709/709612.png" />
+        ابزار مالی
+    </div>
+    <hr/>
+    <div class="menu-item">
+        <img src="https://cdn-icons-png.flaticon.com/512/2099/2099058.png" />
+        تنظیمات
+    </div>
+    <div class="menu-item">
+        <img src="https://cdn-icons-png.flaticon.com/512/597/597177.png" />
+        پشتیبانی
+    </div>
+    """, unsafe_allow_html=True)
+st.markdown("""
+    <style>
+    /* تنظیم سایز سایدبار */
+    [data-testid="stSidebar"] {
+        width: 220px !important;
+        flex-shrink: 0;
+    }
+    [data-testid="stSidebar"] > div {
+        width: 220px !important;
+    }
+    </style>
+""", unsafe_allow_html=True)
 
-# ----------------- محتوای اصلی -----------------
+# محتوای اصلی
 st.markdown("""
     <div class="header-text">
-        <h1>رزم‌یار ارتش</h1>
-        <div class="subtitle">دستیار هوشمند ارتش</div>
+        <h1>رزم یار ارتش</h1>
+        <div class="subtitle">دستیار هوشمند ارتشی برای پشتیبانی و راهبری</div>
     </div>
 """, unsafe_allow_html=True)
 
-# پیام خوش‌آمدگویی
-st.markdown(f"""
-    <div class="chat-message">
-        <span style="font-size: 24px;">🪖</span>
-        <span>به رزم‌یار ارتش خوش آمدید.</span>
-    </div>
-""", unsafe_allow_html=True)
+st.markdown('<div class="chat-message">👋 سلام! چطور میتونم کمکتون کنم؟</div>', unsafe_allow_html=True)
+
+# چت اینپوت کاربر
+#user_input = st.text_input("پیام خود را وارد کنید...")
+
+#if user_input:
+#   st.markdown(f'<div class="chat-message">📩 شما: {user_input}</div>', unsafe_allow_html=True)
+
 
-# ----------------- کلاس توگدر امبدینگ -----------------
+
+# ----------------- لود csv و ساخت ایندکس -----------------
 class TogetherEmbeddings(Embeddings):
     def __init__(self, model_name: str, api_key: str):
         self.model_name = model_name
         self.client = Together(api_key=api_key)
 
     def embed_documents(self, texts: List[str]) -> List[List[float]]:
-        batch_size = 100
+        # تقسیم متن‌ها به دسته‌های کوچک‌تر برای جلوگیری از خطای 413
+        batch_size = 100  # این مقدار را می‌توانید تنظیم کنید
         embeddings = []
         for i in range(0, len(texts), batch_size):
             batch = texts[i:i + batch_size]
@@ -224,99 +200,109 @@ class TogetherEmbeddings(Embeddings):
     def embed_query(self, text: str) -> List[float]:
         return self.embed_documents([text])[0]
 
-
-# ----------- پردازش و ایندکس کردن CSV ----------- 
 @st.cache_resource
-def build_vectorstore_from_csv(csv_file_path: str):
-    df = pd.read_csv(csv_file_path)
-    texts = df.iloc[:, 0].astype(str).tolist()
-    texts = [text.strip() for text in texts if text.strip()]
-
-    # برش متن‌ها
-    text_splitter = RecursiveCharacterTextSplitter(
-        chunk_size=2048,
-        chunk_overlap=256,
-        length_function=len,
-        separators=["\n\n", "\n", " ", ""]
-    )
-    split_texts = []
-    for text in texts:
-        split_texts.extend(text_splitter.split_text(text))
+def get_csv_index(csv_file):
+    with st.spinner('📄 در حال پردازش فایل CSV...'):
+        # خواندن داده‌های CSV
+        df = pd.read_csv(csv_file)
+        
+        # تبدیل DataFrame به لیست از متون
+        texts = df.iloc[:, 0].astype(str).tolist()  # ستون اول را می‌گیرد
 
-    documents = [Document(page_content=text) for text in split_texts]
+        # فیلتر کردن متن‌های خالی
+        texts = [text for text in texts if text.strip()]
+        
+        # تقسیم متن‌های طولانی به بخش‌های کوچکتر
+        text_splitter = RecursiveCharacterTextSplitter(
+            chunk_size=300,
+            chunk_overlap=50,
+            length_function=len,
+            separators=["\n\n", "\n", " ", ""]
+        )
+        
+        split_texts = []
+        for text in texts:
+            split_texts.extend(text_splitter.split_text(text))
 
-    embeddings = TogetherEmbeddings(
-        model_name="togethercomputer/m2-bert-80M-32k-retrieval",
-        api_key='0291f33aee03412a47fa5d8e562e515182dcc5d9aac5a7fb5eefdd1759005979'
-     )
+        # ایجاد embeddings
+        embeddings = TogetherEmbeddings(
+            model_name="togethercomputer/m2-bert-80M-8k-retrieval",
+            api_key="0291f33aee03412a47fa5d8e562e515182dcc5d9aac5a7fb5eefdd1759005979"
+        )
 
-    vectorstore = FAISS.from_documents(documents, embeddings)
-    return vectorstore, embeddings
+        # استفاده از VectorstoreIndexCreator برای ساخت ایندکس
+        index_creator = VectorstoreIndexCreator(
+            embedding=embeddings,
+            text_splitter=text_splitter
+        )
+        
+        # تبدیل متون به اسناد (documents)
+        from langchain.docstore.document import Document
+        documents = [Document(page_content=text) for text in split_texts]
+        
+        return index_creator.from_documents(documents)
 
+# مسیر فایل CSV
+csv_file_path = 'output (1).csv'
 
-# ----------- بارگذاری مدل زبانی ----------- 
-def load_llm():
-    return ChatOpenAI(
-        base_url="https://api.together.xyz/v1",
-        api_key='0291f33aee03412a47fa5d8e562e515182dcc5d9aac5a7fb5eefdd1759005979',
-        model="meta-llama/Llama-3.3-70B-Instruct-Turbo-Free"
-    )
+try:
+    # ساخت ایندکس
+    csv_index = get_csv_index(csv_file_path)
+    st.success("ایندکس فایل CSV با موفقیت ساخته شد!")
+except Exception as e:
+    st.error(f"خطا در ساخت ایندکس: {str(e)}")
 
 
-# ----------- پردازش ��وال و بازیابی پاسخ‌ها ----------- 
-def process_user_query(query: str, vectorstore, embedding_model, llm):
-    # تبدیل سوال کاربر به امبدینگ
-    query_embedding = embedding_model.embed_query(query)
-    
-    # جستجوی نزدیک‌ترین متون به سوال
-    docs = vectorstore.similarity_search_by_vector(query_embedding, k=3)
-    context = "\n".join([doc.page_content for doc in docs])
-    
-    # چک کردن وجود عدد یا اطلاعات عددی در پاسخ
-    if "عدد" in query or "قیمت" in query:  # اگر سوال عددی است
-        # استخراج اطلاعات عددی از متون مشابه
-        context = extract_numbers_from_text(context)
     
-    # ارسال متن به مدل
-    final_prompt = f"""با توجه به اطلاعات زیر، فقط بر اساس آن‌ها به سؤال پاسخ بده. اگر اطلاعات کافی نیست، بگو اطلاعات کافی ندارم.
-🔹 اطلاعات:\n{context}\n\n❓ سؤال: {query}
-"""
-    response = llm.invoke(final_prompt)
-    raw_answer = response.content.strip()
+#------------------------------------------
+llm = ChatOpenAI(
+    base_url="https://api.together.xyz/v1",
+    api_key='0291f33aee03412a47fa5d8e562e515182dcc5d9aac5a7fb5eefdd1759005979',
+    model="meta-llama/Llama-3.3-70B-Instruct-Turbo-Free"
+)
 
-    clean_answer = raw_answer.strip() or "متأسفم، اطلاعات دقیقی در این مورد ندارم."
-    return clean_answer
+chain = RetrievalQA.from_chain_type(
+    llm=llm,
+    chain_type='stuff',
+    retriever=csv_index.vectorstore.as_retriever(),
+    input_key='question'
+)
 
+if 'messages' not in st.session_state:
+    st.session_state.messages = []
 
-def extract_numbers_from_text(text: str):
-    # استخراج اعداد از متن
-    numbers = re.findall(r'\d+(?:\.\d+)?', text)
-    return "\n".join(numbers)
+if 'pending_prompt' not in st.session_state:
+    st.session_state.pending_prompt = None
 
+for msg in st.session_state.messages:
+    with st.chat_message(msg['role']):
+        st.markdown(f"🗨️ {msg['content']}", unsafe_allow_html=True)
 
-# ----------- اجرای Streamlit UI ----------- 
-def run_chat_ui():
-    csv_file_path = 'output (1).csv'
-    try:
-        vectorstore, embedding_model = build_vectorstore_from_csv(csv_file_path)
-    except Exception as e:
-        st.error(f"خطا در پردازش فایل: {str(e)}")
-        return
-    
-    llm = load_llm()
+prompt = st.chat_input("چطور می‌تونم کمک کنم؟")
 
-    # فرم ورودی و دکمه‌ها
-    with st.form(key="chat_form"):
-        user_input = st.text_area("دستور یا پرس‌وجو:", height=120, placeholder="ماموریت یا سوال خود را وارد کنید...")
-        submit_button = st.form_submit_button("ارسال دستور")
+if prompt:
+    st.session_state.messages.append({'role': 'user', 'content': prompt})
+    st.session_state.pending_prompt = prompt
+    st.rerun()
 
-    if submit_button and user_input:
-        response = process_user_query(user_input, vectorstore, embedding_model, llm)
-        st.markdown(f"""
-            <div class="chat-message">
-                <span style="font-size: 24px;">🎖️</span>
-                <span>{response}</span>
-            </div>
-        """, unsafe_allow_html=True)
-    
-run_chat_ui()
+if st.session_state.pending_prompt:
+    with st.chat_message('ai'):
+        thinking = st.empty()
+        thinking.markdown("🤖 در حال فکر کردن...")
+
+        response = chain.run(f'پاسخ را فقط به زبان فارسی جواب بده به هیچ عنوان از زبان چینی در پاسخ استفاده نکن. سوال: {st.session_state.pending_prompt}')
+        answer = response.split("Helpful Answer:")[-1].strip() if "Helpful Answer:" in response else response.strip()
+        if not answer:
+            answer = "متأسفم، اطلاعات دقیقی در این مورد ندارم."
+
+        thinking.empty()
+        full_response = ""
+        placeholder = st.empty()
+        for word in answer.split():
+            full_response += word + " "
+            placeholder.markdown(full_response + "▌")
+            time.sleep(0.03)
+
+        placeholder.markdown(full_response)
+        st.session_state.messages.append({'role': 'ai', 'content': full_response})
+        st.session_state.pending_prompt = None