File size: 10,207 Bytes
d287817 dc196f7 5b3a336 dc196f7 324f762 5b3a336 07e178a 9144ba9 5b0f7c7 a3d3b71 dc196f7 5b0f7c7 dc196f7 5b0f7c7 dc196f7 5b0f7c7 9144ba9 dc196f7 5b0f7c7 9144ba9 5b0f7c7 9144ba9 dc196f7 5b0f7c7 dc196f7 9144ba9 5b0f7c7 9144ba9 dc196f7 5b0f7c7 dc196f7 9144ba9 dc196f7 9144ba9 dc196f7 5b0f7c7 6a58328 dc196f7 9144ba9 dc196f7 9144ba9 5b0f7c7 9144ba9 5b0f7c7 9144ba9 5b0f7c7 dc196f7 9144ba9 dc196f7 5b0f7c7 e72fe69 9144ba9 7437313 5b0f7c7 dc196f7 a9cf61c 5b0f7c7 dc196f7 5b0f7c7 9144ba9 936909b 5b0f7c7 936909b 6a58328 283f324 1e34f68 283f324 d382d77 283f324 1e34f68 283f324 d382d77 77480ff d382d77 283f324 77480ff 283f324 1e34f68 283f324 d382d77 1e34f68 d382d77 1e34f68 283f324 1e34f68 0252875 283f324 d382d77 77480ff d382d77 283f324 d382d77 283f324 5606c57 77480ff 49a9882 b2c45d8 dc196f7 1e34f68 dc196f7 5985f75 9fe2e05 c9690b4 9fe2e05 dc196f7 9fe2e05 128e483 b2c45d8 128e483 77480ff 1e34f68 b8fecc5 b2c45d8 9fe2e05 128e483 b8fecc5 128e483 1e34f68 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200 201 202 203 204 205 206 207 208 209 210 211 212 213 214 215 216 217 218 219 220 221 222 223 224 225 226 227 228 229 230 231 232 233 234 235 236 237 238 239 240 241 242 243 244 245 246 247 248 249 250 251 252 253 254 255 256 257 258 259 260 261 262 263 264 265 266 267 268 269 270 271 272 273 274 275 276 277 278 279 280 281 282 283 284 285 286 287 288 289 290 291 292 293 294 295 296 297 298 299 300 301 302 303 304 305 306 307 308 |
import time
import streamlit as st
from langchain.document_loaders import PyPDFLoader
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain.embeddings.base import Embeddings
from langchain.vectorstores import FAISS
from langchain.indexes import VectorstoreIndexCreator
from langchain.chains import RetrievalQA
from langchain.chat_models import ChatOpenAI
from typing import List
from together import Together
import pandas as pd
import streamlit as st
# ----------------- تنظیمات صفحه -----------------
st.set_page_config(page_title="رزم یار ارتش", page_icon="🪖", layout="wide")
# ----------------- استایل سفارشی -----------------
st.markdown("""
<style>
@import url('https://fonts.googleapis.com/css2?family=Vazirmatn:wght@400;700&display=swap');
html, body, [class*="css"] {
font-family: 'Vazirmatn', Tahoma, sans-serif;
direction: rtl;
text-align: right;
}
.stApp {
background: linear-gradient(to left, #f0f4f7, #d9e2ec);
}
.sidebar .sidebar-content {
background-color: #ffffff;
border-left: 2px solid #4e8a3e;
padding-top: 10px;
}
.sidebar .sidebar-content div {
margin-bottom: 10px;
font-weight: bold;
color: #2c3e50;
font-size: 15px;
}
.stButton>button {
background-color: #4e8a3e !important;
color: white !important;
font-weight: bold;
border-radius: 8px;
padding: 5px 16px;
transition: 0.3s;
font-size: 14px;
}
.stButton>button:hover {
background-color: #3c6d30 !important;
}
.header-text {
text-align: center;
margin-top: 15px;
margin-bottom: 25px;
background-color: rgba(255, 255, 255, 0.85);
padding: 16px;
border-radius: 16px;
box-shadow: 0 4px 10px rgba(0,0,0,0.1);
}
.header-text h1 {
font-size: 36px;
color: #2c3e50;
margin: 0;
font-weight: bold;
}
.subtitle {
font-size: 16px;
color: #34495e;
margin-top: 5px;
}
.chat-message {
background-color: rgba(255, 255, 255, 0.95);
border: 1px solid #4e8a3e;
border-radius: 12px;
padding: 14px;
margin-bottom: 10px;
box-shadow: 0 4px 8px rgba(0,0,0,0.08);
animation: fadeIn 0.5s ease;
}
.stTextInput>div>input, .stTextArea textarea {
background-color: rgba(255,255,255,0.9) !important;
border-radius: 8px !important;
direction: rtl;
text-align: right;
font-family: 'Vazirmatn', Tahoma;
}
img.small-logo {
width: 90px;
margin-bottom: 15px;
display: block;
margin-right: auto;
margin-left: auto;
}
.menu-item {
display: flex;
align-items: center;
gap: 8px;
padding: 6px 0;
font-size: 15px;
cursor: pointer;
}
.menu-item img {
width: 20px;
height: 20px;
}
</style>
""", unsafe_allow_html=True)
# ----------------- بدنه اصلی -----------------
with st.sidebar:
st.image("log.png", width=90)
st.markdown("""
<div class="menu-item">
<img src="https://cdn-icons-png.flaticon.com/512/3596/3596165.png" />
گفتگوی جدید
</div>
<div class="menu-item">
<img src="https://cdn-icons-png.flaticon.com/512/709/709496.png" />
تاریخچه
</div>
<hr/>
<div class="menu-item">
<img src="https://cdn-icons-png.flaticon.com/512/1828/1828932.png" />
مدلهای هوش مصنوعی
</div>
<div class="menu-item">
<img src="https://cdn-icons-png.flaticon.com/512/681/681494.png" />
تولید محتوا
</div>
<hr/>
<div class="menu-item">
<img src="https://cdn-icons-png.flaticon.com/512/3601/3601646.png" />
دستیار ویژه
</div>
<div class="menu-item">
<img src="https://cdn-icons-png.flaticon.com/512/709/709612.png" />
ابزار مالی
</div>
<hr/>
<div class="menu-item">
<img src="https://cdn-icons-png.flaticon.com/512/2099/2099058.png" />
تنظیمات
</div>
<div class="menu-item">
<img src="https://cdn-icons-png.flaticon.com/512/597/597177.png" />
پشتیبانی
</div>
""", unsafe_allow_html=True)
st.markdown("""
<style>
/* تنظیم سایز سایدبار */
[data-testid="stSidebar"] {
width: 220px !important;
flex-shrink: 0;
}
[data-testid="stSidebar"] > div {
width: 220px !important;
}
</style>
""", unsafe_allow_html=True)
# محتوای اصلی
st.markdown("""
<div class="header-text">
<h1>رزم یار ارتش</h1>
<div class="subtitle">دستیار هوشمند ارتشی برای پشتیبانی و راهبری</div>
</div>
""", unsafe_allow_html=True)
st.markdown('<div class="chat-message">👋 سلام! چطور میتونم کمکتون کنم؟</div>', unsafe_allow_html=True)
# چت اینپوت کاربر
#user_input = st.text_input("پیام خود را وارد کنید...")
#if user_input:
# st.markdown(f'<div class="chat-message">📩 شما: {user_input}</div>', unsafe_allow_html=True)
# ----------------- لود csv و ساخت ایندکس -----------------
class TogetherEmbeddings(Embeddings):
def __init__(self, model_name: str, api_key: str):
self.model_name = model_name
self.client = Together(api_key=api_key)
def embed_documents(self, texts: List[str]) -> List[List[float]]:
# تقسیم متنها به دستههای کوچکتر برای جلوگیری از خطای 413
batch_size = 100 # این مقدار را میتوانید تنظیم کنید
embeddings = []
for i in range(0, len(texts), batch_size):
batch = texts[i:i + batch_size]
response = self.client.embeddings.create(model=self.model_name, input=batch)
embeddings.extend([item.embedding for item in response.data])
return embeddings
def embed_query(self, text: str) -> List[float]:
return self.embed_documents([text])[0]
@st.cache_resource
def get_csv_index(csv_file):
with st.spinner('📄 در حال پردازش فایل CSV...'):
# خواندن دادههای CSV
df = pd.read_csv(csv_file)
# تبدیل DataFrame به لیست از متون
texts = df.iloc[:, 0].astype(str).tolist() # ستون اول را میگیرد
# فیلتر کردن متنهای خالی
texts = [text for text in texts if text.strip()]
# تقسیم متنهای طولانی به بخشهای کوچکتر
text_splitter = RecursiveCharacterTextSplitter(
chunk_size=300,
chunk_overlap=50,
length_function=len,
separators=["\n\n", "\n", " ", ""]
)
split_texts = []
for text in texts:
split_texts.extend(text_splitter.split_text(text))
# ایجاد embeddings
embeddings = TogetherEmbeddings(
model_name="togethercomputer/m2-bert-80M-8k-retrieval",
api_key="0291f33aee03412a47fa5d8e562e515182dcc5d9aac5a7fb5eefdd1759005979"
)
# استفاده از VectorstoreIndexCreator برای ساخت ایندکس
index_creator = VectorstoreIndexCreator(
embedding=embeddings,
text_splitter=text_splitter
)
# تبدیل متون به اسناد (documents)
from langchain.docstore.document import Document
documents = [Document(page_content=text) for text in split_texts]
return index_creator.from_documents(documents)
# مسیر فایل CSV
csv_file_path = 'output (1).csv'
try:
# ساخت ایندکس
csv_index = get_csv_index(csv_file_path)
st.success("ایندکس فایل CSV با موفقیت ساخته شد!")
except Exception as e:
st.error(f"خطا در ساخت ایندکس: {str(e)}")
#------------------------------------------
llm = ChatOpenAI(
base_url="https://api.together.xyz/v1",
api_key='0291f33aee03412a47fa5d8e562e515182dcc5d9aac5a7fb5eefdd1759005979',
model="togethercomputer/m2-bert-80M-8k-retrieval"
)
chain = RetrievalQA.from_chain_type(
llm=llm,
chain_type='stuff',
retriever=csv_index.vectorstore.as_retriever(),
input_key='question'
)
if 'messages' not in st.session_state:
st.session_state.messages = []
if 'pending_prompt' not in st.session_state:
st.session_state.pending_prompt = None
for msg in st.session_state.messages:
with st.chat_message(msg['role']):
st.markdown(f"🗨️ {msg['content']}", unsafe_allow_html=True)
prompt = st.chat_input("چطور میتونم کمک کنم؟")
if prompt:
st.session_state.messages.append({'role': 'user', 'content': prompt})
st.session_state.pending_prompt = prompt
st.rerun()
if st.session_state.pending_prompt:
with st.chat_message('ai'):
thinking = st.empty()
thinking.markdown("🤖 در حال فکر کردن...")
response = chain.run(f'پاسخ را فقط به زبان فارسی جواب بده و به هیچ عنوان از زبان غیر از فارسی در پاسخ استفاده نکن: {st.session_state.pending_prompt}')
answer = response.split("Helpful Answer:")[-1].strip() if "Helpful Answer:" in response else response.strip()
if not answer:
answer = "متأسفم، اطلاعات دقیقی در این مورد ندارم."
thinking.empty()
full_response = ""
placeholder = st.empty()
for word in answer.split():
full_response += word + " "
placeholder.markdown(full_response + "▌")
time.sleep(0.03)
placeholder.markdown(full_response)
st.session_state.messages.append({'role': 'ai', 'content': full_response})
st.session_state.pending_prompt = None |