Update app.py

app.py

@@ -18,6 +18,8 @@ from langchain.vectorstores import FAISS
 from langchain.embeddings import SentenceTransformerEmbeddings
 from langchain.embeddings import OpenAIEmbeddings, HuggingFaceInstructEmbeddings
 
+from transformers import AutoTokenizer
+
 
 
 # ----------------- تنظیمات صفحه -----------------
@@ -102,12 +104,15 @@ st.markdown("""
 """, unsafe_allow_html=True)
 
 # ----------------- لود PDF و ساخت ایندکس -----------------
+tokenizer = AutoTokenizer.from_pretrained("HooshvareLab/gpt2-fa")
+tokenizer.pad_token = tokenizer.eos_token  # یا می‌توانید این خط را برای توکن جدید فعال کنید: tokenizer.add_special_tokens({'pad_token': '[PAD]'})
+
 @st.cache_resource
 def get_pdf_index():
     with st.spinner('📄 در حال پردازش فایل PDF...'):
-        pdf_reader = [PyPDFLoader('test1.pdf')]
-        embeddings = HuggingFaceInstructEmbeddings(model_name="HooshvareLab/gpt2-fa")
-        index  = VectorstoreIndexCreator( embedding=embeddings, text_splitter=RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=128)).from_loaders(pdf_reader)
+        pdf_loader = PyPDFLoader('test1.pdf')
+        embeddings = HuggingFaceInstructEmbeddings(model_name="HooshvareLab/gpt2-fa", tokenizer=tokenizer)
+        index = VectorstoreIndexCreator(embedding=embeddings, text_splitter=RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=128)).from_loaders([pdf_loader])
         return index
 
 # ----------------- بارگذاری دیتا -----------------