Update app.py

app.py

@@ -34,7 +34,7 @@ repo_id = f"{HF_ORG_NAME}/{DATASET_NAME}"
 
 load_dotenv()
 AUTH_TOKEN_KEY = os.environ.get('AUTH_TOKEN_KEY')
-
+BASE_URL = os.environ.get("BASE_URL")
 os.environ['AUTH_TOKEN_KEY'] = AUTH_TOKEN_KEY
 HF_TOKEN = os.environ.get("HF_TOKEN")
 
@@ -233,7 +233,7 @@ docsearch = PineconeVectorStore.from_existing_index(
     
 retriever = docsearch.as_retriever(search_type='similarity', search_kwargs={'k':2})
 
-llm = Ollama(model='llama3.2')
+llm = Ollama(model='llama3.2', BASE_URL)
 
 prompt = ChatPromptTemplate.from_messages(
     [