fatmata commited on
Commit
a3db5d7
·
verified ·
1 Parent(s): 6292bce

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +10 -3
app.py CHANGED
@@ -1,13 +1,20 @@
 
1
  from fastapi import FastAPI
2
  from transformers import AutoModelForCausalLM, AutoTokenizer
3
  import torch
4
 
5
  app = FastAPI()
6
 
7
- # Charger le modèle et le tokenizer depuis Hugging Face
 
 
 
8
  MODEL_NAME = "fatmata/psybot"
9
- tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
10
- model = AutoModelForCausalLM.from_pretrained(MODEL_NAME, torch_dtype=torch.float32)
 
 
 
11
 
12
  @app.get("/")
13
  def home():
 
1
+ import os
2
  from fastapi import FastAPI
3
  from transformers import AutoModelForCausalLM, AutoTokenizer
4
  import torch
5
 
6
  app = FastAPI()
7
 
8
+ # Définir un dossier cache accessible pour éviter les erreurs de permission
9
+ os.environ["TRANSFORMERS_CACHE"] = "/tmp"
10
+
11
+ # Charger le modèle et le tokenizer depuis Hugging Face avec cache local
12
  MODEL_NAME = "fatmata/psybot"
13
+ local_dir = "/app/model" # Dossier pour stocker le modèle
14
+ os.makedirs(local_dir, exist_ok=True)
15
+
16
+ tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME, cache_dir=local_dir)
17
+ model = AutoModelForCausalLM.from_pretrained(MODEL_NAME, cache_dir=local_dir, torch_dtype=torch.float32)
18
 
19
  @app.get("/")
20
  def home():