Spaces:
Sleeping
Sleeping
Update app.py
Browse files
app.py
CHANGED
@@ -10,7 +10,7 @@ import warnings
|
|
10 |
warnings.filterwarnings("ignore", category=UserWarning)
|
11 |
|
12 |
# model_name = "AI-Sweden-Models/gpt-sw3-126m-instruct"
|
13 |
-
model_name = "AI-Sweden-Models/gpt-sw3-
|
14 |
|
15 |
|
16 |
device = "cuda:0" if torch.cuda.is_available() else "cpu"
|
@@ -78,7 +78,7 @@ class StopOnTokenCriteria(StoppingCriteria):
|
|
78 |
stop_on_token_criteria = StopOnTokenCriteria(stop_token_id=tokenizer.bos_token_id)
|
79 |
|
80 |
st.title("Paralegal Assistant")
|
81 |
-
st.
|
82 |
|
83 |
# Initialize chat history
|
84 |
if "messages" not in st.session_state:
|
@@ -102,11 +102,10 @@ if prompt := st.chat_input("Skriv din fråga..."):
|
|
102 |
namespace="ns-parent-balk",
|
103 |
)
|
104 |
llmprompt = (
|
105 |
-
"
|
106 |
-
+ prompt
|
107 |
-
+ "\n"
|
108 |
-
+ "Använd följande text som referens när du besvarar frågan och hänvisa fakta i texten: \n"
|
109 |
+ query
|
|
|
|
|
110 |
)
|
111 |
llmprompt = generate_prompt(llmprompt=llmprompt)
|
112 |
|
|
|
10 |
warnings.filterwarnings("ignore", category=UserWarning)
|
11 |
|
12 |
# model_name = "AI-Sweden-Models/gpt-sw3-126m-instruct"
|
13 |
+
model_name = "AI-Sweden-Models/gpt-sw3-356m-instruct"
|
14 |
|
15 |
|
16 |
device = "cuda:0" if torch.cuda.is_available() else "cpu"
|
|
|
78 |
stop_on_token_criteria = StopOnTokenCriteria(stop_token_id=tokenizer.bos_token_id)
|
79 |
|
80 |
st.title("Paralegal Assistant")
|
81 |
+
st.caption("RAG: föräldrabalken")
|
82 |
|
83 |
# Initialize chat history
|
84 |
if "messages" not in st.session_state:
|
|
|
102 |
namespace="ns-parent-balk",
|
103 |
)
|
104 |
llmprompt = (
|
105 |
+
"Följande stycke är en del av lagen: "
|
|
|
|
|
|
|
106 |
+ query
|
107 |
+
+"Referera till lagen och besvara följande fråga på ett sakligt, kortfattat och formellt vis: "
|
108 |
+
+ prompt
|
109 |
)
|
110 |
llmprompt = generate_prompt(llmprompt=llmprompt)
|
111 |
|