Mori-kamiyama commited on
Commit
db134f6
·
1 Parent(s): d386ade

Add application file

Browse files
Files changed (1) hide show
  1. app.py +5 -6
app.py CHANGED
@@ -1,16 +1,15 @@
1
  import gradio as gr
2
- from transformers import pipeline
3
 
4
- # GPU で動作するモデルのロード(自動でGPUがあれば使用)
5
- generator = pipeline("text-generation", model="google/gemma-3-4b-it")
6
 
7
  def generate_text(prompt):
8
- result = generator(prompt, max_length=100, num_return_sequences=1)
9
- return result[0]["generated_text"]
10
 
11
  iface = gr.Interface(fn=generate_text,
12
  inputs="text",
13
  outputs="text",
14
- title="Text Generator using gemma-3-4b-it")
15
 
16
  iface.launch()
 
1
  import gradio as gr
2
+ from llama_cpp import Llama
3
 
4
+ # gguf形式のモデルファイルのパスを指定してロード
5
+ llm = Llama(model_path="Mori-kamiyama/sarashina2-13b-r1/unsloth.Q8_0.gguf")
6
 
7
  def generate_text(prompt):
8
+ return llm(prompt)
 
9
 
10
  iface = gr.Interface(fn=generate_text,
11
  inputs="text",
12
  outputs="text",
13
+ title="GGUFモデルテキストジェネレーター")
14
 
15
  iface.launch()