app.py

import gradio as gr
from transformers import pipeline
import os

theme = "darkgrass"
title = "GPT-NeoX(Korean) Demo"
model_name = "EleutherAI/gpt-neox-ko-1.3b"

description = "GPT-NeoX 한국어 모델을 시연하는 데모페이지 입니다."
# article = "<p style='text-align: center'><a href='https://github.com/kingoflolz/mesh-transformer-jax' target='_blank'>GPT-J-6B: A 6 Billion Parameter Autoregressive Language Model</a></p>"
examples = [
    ["인간처럼 생각하고, 행동하는 '지능'을 통해"],
    ["질문: 한가위를 가장 의미있게 보낼수 있는 방법은 무엇일까요? \n답변:"],
    ["2040년 미국은, "]
]

pipe = pipeline('text-generation', model=model_name, use_auth_token=os.environ['TOKEN'])

def predict(text):
  return pipe(text, do_sample=True, return_full_text=False, max_length=100)[0]['generated_text']

iface = gr.Interface(
  fn=predict, 
  inputs='text',
  outputs='text',
  examples=examples
)

iface.launch()





  
# print(generated)  # print: 인간처럼 생각하고, 행동하는 '지능'을 통해 인류가 이제까지 풀지 못했던 문제의 해답을 찾을 수 있을 것이다. 과학기술이 고도로 발달한 21세기를 살아갈 우리 아이들에게 가장 필요한 것은 사고력 훈련이다. 사고력 훈련을 통해, 세상