Hugging Face's logo

Spaces:
audioer
/
LLM_demo
Build error

App Files Community
LLM_demo
File size: 4,207 Bytes 
49e5e54
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
 
from pathlib import Path
import os

DEFAULT_MODEL_NAME = "qwen2.5:32b-instruct"
DEFAULT_MODE = "角色扮演"
DEFAULT_C_SETTING_MODE = "by system"
DEFAULT_COSPLAY_SETTING = 'rag/characters/周杰伦.txt'
AVALIABLE_MODELS = [
    "deepseek-r1:7b",
    "deepseek-r1:14b",
    "deepseek-r1:32b",
    "qwq",
    "qwen2.5:0.5b-instruct",
    "qwen2.5:0.5b",
    # "qwen:1.8b",
    # "qwen2.5:7b",
    # "qwen2.5:14b",
    "qwen2.5:32b",
    "qwen2.5:32b-instruct",
    "qwen7B_jaychou_f16",
    "qwen0.5B_jaychou13",
    "qwen2.5:14b-instruct",
    "qwen2.5:7b-instruct",
    "qwen2.5:3b-instruct",
    "qwen14B_jaychou_q8_newdata_add_template",
    "qwen2.5_32B_jaychou",
    "qwen2.5_0.5B_jaychou_lora",
    # "qwen2.5_32B_jaychou_tq1"
    "qwen3:4b",
    "qwen3:8b",
    "qwen3:14b",
    "qwen3:32b",
    "qwen3:30b-a3b"
]
BASE_MODEL_TABLE = {"qwen7B_jaychou_f16": "qwen2.5:7b-instruct", "qwen0.5B_jaychou13": "qwen2.5:0.5b-instruct",
                    "qwen14B_jaychou_q8_newdata_add_template": "qwen2.5:14b-instruct",
                    "qwen2.5_32B_jaychou": "qwen2.5:32b-instruct",
                    "qwen2.5_0.5B_jaychou_lora": "qwen2.5:0.5b-instruct",
                    # "qwen2.5_32B_jaychou_tq1": "qwen2.5:32b-instruct"
                    }

AVALIABLE_KNOWLEDGE_BASE = [
    "rag/kb/BIGOLIVE及公司介绍",
    "rag/kb/主播A的直播间对话数据",
    "rag/kb/周杰伦",
    "rag/kb/狼人杀"
]
SUPPORT_MODES = [
    "角色扮演",
    "普通模式",
]
CHARACTER_SETTING_MODES = [
    "by system",
    "by prompt"
]

EXAMPLES_changkong = [
    """
    [0:00:00]:[0:00:04]	對呀 我肯定沒有回
    [0:00:04]:[0:00:08]	真的 今天我兒時頭 我感覺頭髮摘
    [0:00:08]:[0:00:10]	而且我的頭髮越來越爽了
    [0:00:10]:[0:00:13]	我頭髮越來越爽了
    [0:00:13]:[0:00:15]	真的越來越少
    [0:00:15]:[0:00:17]	好煩呀 我經常脫頭髮
    """,
    """
    [0:01:44]:[0:01:46]	我咋覺得這個茶克斯那麼熟呢
    [0:01:47]:[0:01:49]	哦 我想起來了
    【观众536644926】
    好像看过

    [0:01:50]:[0:01:51]	上次跟我一起打BK那個
    [0:01:52]:[0:01:53]	對面的那個
    【观众1887407561】
    嗨😂

    [0:01:54]:[0:01:55]	是不是你
    [0:01:55]:[0:01:56]	肯定是
    [0:01:57]:[0:01:58]	我有點想起來了
    [0:01:59]:[0:02:00]	因為他們老是在叫妳的名字
    [0:02:01]:[0:02:02]	好像看過
    [0:02:03]:[0:02:04]	哪一把BK來的
    [0:02:08]:[0:02:10]	嗨 我記得你了
    [0:02:11]:[0:02:12]	那個 讓我
    [0:02:13]:[0:02:14]	讓我 讓我 讓我
    [0:02:14]:[0:02:15]	做那個懲罰
    [0:02:15]:[0:02:17]	你知道嗎 我差點進去醫院了
    """,
    
]
EXAMPLES_zhubo_clone = ["""最近好烦啊"""]
EXAMPLES_langren = ["""玩家角色分配为一个预言家，一个女巫，一个猎人，三个平民，三个狼人。游戏开始，请开始主持。"""]
EXAMPLES_jaychou_clone = [
                """你是谁？""", 
                """不忙的时候你会做些什么？""",
                """你创作《素颜》这首歌的时候，背后有什么故事吗；这首歌里面有哪句歌词是你特别喜欢的""",
                """你的香味一直徘徊,比我知道,秘密躺在我怀抱,还有没有人知道。 这是你的哪首歌？""",
                ]
EXAMPLES = EXAMPLES_jaychou_clone
# 本地RAG
RAG_TOP_K = 5

# 联网
MAX_RESULTS= 3

# 目录信息
BASE_DIR = Path("demo_dir")
TEMP_DIR = BASE_DIR / "tmp"
USER_DIR = BASE_DIR / "user"
TEMP_DIR.mkdir(parents=True, exist_ok=True)
USER_DIR.mkdir(parents=True, exist_ok=True)
os.environ['GRADIO_TEMP_DIR'] = str(TEMP_DIR)

CSS = """
.rag-details:not([open]) > div { 
    display: none !important;  /* 强制折叠状态 */
    white-space: pre-wrap;     /* 保留换行符 */
}
.rag-details[open] summary::after {
    content: "▼";
    float: right;
}
"""

# LLM最大上下文长度
MAX_MODEL_CTX = 32768

# 知识库embedding模型
AVALIABLE_EMBEDDING_MODELS = [
    "BAAI/bge-large-zh-v1.5",
    "sentence-transformers/all-MiniLM-L12-v2",
    "sentence-transformers/all-MiniLM-L6-v2",
    "jinaai/jina-embeddings-v2-base-zh",
]
DEFAULT_EMBEDDING_MODEL = "BAAI/bge-large-zh-v1.5"