Modelfile

FROM phi4-deepseek-r1-q8_0.gguf

# Stop generation when this token is seen
PARAMETER stop <|endoftext|>
PARAMETER stop <|im_start|>
PARAMETER stop "<|im_end|>"
PARAMETER stop "<|im_sep|>"

# Decoding params from testing
PARAMETER num_ctx 16384
PARAMETER temperature 0.6
PARAMETER repeat_penalty 1.2
PARAMETER repeat_last_n 512
PARAMETER top_p 0.95
PARAMETER top_k 40
PARAMETER min_p 0.1
PARAMETER seed 42
PARAMETER num_predict 6144

# Chat template matching HF tokenizer template
TEMPLATE """
{{- range .Messages }}
<|im_start|>{{ .Role }}<|im_sep|>
{{ .Content }}{{ if eq .Role "assistant" }}<|endoftext|>{{ else }}<|im_end|>{{ end }}
{{- end }}
<|im_start|>assistant<|im_sep|>
"""