Dockerfile

FROM ubuntu:22.04

# Cài đặt công cụ, thư viện và Python
RUN apt-get update && apt-get install -y \
    unzip wget curl libgcc-s1 libstdc++6 libgomp1 python3 python3-pip \
    && rm -rf /var/lib/apt/lists/*

WORKDIR /app

# Sao chép và giải nén binary
COPY llama_bin.zip /app/llama_bin.zip
RUN unzip llama_bin.zip && rm llama_bin.zip && chmod +x bin/*

ENV LD_LIBRARY_PATH=/app/bin:$LD_LIBRARY_PATH

# Tải mô hình
RUN mkdir -p /models && \
    wget -O /models/qwen2.5-0.5b-instruct-q5_k_m.gguf https://huggingface.co/Qwen/Qwen2.5-0.5B-Instruct-GGUF/resolve/main/qwen2.5-0.5b-instruct-q5_k_m.gguf && \
    chmod -R 777 /models

# Cài Gradio
RUN pip3 install gradio requests

# Sao chép app.py
COPY app.py /app/app.py

# Dùng cổng 3000 cho Spaces
EXPOSE 3000

# Chạy llama-server trên cổng 8000 và Gradio trên 3000
CMD ["sh", "-c", "./bin/llama-server -m /models/qwen2.5-0.5b-instruct-q5_k_m.gguf --host 0.0.0.0 --port 8000 & sleep 5 && python3 /app/app.py"]