| language: code | |
| license: apache-2.0 | |
| base_model: Qwen/Qwen2.5-Coder-0.5B-Instruct | |
| tags: | |
| - lora | |
| - peft | |
| - safecoder | |
| - code-generation | |
| - code-security | |
| # SafeCoder LoRA Adapter | |
| 这是一个使用LoRA方法微调的代码安全模型适配器。 | |
| ## 模型描述 | |
| 该模型是基于Qwen2.5-Coder-0.5B-Instruct使用LoRA方法微调的安全代码生成适配器，用于生成更安全的代码。 | |
| ## 使用 | |
| ```python | |
| from transformers import AutoModelForCausalLM, AutoTokenizer | |
| from peft import PeftModel | |
| # 加载tokenizer | |
| tokenizer = AutoTokenizer.from_pretrained("模型仓库路径") | |
| # 加载基础模型 | |
| base_model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2.5-Coder-0.5B-Instruct", trust_remote_code=True) | |
| # 调整基础模型词表大小 | |
| base_model.resize_token_embeddings(len(tokenizer)) | |
| # 加载LoRA适配器 | |
| model = PeftModel.from_pretrained(base_model, "模型仓库路径") | |
| # 模型推理 | |
| inputs = tokenizer("def hello_world():", return_tensors="pt") | |
| outputs = model.generate(**inputs, max_length=50) | |
| print(tokenizer.decode(outputs[0], skip_special_tokens=True)) | |
| ``` | |