waowao/bitnet-jacommon-sense-qa-lora

Model Card for Model ID

---

library_name: transformers license: cc-by-sa-4.0 datasets: - sbintuitions/JCommonsenseQA language: - ja base_model: - microsoft/bitnet-b1.58-2B-4T-bf16

Model Details

microsoftのbitnet-b1をJCommonsenseQAでLoRAチューニングしたものです。未コンパイルなので、bf16のまま動作しています。

Test

messages = [ {"role": "system", "content": "You are a helpful AI assistant."}, {"role": "user", "content": "主に子ども向けのもので、イラストのついた物語が書かれているものは？"}, ]

Before Tuning

この質問は、英文の言語で="In the end, it is stories about children that make me write manga."と言えます。

After Tuning

0 den ishani, SHAKA, SU, OC, ANIMAL, MUSEUM, ANIMAL, ANIMAL, ANIMAL, ANIMAL, ANIMAL, ANIMAL, ANIMAL, ANIMAL, ANIMAL, ANIMAL, ANIMAL, ANIMAL, ANIMAL, ANIMAL, ANIMAL, ANIMAL, ANIMAL, ANIMAL, ANIMAL, ANIMAL, ANIMAL, ANIMAL, ANIMAL, ANIMAL, ANIMAL, ANIMAL, ANIMAL, ANIMAL, ANIMAL, ANIMAL INTO, ANIMAL, ANIMAL, ANIMAL, ANIMAL, ANIMAL, ANIMAL, ANIMAL, ANIMAL, ANIMAL, ANIMAL, ANIMAL, ANIMAL, ANIMAL, ANIMAL, ANIMAL, ANIMAL, ANIMAL, ANIMAL, ANIMAL, ANIMAL, ANIMAL, ANIMAL, ANIMAL, ANIMAL, ANIMAL, ANIMAL, ANIMAL, ANIMAL, ANIMAL, ANIMAL, ANIMAL, ANIMAL, ANIMAL, ANIMAL, ANIMAL, ANIMAL, ANIMAL, ANIMAL, ANIMAL, ANIMAL, ANIMAL, ANIMAL, ANIMAL, ANIMAL ANIMAL, ANIMAL, ANIMAL, ANIMAL

Result

チューニングが甘かったため、むしろ言語能力が下がってしまいました。