dahara1/gemma-3-12b-it-qat-japanese-imatrix

google/gemma-3-12b-it-qat-q4_0-unquantizedを日本語が多く含まれるimatrixを使って量子化したモデルです
This is a model that quantizes google/gemma-3-12b-it-qat-q4_0-unquantized using an imatrix that contains a lot of Japanese..
https://huggingface.co/dahara1/imatrix-jpn-test).

最新のllama.cppを使って動かしてください。
Please use the latest llama.cpp.

llama-mtmd-cliコマンドとmmproj.ggufファイルを使うと画像を読みこむ事ができます
You can use llama-mtmd-cli for image reading.

llama-mtmd-cli -m gemma-3-4b-it-qat-q4_0-japanese-imatrix-Q4_K_L.gguf --mmproj mmproj.gguf --image ./test.png -p "この画像はなんですか？(What is this image?)"