license: apache-2.0 | |
language: | |
- ja | |
- en | |
tags: | |
- casual-lm | |
- japanese | |
cyberagent/calm3-22b-chat : https://huggingface.co/cyberagent/calm3-22b-chat | |
上記モデルをexllamav2の4.5bitで量子化したものです。 | |
キャリブレーションデータは不使用。 | |
RTX3090にて、量子化+保存、約3時間ほどで作成できました。 | |
出力されたsafetensorファイルのファイル名を修正したのみで、基本コマンドのまま実行しました。 | |
output-00001-of-00002.safetensors → model-00001-of-00002.safetensors | |
初量子化なので、正しいかは分かりません。 | |
text-generation-webuiでは、ParetersのInstruction templateをChatMLでLoadし、 | |
ChatをModeをinstructにして動作確認しております。 |