download Llama2 from download.llamameta.net to windows11 - end0tknr's kipple - web写経開発

先日の上記entrの関連です。

GGML形式のLlama2ファイルは、 TheBlokeさんが、Hugging Face で提供していました。

参考urlによれば、 「Q4_K_M」「Q5_K_M」「Q5_K_S」が推奨らしいので、 llama-2-70b-chat.ggmlv3.q4_K_M.bin (38GB)をダウンロードしておきました。

参考url

• TheBloke/Llama-2-70B-Chat-GGML at main
• Llama.cpp で Llama 2 を試す｜npaka
• Difference in different quantization methods · ggerganov/llama.cpp · Discussion #2094 · GitHub

TheBloke / Llama-2-70B-Chat-GGML @ Hugging Face

https://huggingface.co/TheBloke/Llama-2-70B-Chat-GGML/tree/main