Quantization made by Richard Erkhov. Github Discord Request more models Meta Llama 3 8B GGUF Model creator: https://huggingface.co/meta llama/ Original model: https://huggingface.co/meta llama/Meta Llama 3 8B/ Name Quant method Size Meta Llama 3 8B.Q2 K.gguf Q2 K 2.96GB Meta Llama 3 8B.IQ3 XS.gguf IQ3 XS 3.28GB Meta Llama 3 8B.IQ3 S.gguf IQ3 S 3.43GB Meta Llama 3 8B.Q3 K S.gguf Q3 K S 3.41GB Meta Llama 3 8B.IQ3 M.gguf IQ3 M 3.52GB Meta Llama 3 8B.Q3 K.gguf Q3 K 3.74GB Meta Llama 3 8B.Q3 K M.gguf Q3 K M 3.74GB Meta Llama 3 8B.Q3 K L.gguf Q3 K L 4.03GB Meta Llama 3 8B.IQ4 XS.gguf IQ4 XS 4.18GB Meta Llama 3 8B.Q4 0.gguf Q4 0 4.34GB Meta Llama 3 8B.IQ4 NL.gguf IQ4 NL 4.38GB Meta Llama 3 8B.Q4 K S.gguf Q4 K S 4.37GB Meta Llama 3 8B.Q4 K.gguf Q4 K 4.58GB Meta Llama 3 8B.Q4 K M.gguf Q4 K M 4.58GB Meta Llama 3 8B.Q4 1.gguf Q4 1 4.78GB Meta Llama 3 8B.Q5 0.gguf Q5 0 5.21GB Meta Llama 3 8B.Q5 K S.gguf Q5 K S 5.21GB Meta Llama 3 8B.Q5 K.gguf Q5 K 5.34GB Meta Llama 3 8B.Q5 K M.gguf Q5 K M 5.34GB Meta Llama 3 8B.Q5 1.gguf Q5 1 5.65GB Meta Llama 3 8B.Q6 K.gguf Q6 K 6.14GB Original model description: language: en pipeline tag: text generation tags: facebook meta pytorch llama llama 3 license: oth…
We use cookies for essential functionality and analytics. You can accept or reject analytics cookies.Cookie policy