llama-7b-relu.powerinfer.gguf 进行 q8_0 量化后推理结果全是### #233
Description
我下载了 llama-7b-relu.powerinfer.gguf 模型，并分别进行了 q8_0 和 q4_0 量化，结果 q8_0 的推理结果全是###，而 q4_0 的结果正常，请问这是什么原因啊？
q8_0 量化：
q4_0 量化：
{{ message }}
我下载了 llama-7b-relu.powerinfer.gguf 模型，并分别进行了 q8_0 和 q4_0 量化，结果 q8_0 的推理结果全是###，而 q4_0 的结果正常，请问这是什么原因啊？
q8_0 量化：
q4_0 量化：