Не все модели существуют в готовом .gguf -формате. Иногда нужна модель, которую сообщество ещё не квантовало, или хочется получить конкретный квант ( Q4_K_M , Q5_K_M , Q8_0 ), которого нет в готовых сборках. В таких случаях её нужно сконвертировать самостоятельно : из «сырых» весов Hugging Face (…