Проверил, можно ли разгрузить Hermes Agent с помощью локальных LLM на домашнем ПК с RTX 3080 и 32 ГБ RAM. Сравнил Qwen и GLM на архитектурных задачах, редактуре и извлечении данных, испытал разные квантования и подключил Hermes на Mac к модели на Windows. В статье — условия испытаний, замеры…
Лимиты ChatGPT и локальные LLM: мой эксперимент с Hermes Agent
Это краткое изложение. Полный текст материала доступен на сайте источника.