При LoRA‑дообучении адаптеры обычно применяются ко всем слоям модели, хотя активность разных слоев во время обработки промпта заметно различается. Возникает вопрос: можно ли выбрать более «умные», активные слои для конкретной темы и получить прирост качества? Проверил гипотезу на Qwen3-1.7B…
Проверка теории улучшения результата LoRA файн‑тюнинга на «умных» слоях
Это краткое изложение. Полный текст материала доступен на сайте источника.