Наука & Практика

Обзор нескольких работ по прунингу: разбираемся, как ускорять нейросети без просадки качества.

Реконструкция и генерация 3D-сцен являются фундаментальной задачей на стыке компьютерного зрения и графики, которая открывает двери для многих технологий нового поколения. Например, архитектурные бюро и риэлторы могут создавать фотореалистичные цифровые двойники зданий, позволяя клиентам изучить в деталях еще не существующее помещение. Разработчики игр и VR-приложений получают возможность крайне быстро переносить реальные объекты в виртуальный мир, экономя сотни часов работы 3D-художников.

Когда речь заходит об эффективном дообучении нейросетей, адаптеры LoRA остаются одним из самых практичных подходов. Это особенно важно для предельно популярных в последние годы LLM: полное дообучение больших моделей требует значительных вычислительных ресурсов, памяти и объема данных, тогда как LoRA позволяет адаптировать модель существенно проще и дешевле. Таким образом, с распространением Instruct-моделей часто в тени остается еще одно преимущество LoRA: возможность быстро переключаться между адаптерами под разные задачи. Ниже рассмотрим, как можно не только заменять адаптеры LoRA, но и комбинировать их для решения смежных задач.