Метод «Learn-to-Steer» улучшает способность ИИ понимать пространственные инструкции

Исследователи из факультета компьютерных наук Университета Бар-Илан и исследовательского центра искусственного интеллекта NVIDIA в Израиле разработали новый метод, который значительно улучшает понимание моделями искусственного интеллекта пространственных инструкций при создании изображений — без переобучения или модификации самих моделей. Системы генерации изображений часто не справляются с простыми подсказками, такими как «кот под столом» или «стул справа от стола», часто неправильно размещая объекты или вообще игнорируя пространственные отношения. Исследовательская группа Бар-Илана представила креативное решение, которое позволяет моделям ИИ более точно следовать таким инструкциям в режиме реального времени.

Новый метод, получивший название «Learn-to-Steer», работает путем анализа внутренних моделей внимания модели генерации изображений, эффективно предлагая понимание того, как модель организует объекты в пространстве. Затем легкий классификатор тонко управляет внутренними процессами модели во время создания изображения, помогая более точно размещать объекты в соответствии с инструкциями пользователя. Этот подход можно применить к любой существующей обученной модели, устраняя необходимость дорогостоящего переобучения.

Результаты показывают существенный прирост производительности. В модели Stable Diffusion SD2.1 точность понимания пространственных взаимоотношений увеличилась с 7% до 54%. В модели Flux.1 показатели успеха увеличились с 20% до 61% без какого-либо негативного влияния на общие возможности модели.

«Современные модели генерации изображений могут создавать потрясающие визуальные эффекты, но им все еще не хватает базового пространственного понимания», — сказал профессор Гал Чечик с факультета компьютерных наук Университета Бар-Илан и NVIDIA. «Наш метод помогает моделям более точно следовать пространственным инструкциям, сохраняя при этом их общую производительность».

Сапир Йифлак, ведущий исследователь и соавтор исследования вместе с профессором Чечиком и доктором Ювалем Ацмоном из NVIDIA, объяснил: «Вместо того, чтобы предполагать, что мы знаем, как модель должна думать, мы позволили ей учить нас. Это позволило нам вести ее рассуждения в реальном времени, по сути считывая и управляя образами мышления модели для получения более точных результатов».

Результаты открывают новые возможности для улучшения управляемости и надежности визуального контента, генерируемого ИИ, с потенциальным применением в дизайне, образовании, развлечениях и взаимодействии человека с компьютером.

Исследование будет представлено в марте на ВАКВ 2026 Конференция в Тусоне, Аризона. Бумага также доступный на arXiv сервер препринтов.