Подход искусственного интеллекта для 3D-анимации персонажей на основе одного изображения с сохраненными пропорциями.

В Материалы конференции SIGGRAPH Asia 2025, Исследовательская группа, связанная с UNIST, сообщает о новой технологии искусственного интеллекта, которая может анимировать 3D-персонажей, имитируя точные движения, показанные в одном 2D-изображении, сохраняя при этом естественные пропорции и избегая искажений. Эта разработка может снизить барьеры на пути создания 3D-контента для метавселенной, анимации и игровой индустрии.

Под руководством профессора Кьюнгдон Джу из Высшей школы искусственного интеллекта UNIST команда создала DeformSplat — инновационную систему искусственного интеллекта, которая корректирует позы 3D-персонажей, созданных с помощью гауссовского моделирования, сохраняя их форму и реализм даже при просмотре под разными углами.

3D Gaussian Splatting — это метод, который реконструирует 3D-объекты из 2D-изображений, обеспечивая реалистичный рендеринг моделей из плоских фотографий. Однако для анимации этих моделей, например, в мультфильмах или видеоиграх, традиционно требовалось несколько изображений или видеозаписей, снятых под разными углами. Без таких данных модели часто деформируются неестественно, конечности странно сгибаются или растягиваются нереалистично.

DeformSplat позволяет анимировать трехмерного персонажа, используя всего одну фотографию. В тестах анимированные персонажи сохраняли свои пропорции и форму с разных точек зрения — сбоку, сзади или спереди — без каких-либо заметных искажений. Например, когда вводится поза, в которой персонаж поднимает руку, ИИ точно воспроизводит это движение, независимо от угла обзора.

Это стало возможным благодаря двум основным технологическим инновациям. Во-первых, «Сопоставление Гаусса с пикселями» связывает 3D-гауссовы точки модели с 2D-пикселями фотографии, позволяя системе передавать информацию о позе непосредственно в 3D-модель. Во-вторых, «жесткая сегментация частей» автоматически идентифицирует и группирует жесткие области — например, конечности или туловище — гарантируя, что эти части двигаются естественно, не сгибаясь и не растягиваясь неестественно во время анимации.

Вместе эти методы позволяют реалистично и без искажений перемещать трехмерных персонажей на основе всего лишь одной фотографии.

Профессор Джу объяснил: «Предыдущие методы не позволяли анимировать трехмерные объекты из одного изображения без искажений. Наш подход учитывает структурные свойства объектов, выделяя жесткие области и генерируя реалистичные движения».

Он добавил: «Эта работа представляет собой значительный шаг к тому, чтобы сделать создание 3D-контента проще, быстрее и доступнее, особенно для таких отраслей, как игры и анимация».