Персонал.

ПерсонажНекоторые из его исследований по продуктивному видео общий И он разработал новую модель диффузии авторитета под названием TalkingCachines, которая может создать реальное время, ориентированное на звуковое видео с персонажами искусственного интеллекта из изображения и звукового сигнала. При этом компания подходит к визуальному взаимодействию FaceTime с персонажами искусственного интеллекта.

Давайте подчеркнем, что эта модель все еще находится в процессе исследования. Хотя есть исследовательская статья и видео демо, еще невозможно использовать их в приложении Permance.ai. Если это отражено в приложении Permance.ai, пользователи позволят им участвовать в более захватывающих роли играх с искусственным интеллектом, участвовать в интерактивном повествовании и создании визуального мира.

Новая модель TalkingCachines была построена на технологии диффузионного трансформатора (DĖT), художнику, который может создавать подробные изображения из случайного шума и исцелять изображение, пока не станет идеальным. Какой персонаж .ai делает, чтобы он работал невероятно быстро и, таким образом, заставляет его чувствовать себя реальным временем.

Чтобы реализовать свои прорывы, TalkingCachines использует несколько основных методов, таких как потоковая совпадающая диффузия, звуковое кросс -внимание, редкое причинно -следственное внимание и асимметричная дистилляция.

Диффузия сопоставления потока обучается многим движениям от тонких выражений лица до более драматических жестов. Это помогает гарантировать, что персонажи искусственного интеллекта движутся более естественно. Захватывающая работа обеспечивается звукозащитным привязанностью к перекрестке, которое позволяет искусственному интеллекту понимать не только слышать слова, но и понимать ритм, паузу и интонации в звуке, а затем превращать их в чувствительные движения рта, дрожь головы и мигание глаза. С разреженным причинным вниманием персонаж. AI может обрабатывать рамы видео гораздо более затратным способом, и видео могут создаваться в режиме реального времени с асимметричной дистилляцией.

Характер. Он говорит, что это шаг к интерактивным персонажам искусственного интеллекта визуального работника, где вы можете взаимодействовать в режиме реального времени. Модель поддерживает широкий спектр стилей, в том числе фотогеристских людей, аниме и 3D -аватаров, и обеспечивает поток с естественными этапами прослушивания и разговора.

Характер. Вы можете получить доступ к примерам модели на этом адресе.