Безумие создавать искусство с помощью искусственного интеллекта, генерирующего текст в изображение

Создание искусства с использованием искусственного интеллекта не ново. Это так же старо, как и сам ИИ.

Что нового, так это то, что волна инструментов теперь позволяет большинству людей генерировать изображения, вводя текстовое приглашение. Все, что вам нужно сделать, это написать «пейзаж в стиле Ван Гога» в текстовом поле, и ИИ сможет создать красивое изображение в соответствии с инструкциями.

Сила этой технологии заключается в ее способности использовать человеческий язык контролировать генерацию искусства. Но точно ли эти системы переводят художниквидение? Может ли использование языка в искусстве действительно привести к художественным прорывам?

Технические результаты

Я работал с генеративным ИИ как художник и ученый-компьютерщик в течение многих лет, и я бы сказал, что этот новый тип инструмента ограничивает творческий процесс.

Когда вы пишете текстовое приглашение для создания изображения с помощью ИИ, возможности безграничны. Если вы случайный пользователь, вы можете быть довольны тем, что ИИ генерирует для вас. И стартапы и инвесторы влили миллиарды в эту технологию, рассматривая ее как простой способ создания графики для статей, персонажей видеоигр и рекламы.

Напротив, художнику, возможно, потребуется написать эссе-подсказку, чтобы создать высококачественное изображение, отражающее его видение — с правильной композицией, правильным освещением и правильным затенением. Эта длинная подсказка не обязательно описывает изображение, но обычно использует множество ключевых слов, чтобы вызвать систему того, что у художника в голове. Для этого есть относительно новый термин: быстрый инжиниринг.

По сути, роль художника, использующего эти инструменты, сводится к реинжинирингу системы, чтобы найти правильные ключевые слова, чтобы заставить систему генерировать желаемый результат. Требуется много усилий, много проб и ошибок, чтобы подобрать нужные слова.

ИИ не так умен, как кажется

Чтобы научиться лучше контролировать выходные данные, важно понимать, что большинство этих систем обучаются на изображениях и подписях из Интернета.

Подумайте о том, что типичная подпись к изображению говорит об изображении. Подписи обычно пишутся, чтобы дополнить визуальный опыт при просмотре веб-страниц.

Например, подпись может содержать имя фотографа и правообладателя. На некоторых веб-сайтах, таких как Flickr, подпись обычно описывает тип используемой камеры и объектива. На других сайтах заголовок описывает графический движок и аппаратное обеспечение, используемое для рендеринга изображения.

Таким образом, чтобы написать полезную текстовую подсказку, пользователям необходимо вставить множество неописательных ключевых слов, чтобы система ИИ создала соответствующее изображение.

Современные системы искусственного интеллекта не так умны, как кажутся; по сути, это интеллектуальные поисковые системы, обладающие огромной памятью и работающие по ассоциации.

Художники разочарованы отсутствием контроля

Действительно ли это тот инструмент, который может помочь художникам создавать отличные работы?

В Playform AI, генеративной арт-платформе искусственного интеллекта, которую я основал, мы провел опрос чтобы лучше понять опыт художников с генеративным ИИ. Мы собрали ответы от более чем 500 цифровых художников, традиционных художников, фотографов, иллюстраторов и графические дизайнеры которые использовали такие платформы, как DALL-E, Stable Diffusion и Midjourney, среди прочих.

Только 46% респондентов сочли такие инструменты «очень полезными», а 32% сочли их несколько полезными, но не смогли интегрировать в свой рабочий процесс. Остальным пользователям — 22% — они вообще не пригодились.

Основным ограничением, на которое обращали внимание художники и дизайнеры, было отсутствие контроля. По шкале от 0 до 10, где 10 соответствует наибольшему контролю, респонденты описали свою способность контролировать результат в диапазоне от 4 до 5. Половина респондентов сочли результаты интересными, но недостаточно высокого качества для использования в своей практике.

Когда дело дошло до убеждений о том, повлияет ли генеративный ИИ на их практику, 90% опрошенных художников думали, что да; 46% полагали, что эффект будет положительным, а 7% прогнозировали, что он будет иметь отрицательный эффект. И 37% думали, что это повлияет на их практику, но не знали, каким образом.

Лучшее изобразительное искусство выходит за рамки языка

Являются ли эти ограничения фундаментальными или они просто исчезнут по мере совершенствования технологии?

Конечно, более новые версии генеративного ИИ дадут пользователям больше контроля над выходными данными, а также более высокое разрешение и лучшее качество изображения.

Но для меня главное ограничение, связанное с искусством, фундаментальное: это процесс использования языка в качестве основного двигателя при создании изображения.

Визуальные художники по определению визуальные мыслители. Когда они представляют свою работу, они обычно опираются на визуальные ориентиры, а не на слова — память, коллекцию фотографий или другое искусство, с которым они столкнулись.

Когда язык находится у руля создания изображений, я вижу дополнительный барьер между художником и цифровым холстом. Пиксели будут отображаться только через призму языка. Художники теряют свободу манипулирования пикселями вне границ семантики.

Есть еще одно фундаментальное ограничение в технологии преобразования текста в изображение.

Если два художника вводят одно и то же приглашение, маловероятно, что система сгенерирует одно и то же изображение. Это не из-за того, что художник сделал; разные результаты просто из-за ИИ начиная с разных случайных исходных изображений.

Другими словами, творчество художника сводится к случайности.

Почти две трети опрошенных художников были обеспокоены тем, что их поколения ИИ могут быть похожи на работы других художников и что технология не отражает их идентичность или даже полностью ее заменяет.

Вопрос идентичности художника имеет решающее значение, когда речь идет о создании и признании искусства. В 19 веке, когда фотография стала популярной, велись споры о том, является ли фотография формой искусства. Дело дошло до судебного разбирательства во Франции в 1861 году, чтобы решить, может ли фотография быть защищена авторским правом как вид искусства. Решение зависело от того, может ли уникальная личность художника быть выражена с помощью фотографий.

Те же вопросы возникают при рассмотрении систем искусственного интеллекта, которые обучаются с помощью существующих изображений в Интернете.

До появления подсказок «текст-изображение» создание произведений искусства с помощью ИИ было более сложным процессом: художники обычно обучали свои собственные модели ИИ на основе собственных изображений. Это позволило им использовать свои собственные работы в качестве визуальных ориентиров и сохранить больший контроль над выходными данными, что лучше отражало их уникальный стиль.

Инструменты преобразования текста в изображение могут быть полезны для некоторых создателей и обычных пользователей, которые хотят создавать графику для рабочей презентации или публикации в социальных сетях.

Но когда дело доходит до искусства, я не понимаю, как программное обеспечение для преобразования текста в изображение может адекватно отражать истинные намерения художника или улавливать красоту и эмоциональный резонанс или произведения, которые захватывают зрителей и заставляют их по-новому взглянуть на мир.

Эта статья переиздана с Разговор под лицензией Creative Commons. Читать оригинальная статья.