Ошибки нейросети картинки

Бум нейросетей — тренд последних лет, который набрал обороты в конце 2022 года. Искусственный интеллект (ИИ) стал доступен широкому кругу пользователей как возможность генерировать уникальные изображения и иллюстрировать самые безумные фантазии, так что в интернете уже поговаривают о том, что профессия дизайнера изжила себя, ведь технология уже рисует лучше и быстрее. При этом есть несколько проблем, которые создателям нейросетей ещё не удалось решить до конца — Sostav рассказал о них в своём материале.

Безумные руки

Главная причина, по которой пользователи критикуют нейросети, — это неумение рисовать руки. ИИ не усваивает форму человеческой кисти и добавляет лишние пальцы или, наоборот, рисует «лапки динозавра», а также в целом искажает конечности. Иногда нейросети даже дорисовывают лишнюю руку или ногу целиком. Причём стиль рисовки здесь не имеет значения: безумные руки можно увидеть и у реалистичных изображений, и у «мультяшных».

Дело в том, что ИИ не осмысливает референсы с точки зрения анатомии и восприятия человека. Кроме того, на многих исходниках кисти рук показаны с разных ракурсов, так что видно разное количество пальцев — а когда предметов много, но неясного количества, машина выдаёт случайный результат.

Плохо нарисованным рукам посвящено множество мемов в интернете. Пользователи создают целые профили и сообщества, в которых публикуют странное творчество ИИ.

Хотя за последнее время нейросети натренировались рисовать достаточное количество пальцев, результат всё равно далёк от реальности: руки часто выходят непропорционально маленькими или большими, пальцы — длинными, а суставы изогнуты неестественным образом.

Лишние зубы, языки и челюсти

Порой нейросеть рисует зубы и другие детали рта не лучше рук: рот во рту, челюсть на челюсти, кривые зубы или безумное их количество. Как и в случае с конечностями, ИИ понятия не имеет, как изобразить много похожих объектов в рамках одного, и почему конечный результат не выглядит натурально.

Часто нейросеть нарисует зубы нереалистичными или неправильно торчащими, но широкая улыбка или открытый рот — это большой риск испортить в целом интересный арт одной деталью.

«Что-то с глазами»

Эту проблему продемонстрировали многочисленные эксперименты с нейросетью Lensa, в которой пользователи делали для себя аватарки в различных стилях по фото. Многие жаловались на косые глаза и странный взгляд на изображениях. Причём отбраковывать такие картинки было особенно обидно — в остальном многие из них выходили красивыми и яркими.

Как отмечает Medialeaks, наибольший процент «глазного» брака встречается на изображениях человека в очках. На остальных портретах они показаны более корректно.

Однако даже на артах от более продвинутых нейросетей глаза могут быть нарисованы нормально и направлены на зрителя, но как будто в расфокусе. Взгляд «стеклянный», неживой. Вот такие арты опубликовали пользователи Midjourney в открытом чате в Discord.

Проблема сохраняется и тогда, когда ИИ призван решить проблему зрительного контакта человека с камерой. Недавно компания Nvidia выпустила технологию на основе нейросети, которая позволяет создать имитацию зрительного контакта на видео, если человек не смотрит в камеру. Выглядит это так, как будто ИИ просто поменял расположение глаз — взгляд такой же неживой и расфокусированный, как на многих картинках от нейросетей.

Также «дипфейковые» глаза движутся неестественно быстро — это отметил журналист The Verge, протестировавший новую функцию. На части видео он смотрит в камеру, так что зритель может увидеть разницу между тем, как это выглядит до и после обработки ИИ. Наличие и отсутствие очков никак не сказалось на качестве изображения.

Обрезанные головы и перекошенные лица

Бывает и такое, что нейросеть генерирует арт с человеком с урезанной головой или вовсе без неё. Дело в том, что при загрузке референсов люди добавляют картинки не во весь рост или такие, где туловище занимает большую часть пространства — нейросеть путается и начинает считать именно торс самой важной частью потрета, позволяя себе обрезать голову.

Однако хуже обрезанной головы может быть только плохо нарисованная голова с перекошенным лицом. Это не редкость в работах ИИ. Нейросеть может неестественно расположить части лица и слить его с пространством. Понятия «естественно» у технологии нет, а так как все люди разные, при поиске универсальных решений ошибки неизбежны.

Размытые детали, пятна и линии

Бывает такое: арт от нейросети кажется красивым и детализированным, но если начать присматриваться, то оказывается, что никакие конкретные детали там не прорисованы. Эта проблема встречается чаще, чем может показаться: вместо цветов — пятна, вместо птиц — пятна, вместо надписей — линии и пятна. Формы напоминают то, что должно быть изображено, но ничего в сущности разглядеть на таких картинках нельзя.

Как избежать распространённых ошибок

Обычным пользователям, которые генерируют контент в нейросетях, любители технологии рекомендуют избегать рисовки рук (такой параметр можно выбрать в интерфейсе отдельных ИИ, включая Midjourney) или изображать их так, чтобы они были заняты. Также повысит шансы на успех детализация кистей рук: лучше подробнее описать, как выглядят пальцы и кожа на них.

Чтобы нейросеть не обрезала голову персонажам, можно загружать референсы в полный рост. Запрос к ИИ на изображение человека в полный рост также помогает избежать проблемы обрезки. Кроме того, результат может улучшить детализация — стоит описать, что делает персонаж, его движения и положения конечностей. Но при этом не стоит запрашивать потреты и добавлять положительную оценку: дело в том, что ИИ считает изображения людей с обрезанной головой более привлекательными.

Технология ещё учится, и многие работы уже сейчас корректнее изображают человека и реальные предметы. Есть ли в будущем место человеческим дизайнерам — это открытый вопрос, на который можно будет ответить только спустя годы, наблюдая за развитием искусственного интеллекта.

Дождались! Теперь искусственный интеллект добрался и до ТикТока. Последние несколько недель в сервисе набирают популярность видео, на которых люди тестируют аниме-нейросеть. Она превращает фотографии пользователей в стилизованные изображения. Благодаря этому люди могут посмотреть, как бы они выглядели, если бы превратились в мультипликационных героев.

При желании фильтр может преобразить что угодно. Ему не составит сложности сделать из неживого предмета прекрасную девушку, а из славной альпака грозного льва. Собрали для вас несколько наиболее смешных примеров.

Она на самом деле очень добрая

Доброта спряталась где-то в глубине души.

Почти идеальное сходство

Вместо прекрасной принцессы дерзкий хулиган

А ребёнок-то где?

Тот самый момент, когда ты являешься продолжением своего кота

Нейросеть не смогла понять, кто перед ней — девушка или собака

Превратились в прекрасных девиц и потеряли третьего

Когда друг не друг, а так… лампа в углу.

Он просто буквально слился с интерьером.

Третий больше всех похож на себя.

Хотел пресс, а получил шикарную шевелюру

Кот на самом деле воин в душе

Рука превратилась в девушку на отдыхе

Неожиданный поворт

У одноклассника свои секреты.

Оказывается, у нейросети всё в порядке с фантазией

Кот превратился в стакан и какой-то пакет

Милашка

Истинный хищник

Чтобы стать героем аниме, нужно найти фильтр «AI Manga», выбрать значок камеры и активировать его во время съёмки, нажав на экран.

Фильтр превращает блюда в цветы

А также в прекрасных девушек

Пюре — крашиха по факту.

Здесь вы можете посмотреть, как нейросеть преобразила героев фильмов о Гарри Поттере, которые оказались в одном из популярных произведений Стивена Кинга.

Приветствую каждого читателя! Тема для этой статьи очень долго зрела в моей голове, и я, наконец-то, нашла время, чтобы подробно её «разжевать» и поделиться выводами с вами.
Да, знаю, многие уже облизали ситуацию с нейронками и художниками вдоль и поперёк, но я тоже хочу оставить свой «след» в дискуссиях на эту тему

В последнее время, о нейросетях говорит весь интернет: DALL-E от OpenAI и Imagen от Google потрясли мир своими способностями и загнали десятки тысяч художников в творческий кризис. Но львиную долю внимания забрала, конечно же, Midjourney, ведь искусство, которое творит эта нейронка, легко спутать с произведениями профессиональных творцов. При этом, труд искусственного интеллекта стоит в тысячи раз дешевле, а время создания картин измеряется секундами. Для некоторых Midjourney — лишь развлечение, кто-то считает событие некстгеном, используя нейросети в качестве инструмента и/или источника вдохновения. Но так же есть и те, кто зажался в углу и решил, что больше никогда не будет рисовать. «Зачем утруждаться и мучаться, чему-то обучаться, апать скилл, если ИИ уже сейчас за пару минут способен создать арт, на который среднестатистический художник тратит от нескольких дней до нескольких недель?» — написал ноунейм в комментариях под постом, в котором обсуждалась Midjourney и созданные ею арты. Такое заявление меня возмутило, но тут же побудило к написанию текста, в котором я подробно разберу вопрос: способны ли нейросети заменить художников?

Часть 1: да кто такие эти ваши нейросети?

Выше я уже писала, что буду говорить о такой нейросети как Midjourney. О ней, и только о ней. Начнём по порядку, что же представляет из себя данная сетка?

Midjourney — нейросеть, генерирующая картинки по текстовому описанию.

Команда создателей позиционирует себя как независимую исследовательскую лабораторию, занимающуюся расширением творческих способностей человечества. Проект был запущен в феврале 2022 учёным и предпринимателем Дэвидом Хольцом (кому интересно, о личности основателя можно прочитать тут).

Midjourney является независимым самофинансируемым проектом, над которым трудится команда из 11 штатных сотрудников, а также большое количество внешних консультантов. Работу Midjourney обеспечивают алгоритмы распознавания речи и алгоритмы, создающие образы. Проще говоря, сетка умеет распознавать печатный текст и преобразовывать его в картинки. Midjourney представлена в формате discord-бота. Для генерации изображения нужно составить сюжет (на английском языке!), отправить свой запрос боту в чат и дождаться результата. Готовый арт можно немного модернизировать, увеличить его качество и скачать.

Давайте посмотрим, на что способен этот «супер_мега_уничтожитель_художников_3000»? Допустим, я хочу посмотреть на жителя древнего египта в стиле киберпанка. Отправляю боту соответствующий запрос (важно прописывать его максимально детально!): cyberpunk ancient egyptian inhabitant, portrait, male, lots of detail, neon colors, photorealistic style, 4k. В итоге, получаю такой результат:

Это очень стильно, согласны? Мне понравился третий вариант, что я теперь могу с ним сделать?

1. Попросить бота отправить мне изображение отдельно, в хорошем качестве.

2. Выбрать понравившийся вариант (я снова возьму 3) и попросить бота сгенерировать ещё четыре изображения на основе уже готового арта.

«Дополнять» можно бесконечно, пока не закончится лимит (если нет подписки).

Попробуем ещё раз? Хочу увидеть иллюстрацию с хорошей композицией и интересным сюжетом, допустим, нападение сирены на моряков. Отправляю запрос: siren girl with wings, in the ocean, attacking sailors on ship, horror, panic, fear, storm, photorealistic style, 4k, high detail.

Так-так, что тут у нас? Неужели нейросеть (aka «супер_мега_уничтожитель_художников_3000«) не справилась с задачей и создала неидеальный арт с кривыми лицами, жуткими руками и совсем забыла про моряков? Ужас, не верю! Давайте попросим бота доработать первый вариант и прислать нам результат.

По-моему, стало только хуже, но теперь это действительно «horror, panic, fear». Такие лица только в кошмарах могут сниться. Что же получается, Midjourney не всегда создаёт безупречные изображения?

Часть 2: неужели нейросети заберут «хлеб» у художников?

В июне 2021 года журнал Cosmopolitan вышел с первой в мире обложкой, созданной нейросетью. На картинке изображена женщина-космонавт, будто бы снятая на широкоугольный объектив, а надпись на ней гласит: «это заняло всего 20 секунд». Автором обложки была нейросеть DALL-E.

Эта история вызвала бурные обсуждения: часть пользователей восхищались работой нейросети, часть — хейтили её, а кто-то всерьез обеспокоился тем, что машины в ближайшем будущем отберут работу у художников, ведь шедевры уровня именитых мастеров теперь можно создавать за пару минут и пару десятков долларов в месяц.

Давайте посмотрим, что думают профессионалы по этому поводу.

Основательница арт-компании Everal Люси Виноград призывает по этому поводу не беспокоиться: по её словам, нейросети были и остаются только инструментом для визуализации, но не полноценным творцом. «Искусство — это в первую очередь идея, а нейросети генерируют лишь бездумную красоту. Без человека они беспомощны», — уверена предпринимательница.

Художник и сооснователь сети квестов «Клаустрофобия» Богдан Кравцов считает нейросеть мощным инструментом в руках художника, «максимум — его соавтором», но точно не полноценной заменой человека. «Именно живой человек ставит задачу, настраивает параметры нейросети, а в конце работы — фильтрует результаты, отбирая удавшиеся дубли в соответствии с собственным эстетическим чувством», — говорит Кравцов.

Так же стоит упомянуть, что нейросеть не способна создавать арт с нуля, она не способна к генерации идеи, а может лишь попытаться из уже созданных работ создать нечто похожее (опираясь не текстовое описание, которое вы составили). Подчеркну: похожее, а не новое. Сетка не способна к анализу формы и анатомии, иначе бы она не рисовала пугающие лица, несколько радужных оболочек в глазу и по семь пальцев на руке. Она просто складывает работы, отмеченные некоторыми ключевыми словами, которые совпадают с вашим запросом. Нейросеть не всегда создаёт произведения искусства: в готовом арте частенько могут вылезти такие казусы, как подпись автора одной из работ, на основе которой создана генерация.

Но самое главное, чего не хватает нейросети, чтобы стать художником, — способности захотеть создать картину.

Сам основатель Midjourney Дэвид Хольц не планирует отбирать работу у живых художников и призывает отложить паранойю по этому поводу. «Да, компьютеры лучше справляются с визуальным изображением, чем 99% людей на планете. Но это не значит, что мы перестанем воображать. Машины передвигаются быстрее людей, но ведь мы из-за этого не перестали ходить, — констатирует Хольц. — Так что мы рассматриваем Midjourney исключительно как двигатель воображения. И лично я считаю нашу нейросеть очень гуманистическим изобретением».

Часть 3: вывод

Так может ли нейросеть заменить художника (в данный момент)? Да, если графическая составляющая не является особо важным моментом в вашем продукте, и вас не напрягает, что сгенерированный арт, это по сути, монстр Франкенштейна, созданный из клочков работ человеческих художников.

Если же у вас стоит цель создать нечто большее, если вы делаете упор на эмоциональную составляющую, не говоря уже о том, чтобы проиллюстрировать какую-либо сцену с конкретным событием, персонажами и предметами, то нейросеть для вас не конкурент. Нейронка — ваш друг и инструмент, которым необходимо научиться пользоваться и извлекать максимум пользы. Можно даже сказать, что Midjourney — каталог с референсами. Только вам не приходится листать ленту пинтереста в надежде, что найдётся «то самое освещение», интересная композиция или вдохновляющий арт. Теперь можно чётко сформулировать запрос, отправить его боту и за пару минут получить желаемый результат.

Напоследок, в качестве «сладенького», предлагаю вам насладиться артами, которые создала Midjourney исходя из моих запросов. Расслабьтесь и любуйтесь, получайте удовольствие!

Ну, и напоследок:

Не спрашивайте меня, что это. Я нашла эту генерацию в чате дискорда, пока ждала ответа от бота. Выглядит как новый мем))