Омерзительный клубок из пальцев: почему нейросети не умеют рисовать руки

В последнее время все чаще говорят, что нейросети способны заменить человека во многих отраслях. Взять, например, изображения. Работы искусственного интеллекта в этом плане практически не отличить от картины художника или фотографии. Если только речь не идет о руках. Почему-то руки у нейросетей получаются из рук вон (простите за каламбур!) плохо. В чем же дело?

Проблема выборки

Сотрудники американской медиакомпании BuzzFeed попробовали найти ответ на этот вопрос и обратились к разработчикам наиболее популярных нейросетей Midjourney и DALL-E 2. Но те общаться с журналистами отказались. Зато свое согласие дали сотрудники компании Stability AI — благо принципы работы всех нейросетей схожи. Все дело в том, как именно происходит обучение искусственного интеллекта. Для анализа ему предоставляется огромная выборка из миллионов изображений, которые нейросеть анализирует и делает по ним выводы. Удивит ли вас тот факт, что изображения рук в выборках встречаются не так часто, как, например, изображения лиц?

Чем больше, тем лучше

И еще один вполне логичный вывод: чем больше изображений каких-то деталей анализирует нейросеть, тем больше она о них "узнает" и, соответственно, тем лучше они у нее получаются. В отличие от лиц, руки не принято изображать крупным планом, что вводит ИИ в заблуждение. Более того, руки на картинах и фотографиях зачастую сцеплены, сплетены, находятся в рукопожатии, что также не упрощает задачу анализа. Редко когда встретишь изображение растопыренной пятерни, которое позволило бы разобраться в ее строении.

Только часть

Как рассказала Амелия Вингер-Берскин (ассоциированный профессор Университета Флориды) на многих изображениях руки показаны не полностью, а присутствует лишь часть кисти. Это также вводит искусственный интеллект в заблуждение. Он начинает считать, что не у всех людей на руках пять пальцев, а ищет среднее арифметическое. Отсюда эти «омерзительные клубки из пальцев», которых на руке, по мнению нейросети, может быть и три, и шесть…

Дело времени

Впрочем, уверяют создатели нейросетей, проблемы с изображением рук вполне решаемы. Надо лишь дать ИИ больше данных для анализа, а также дополнительно обучить его строению человеческих конечностей.