Алгоритм Facebook раскрывает пользователям глаза

Но до сих пор моргание оставалось одним из главных врагов хороших снимков, сообщает "3Dnews".

Это может измениться благодаря интеллектуальному алгоритму, созданному специалистами Facebook: он убедительно заменяет закрытые глаза людей открытыми.

Это далеко не единственный пример "умного дорисовывания", когда ИИ заполняет выбранное пространство, ориентируясь на окружение. Adobe уже годами развивает функции заполнения области с учётом контекста или интеллектуального сжатия и растяжения картинок, когда части изображения (например, лишняя ветвь или облако) реалистично заполняются частями окружения.

Но "интеллектуальная заливка" Adobe не способна достойно ретушировать множество вещей, в том числе не умеет заменять закрытые глаза открытыми: до сих пор это казалось слишком уж сложной задачей для автоматики. Facebook, в базе которой, вероятно, больше фотографий моргающих людей, чем у любой другой компании, решила взяться за эту проблему.

Речь идёт об использовании самообучающейся нейронной сети Generative Adversarial Network. Одна часть этой сети учится распознавать открытые глаза людей. А другая — заменяет закрытые глаза открытыми, и на основе отклика от системы распознавания добивается всё более и более высокой реалистичности работы ИИ-алгоритма. Ориентируясь на изображения-образцы, алгоритм добивается ещё большей реалистичности.

Результаты, как видно, вполне достоверны: нет несогласования цветов или очевидных мест вклейки. При проверке алгоритма в половине случаев люди ошибочно принимали фальшивые фотографии с открытыми глазами за настоящие, или не могли уверенно определить подвох. Если присмотреться, то в большинстве примеров видно, что с глазами и ресницами у людей что-то не то, но беглый взгляд легко может не увидеть проблемы.

В некоторых ситуациях алгоритм создаёт странные артефакты: например, когда глаза человека частично закрыты волосами или когда не выходит точно воссоздать цвет. Но всё это в перспективе может быть преодолено. Подобную технологию вполне можно представить в повседневном будущем: пользователь хочет улучшить групповое фото, и указывает алгоритму человека, которому следует "открыть глаза", ориентируясь на другие его снимки.

Фото: "3Dnews"