Нейромережа зможе якісно домальовувати фотографії

Розробники з Google Research навчили нейромережа якісно домалювати відсутні фрагменти фотографій, навіть якщо від неї прихована велика частина знімка. В основі алгоритму лежить архітектура генеративно-змагальної нейромережі.

Нейромережеві алгоритми вже деякий час застосовуються на практиці при редагуванні фотографій. Наприклад, Adobe Photoshop вміє прибирати об'єкти зі знімка, реалістично замінюючи їх на фон. Для цього програма використовує інформацію з усіх оточуючих об'єкт областей. Крім того, Photoshop здатний домальовувати краї зображення, наприклад, при повороті, однак ця функція працює гірше і здатна справлятися лише з невеликими ділянками, частково саме через те, що лише частина порожньої області оточена фрагментами вихідного зображення, з яких можна взяти інформацію.

Розробники з Google Research під керівництвом Вільяма Фрімена (William Freeman) навчили нейромережу реалістично домальовувати навіть великі області на кадрі, розташовані збоку. Алгоритм заснований на популярній архітектурі генеративно-змагальної нейромережі. Вона передбачає, що алгоритм складається з двох частин: одна з них виконує пряму задачу (в даному випадку домальовує фотографії), а друга намагається відрізнити результат роботи першої від справжніх знімків з навчальної вибірки.

Одна з ключових особливостей підходу авторів, яка призвела до гарних результатів, полягає в тому, що на вході нейромережа отримує не один знімок, а два. Перше зображення — це вихідний знімок, на якому велика прямокутна область залита одним кольором. Автори експериментували з розміром цієї області, заливаючи 25, 50 і 75 відсотків від вихідного кадру. Друге зображення — це маска, що показує, яка саме область була залита.

Крім домальовування зображень розробники також випробували алгоритм на відео. Таким способом вони пропонують домалювати кадри з боків, приміром, у випадку з вертикальними відео.

Як повідомляє видання "Коментарі", штучний інтелект буде стежити за орфографією користувачів Google.

Читайте Comments.ua в Google News