YouTube научился подписывать звуки в видео

В YouTube появилась функция, которая автоматически подписывает в видеороликах окружающие звуки - аплодисменты, музыку и смех

Это поможет лучше понимать происходящее на экране тем, у кого имеются проблемы со слухом, сообщает "3Dnews".

Возможности системы пока ограничены тремя перечисленными категориями. YouTube использует машинное обучение, чтобы определять звуки и показывать их текстовые описания.

Компания разработала нейронную сеть и натренировала её, использовав тысячи часов видео. По словам разработчиков, сложнее всего было научить систему отличать элементы, которые звучат одновременно - например, смех и рукоплескания.

В результате описания окружающих звуков стали отображаться вместе со стандартными автоматическими субтитрами. В качестве примера работы технологии ниже представлено выступление с телепроекта "В Америке есть таланты".

Команда разработчиков YouTube признаёт, что подписи примитивны. Но теперь технологию будет проще усовершенствовать, потому что основа, то есть нейронная сеть, уже создана. В будущем компания хочет добавить поддержку таких звуков, как лай, стук и звон. Для этого искусственному интеллекту придётся научиться различать источники звуков: звон, например, могут издавать телефон, будильник или дверной звонок. Разработчики провели исследование, две трети участников которого сказали, что с подписями видео смотреть комфортнее.

Автоматические субтитры появились в YouTube в ноябре 2009 года. Алгоритмы компании пока далеки от идеала и их приходится дорабатывать - из-за неправильного произношения, диалектов, акцентов и фоновых шумов.

Функция очень популярна: более 15 миллионов роликов с автоматическими субтитрами люди смотрят каждый день, а всего таких видео в сервисе - более миллиарда.

Фото: "3Dnews"