Робот отправится в тур для поддержки собственного музыкального альбома

Исследователи из компании Georgia Tech создали робота по имени Shimon, который может писать песни, играть музыку и петь. Робот, играющий на маримбе, отправляется в тур, чтобы поддержать новый альбом, который он записал. На альбоме будет от восьми до десяти песен, и Shimon написал их в сотрудничестве с людьми. Сотрудничество между людьми начинается с того, что человек называет роботу тему (например, космос) и Shimon напишет текст об этом.

Робот также может генерировать некоторые мелодии для исследователя Гила Вайнберга, которые он использует для создания песни. Человеческая группа будет играть музыку с Shimon, пока робот поет песни. Исследователи, работающие над проектом, обучили робота с помощью наборов данных из 50 000 текстов песен из жанров джаз, пронг-рок и хип-хоп. Робот использует машинное обучение, чтобы генерировать слова, соответствующие темам, заданным в наборе данных.

Глубокое обучение сочетается с семантическими знаниями, так как необходимы рифма и ритм. Сотрудники создали голос, с которым робот поет в Университете Помпеу Фабра в Барселоне. Машинное обучение использовалось для развития голоса, и робот был обучен сотням песен.

Другие изменения Shimon включают новое оборудование, чтобы улучшить то, как он играет и движется на сцене. Робот в основном неподвижен, но у него есть новый рот, брови и движения головы, которые передают эмоции и взаимодействуют с товарищами по группе. Модернизированное оборудование позволяет роботу играть намного быстрее, чем раньше, в диапазоне от 25 до 30 герц. Он также может воспроизводить как мягкий динамический диапазон, так и сильный динамический диапазон.

Шимон теперь может подать сигнал группе, и время от времени он будет размахивать молотком под музыку. Бесщеточные двигатели дают роботу больший диапазон движения и контроль над этим движением.

Как сообщало издание "Комментарии", роботы смогут дать отпор коронавирусу.