Технология ИИ воспроизводит реалистичную музыку из бесшумных клипов

Наверное, не так уж и сложно представить себе компьютерную программу, которая могла бы визуально определить, какие музыкальные произведения исполняются в беззвучных фортепианных видеоклипах. Однако новая система искусственного интеллекта идет дальше, воспроизводя звук пианино в цифровом формате в реалистичном виде.

Известная как Audeo, эта технология была разработана командой из Университета Вашингтона. Она включает в себя искусственно интеллектуальное программное обеспечение, которое было "обучено" примерно на 172 000 кадрах видеозаписи пианиста Пола Бартона, исполняющего музыку классических композиторов, таких как Моцарт и Бах.

Музыкальный ИИ

При анализе немого видео, полученная система начинается с наблюдения за тем, какие клавиши нажимаются в каком порядке, определяя отдельные ноты и их аранжировку. При этом она также воспринимает, насколько сильно нажимается каждая клавиша и как долго она удерживается - это позволяет ей выяснить интенсивность каждой ноты, а также длительность ее удержания под звучанием последующих сыгранных нот. При этом учитываются также отличительные акустические характеристики фортепиано.

Подписывайтесь на наш youtube канал!

Затем эти данные преобразуются в формат, понятный существующему цифровому синтезатору. Когда этот синтезатор проигрывает музыкальный файл, он, как сообщается, звучит очень похоже на оригинальную фортепианную музыку, в отличие от простого 8-битного рингтона.

В тестировании Audeo, перед ним была поставлена задача воспроизведения фортепианной музыки, основанной на приглушенных видео Бартона, воспроизводящих музыкальные произведения, отличные от тех, на которых система была обучена. Когда приложения для распознавания музыки, такие как SoundHound, анализировали эти воспроизведения, они смогли распознать музыкальное произведение с точностью до 86 %. Напротив, когда приложения анализировали оригинальное звучание фортепиано в тех же видеозаписях, их точность распознавания поднялась до 93 %. Этот разрыв должен уменьшиться по мере дальнейшего развития технологии.

"Мы надеемся, что наше исследование позволит найти новые способы взаимодействия с музыкой", - говорит профессор Эли Шлицерман, старший автор исследования. "Например, одно из будущих применений заключается в том, что Audeo может быть распространен на виртуальное пианино с камерой, записывающей только руки человека". Кроме того, поместив камеру поверх настоящего пианино, Audeo потенциально может помочь в обучении студентов новым способам игры". опубликовано econet.ru по материалам newatlas.com

Подписывайтесь на наш канал Яндекс Дзен!

P.S. И помните, всего лишь изменяя свое потребление - мы вместе изменяем мир! © econet