сегодня: 25/02

Ученые научили искусственный интеллект озвучивать видеоролики

Исследователи Массачусетского технологического института в США разработали нейронную сеть, которая сможет генерировать звуки на основе своих предположений о происходящем на видео

351 просмотр

Программа, созданная американскими учеными, действует по принципу нейронной сети. Она анализирует видеоинформацию, выделяет из нее отдельные объекты, распознает их движение и метод взаимодействия и на основании этого генерирует звуковое сопровождение. Чтобы обучить искусственный интеллект, ученые задействовали 977 видео, в которых люди совершали различные действия с предметами и материалами. В процессе обучения энтузиастам пришлось вручную описать для нейронной сети каждое из 46 577 действий, указав участвующий в нем материал, место соприкосновения, способ воздействия и реакцию объекта.

В результате кропотливой работы сеть научилась сопоставлять данные видео с разнообразными звуками, довольно точно передавая нюансы происходящего - стук камней, шуршание листьев и другие звуки.

Для проверки работы алгоритма ученые провели онлайн-тестирование добровольцев. Им было предложено определить, какой из двух вариантов саундтрека к видеоролику является настоящим, а какой - сгенерированным программой. В 40 процентах случаев респонденты ошиблись, назвав настоящим звук, созданный нейронной сетью.

Данная разработка может получить большой спрос в технологиях производства кино и телепередач. В частности, для создания достоверного звукового сопровождения к компьютерной анимации, а также звуковых эффектов.

Новости партнеров
comments powered by HyperComments

Новости

Наверх