Ученые из Disney Research разработали алгоритм, который может создавать короткие анимационные ролики на основе сценария, написанного естественным языком. Об этом пишет N+1 со ссылкой на статью, опубликованную на arXiv.org.
Для создания видео алгоритм упрощает предложения, разбивая их на более короткие и заменяя слова на синонимы. Затем он подбирает для каждого слова в сценарии соответствующую 3D-модель из встроенной библиотеки. Кроме того, алгоритм определяет технические данные, такие как время действия сцены, эмоции персонажей и другие. На основе всей этой информации он создает анимационный 3D-ролик.
В ходе исследования выяснилось, что лучше всего (наиболее близко к анимации, сделанной людьми) алгоритм умеет изображать человеческие манеры. Сравнение с другими алгоритмами обработки естественного языка показало, что новая разработка дает более близкий к человеческому результат.
Почти половина (45,23%) добровольцев, опрошенных учеными, согласились, что алгоритм корректно визуализирует текст. Почти 60% согласились, что он не добавляет в видео действия, не указанные в сценарии.
В прошлом году нейросеть, разработанная «Яндексом», сгенерировала рассказ на основе сюжетной канвы, написанной фантастом Сергеем Лукьяненко.