Программу научили учиться по инструкциям на YouTube

v3uykr6rwcmsvalck3awhq.jpg

Ученые из французской Высшей нормальной школы создали программу, которая умеет анализировать видеоинструкции. Просмотрев несколько роликов на одну и ту же тему (например, как поменять колесо на автомобиле) и изучив текстовые инструкции, она может подготовить рабочий алгоритм для этих действий. На выходе программа отдает картинки (скриншоты из роликов) и подписи к ним.

Программу проверяли на двух подборках видеоинструкций. Ей показали 30 роликов на тему "как поменять колесо" и 27 записей о сердечно-легочной реанимации. В результате она составила две инструкции - в первой было верно установлено 90 процентов шагов, во втором - 67 процентов.

Процесс обучения сложен тем, что на каждом видео все выглядит по-разному: разные автомобиле, разные люди, разное освещение и так далее. Тем не менее, в своих инструкциях программе удалось корректно подобрать картинки к каждому пункту.

 arXiv.org