Изображение: Jean-Baptiste Alayrac et al. via arXiv.org
Французские исследователи создали программу анализа видеоинструкций в интернете и описали ее на arXiv.org, рассказывает N+1.
Программа просматривает ряд видеороликов на заданную тему и составляет пошаговый план выполнения задачи с иллюстрацией к каждому шагу.
Алгоритм проверили на 30 видео о том, как поменять колесо, и 27 видео о сердечно-легочной реанимации. В первом случае программа правильно поняла 90% необходимых шагов, во втором — только 67%.
В каждом случае иллюстрации под шаги подбирались корректно. Причем разные описания действий (например, «поднимите машину» и «приподнимите автомобиль» в различных роликах) складывались в один шаг-этап вместе со всеми иллюстрациями, связанными именно с этим шагом.
Это первый случай успешного создания инструкции с иллюстрациями методом машинного обучения. Раньше получалось или только подобрать изображения под готовый алгоритм, или только разбить видео на логические отрезки. Разработка может помочь учить роботов определенным операциям, в которых они могут помогать человеку — например, обучать робота-повара новым блюдам.
