NoteIt: A System Converting Instructional Videos to Interactable Notes Through Multimodal Video Understanding

## Контекст Просмотр инструкционных видео широко распространен в образовательной сфере, профессиональной деятельности и личной жизни. Однако пользователи часто сталкиваются с тем, чтобы извлечь информацию из этих видео, а затем преобразовать ее в удобный для изучения формат. Обычно это делается вручную, что требует больших усилий и времени. Существующие инструменты для автоматизации генерации заметок предоставляют только краткую сводку или неправильные заметки, не сохраняя всю объемную информацию видео. Пользователи также хотят получить возможность интерактивного взаимодействия со своими заметками, что позволит имитировать традиционные методы выделения текста и акцентирования важных моментов. В этой работе мы предлагаем **NoteIt**, систему, которая автоматически конвертирует инструкционные видео в интерактивные заметки, обеспечивая точное извлечение информации и предоставляя возможности для ее современной презентации. ## Метод NoteIt основывается на мультимодальном понимании видео, которое включает в себя несколько этапов. Вначале видео разбивается на отдельные сегменты, а затем каждый сегмент анализируется с помощью методов компьютерного зрения и глубокого обучения для извлечения релевантной информации. Эта информация разделяется на три категории: текстовые субтитры, визуальные элементы (например, диаграммы или демонстрации) и аудиосодержимое (например, комментарии автора). Далее, эти элементы объединяются в иерархическую структуру, содержащую заголовки, подробные статьи и ссылки на визуальные элементы. Для повышения удобства и пользовательского опыта, система позволяет пользователю редактировать заметки, изменять формат и добавлять интерактивные функции, такие как возможность закрепления заметок и добавления заметок в личные заметки. ## Результаты На технической оценке, проводимой с помощью стандартных метрик извлечения информации и информативности текста, NoteIt показала высокую точность и полноту (95% на тесте SOTA). Чтобы оценить его эффективность в реальных условиях, проведено исследование с участием 36 участников, которые сравнили NoteIt с двумя популярными инструментами для синтеза заметок. Пользователи отметили, что NoteIt предоставляет более полные заметки (87% ответов), легче в использовании (85% ответов) и дает большую гибкость в форматировании (89% ответов). Эти результаты подтверждают высокую эффективность NoteIt как инструмента для автоматического генерирования интерактивных заметок. ## Значимость NoteIt имеет широкие перспективы применения в образовательных задачах, профессиональных областях и личной активности. Он позво