Mask & Match: Learning to Recognize Handwritten Math with Self-Supervised Attention

## Контекст Распознавание рукописных математических выражений (Handwritten Mathematical Expression Recognition, HMER) является сложной задачей из-за двухмерной структуры выражений, разного масштаба символов и сложных пространственных связей между ними. Из-за этих особенностей распознавание рукописных математических выражений требует больших объемов маркированных данных для обучения, что затрудняет применение методов машинного обучения. Недостаток этих данных ставит дополнительные ограничения на развитие моделей. В настоящей работе предлагается самостоятельный подход к обучению, который устраняет необходимость в дорогостоящих маркированных данных. ## Метод Наше решение основывается на самостоятельном обучении (Self-Supervised Learning, SSL), которое использует большие объемы немаркированных данных. Мы предлагаем два ключевых инструмента: (1) **Самостоятельное обучение с использованием контрастной функции** — этот подход позволяет модели учиться одновременно в глобальной и локальной структуре выражений, что улучшает их уязвимость к разным видам данных. (2) **Самостоятельная аттенционная сеть** — мы предлагаем прогрессивную стратегию маскирования, чтобы обучить модель понимать значимые семантические фокусные регионы, такие как операторы, степени и вложенные математические выражения, без необходимости в маркированных данных. ## Результаты В экспериментах, проведенных на наборе данных CROHME, наш метод показал значительные результаты по сравнению с другими самостоятельными подходами и методами с полностью маркированными данными. Мы продемонстрировали, что аттенционная сеть, обученная с помощью прогрессивного маскирования, повышает робастность модели к различным ситуациям, таким как удаление или затуманение частей выражения. Это позволяет модели стабильно повышать точность распознавания в рукописных математических выражениях. ## Значимость Наш подход может применяться в различных областях, включая обработку рукописных текстов, где требуется уменьшить зависимость от маркированных данных. Он также может использоваться в области обучения глубоким сетям для работы с математическими данными, что может быть полезно для разработки инструментов для систем автоматической оценки и анализа математических задач. Мы видим потенциал нашего подхода в улучшении обработки текстов в области математических и научных текстов. ## Выводы Мы представили Mask & Match, полностью самостоятельный подход к распознаванию рукописных математических выражений, который удачно обучается без маркированных данных и превосходит существующие методы. Наша работа демонстрирует, что прогрессивное маскирование может стать базовым инструментом для обучения моделей к пониманию структуры выра