When Is Prior Knowledge Helpful? Exploring the Evaluation and Selection of Unsupervised Pretext Tasks from a Neuro-Symbolic Perspective

## Контекст Проблемы с недостатком меток в области машинного обучения стимулируют развитие самостоятельных и самоподкрепляющихся подходов. Однако многие из этих подходов опираются на некоторые предположения, которые могут быть недостаточно надежными или точными, что влияет на эффективность моделей. Нейро-символьное (Nesy) обучение позволяет моделям улучшить свои результаты, сочетая в себе обучение с подкреплением и работу с символьным знанием. В этой работе авторы расширяют Nesy-теорию, применяя ее к случаю недостоверных предположений (например, неполных или неточных моделей), чтобы создать теоретическую платформу, объединяющую Nesy и методы самостоятельного и семи-самоподкрепляющего обучения. ## Метод Авторы развивают прогностическую модель, которая оценивает потенциальную эффективность независимых меток на основе трех основных метрик: научности (научные знания могут быть приобретены моделью), надежности (знания верны и надежны в контексте данных) и полноты (знания полностью охватывают целевую задачу). Для операционизации этих метрик, авторы предлагают метод, который использует небольшие объемы данных для прогнозирования результатов обучения модели в больших масштабах. Метод является гибким и может применяться к различным случаям независимых меток. ## Результаты В экспериментах авторы используют различные модели и данные для проверки прогностической модели. Они показывают, что предсказания модели крайне точны, когда используются небольшие объемы данных для оценки. Это доказывает, что метод может быть применен для эффективного выбора независимых меток до запуска полного обучения. Такая прогностическая модель позволяет избежать ненужных экспериментов с неэффективными метками, что сокращает время и ресурсы, необходимые для выбора лучших меток. ## Значимость Предложенный подход имеет широкое применение в самоподкрепляющихся и самостоятельных подходах к обучению моделей без меток. Он предоставляет более надежный и целенаправленный способ выбора независимых меток, улучшая эффективность и точность моделей. В будущем, это может привести к более универсальным и надежным моделям для обработки данных в различных областях, таких как робототехника, здравоохранение и обработка естественного языка. ## Выводы Данная работа предлагает новую теоретическую модель для оценки и выбора независимых меток в обучении с подкреплением. Она показывает, как нейро-символьные техники могут улучшить работу моделей, даже в случае недостоверных предположений. Будущими направлениями исследований будет расширение этой модели для различных типов данных и моделей,