Surrogate Representation Inference for Noisy Text and Image Annotations

## Контекст Одним из ключевых проблем в современном машинном обучении и использовании значительных языковых моделей (LLMs) является корректировка биаса при анализе неструктурированных данных, таких как тексты и изображения. Исследователи часто полагаются на методы линейной регрессии и аналогичные подходы для понимания зависимости между неструктурированными данными и структурированными переменными. Однако существующие методы часто сталкиваются с высокими стандартными ошибками, что ограничивает их точность. Эти ошибки часто требуют дополнительных усилий, таких как ошибки-меры, чтобы улучшить точность и стабильность результатов. Данная исследовательская работа рассматривает эти вызовы и предлагает новый подход, называемый Surrogate Representation Inference (SRI), для устранения этих проблем. ## Метод SRI основывается на гипотезе, что неструктурированные данные (например, тексты или изображения) полностью средят отношение между человеческим аннотированием и структурированными переменными. Это предположение гарантируется архитектурой модели, где человеческие кодеры используют только неструктурированные данные для подготовки аннотаций. Для выполнения этого, разработана нейронная сетевая архитектура, которая учитывает низкомерное представление неструктурированных данных, чтобы удовлетворять условию суррогатной представления. Если доступны несколько человеческих аннотаций, SRI также может корректировать недифференциальные ошибки измерения, которые могут возникать в них. Для текстовых результатов, SRI определяет условия идентификации и стратегии эффективного получения частично-параметрических оценок, позволяющих использовать низкомерное представление для улучшения точности интерпретации. ## Результаты Эксперименты проводились с использованием синтетических и реальных данных для оценки эффективности SRI. Для окружения текста-как-результата, SRI показал снижение стандартных ошибок над 50% при модерате аккуратности прогнозов моделей машинного обучения. Были также проведены эксперименты, показавшие, что SRI может корректировать недифференциальные ошибки измерения, что делает интерпретацию более надежной. Эти результаты продемонстрировали, что SRI может обеспечить достоверные выводы даже в условиях несовершенства человеческих аннотаций. ## Значимость Помимо использования в текстовых результатах, SRI может быть применено во многих областях, включая работы с изображениями, звуком и другими форматами неструктурированных данных. Основные преимущества SRI заключаются в снижении стандартных ошибок, улучшении точности интерпретации, а также в возможности использовать