Taxonomy of Faults in Attention-Based Neural Networks

## КОНТЕКСТ И ПРОБЛЕМАТИКА Механизмы внимания (attention) стали фундаментальной основой современных нейронных архитектур, лежащих в основе таких систем, как ChatGPT, автономные транспортные средства и другие критически важные приложения. Эти механизмы обеспечивают выдающуюся способность моделей к пониманию контекста, обработке последовательностей и принятию сложных решений, что приводит к значительному экономическому и социальному воздействию. Однако недавние высокопрофильные сбои, включая генерацию бессмысленных ответов ChatGPT и приостановку Google Gemini генерации изображений из-за ошибок весов внимания, выявили критический пробел в понимании и диагностике сбоев в системах на основе внимания. Существующие таксономии сбоев в глубоком обучении, разработанные для традиционных нейронных сетей, не учитывают уникальные особенности механизмов внимания. Эти механизмы вводят новые типы сбоев, связанные с распределением весов внимания, масштабированием, позиционным кодированием и взаимодействием между множественными головами внимания. Отсутствие систематического понимания этих сбоев оставляет практиков без направленной диагностической помощи, что приводит к увеличению времени отладки и потенциально критическим ошибкам в продакшене. Проблема усугубляется экспоненциальным ростом сложности моделей на основе внимания и их широким распространением в продуктах, влияющих на миллионы пользователей. Традиционные методы отладки, такие как визуализация признаков или градиентный анализ, недостаточно эффективны для диагностики проблем, специфичных для механизмов внимания. Требуется новая системная методология для понимания, классификации и диагностики сбоев в этих критически важных системах. ## ПРЕДЛОЖЕННЫЙ МЕТОД Авторы представили первое комплексное эмпирическое исследование сбоев в нейронных сетях на основе механизмов внимания (ABNNs). Исследование базируется на систематическом анализе 555 реальных сбоев, собранных из 96 проектов на основе десяти различных фреймворков, включая GitHub, Hugging Face и Stack Overflow. Методология исследования включала несколько этапов. На первом этапе проводился систематический поиск и сбор данных о сбоях в системах на основе внимания. Использовались автоматизированные инструменты для извлечения информации из открытых репозиториев, форумов и систем отслеживания ошибок. Каждый случай сбоя анализировался с использованием структурированной схемы кодирования, включающей контекст сбоя, проявляемые симптомы, архитектурные детали и последствия. На втором этапе осуществлялась классификация сбоев с использованием методов тематического анализа и кластеризации. Команда исследователей разработала новую таксономию, включающую семь категорий сбоев, специфичных для механизмов внимания. Эти категории были разработаны последовательно, начиная с открытого кодирования и заканчивая итеративной ревизией с помощью экспертной валидации. Третий этап включал корневой анализ причин сбоев. Для каждого сбоя идентифицировались первопричины, проявляемые симптомы и архитектурные особенности, способствующие возникновению проблем. Использовались статистические методы для выявления ассоциаций между симптомами и корневыми причинами. ## ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ Исследование выявило семь уникальных категорий сбоев, специфичных для механизмов внимания, которые не были охвачены существующими таксономиями. Эти категории включают сбои, связанные с масштабированием внимания (scaling), позиционным кодированием (positional encoding), многоголовочным вниманием (multi-head attention), маскированием (masking), распределением весов внимания (attention weight distribution), последовательной зависимостью (sequence dependency) и градиентными потоками (gradient flow issues). Ключевым результатом является то, что более 50% всех проанализированных сбоев в ABNN возникали из-за механизмов, уникальных для архитектур с вниманием. Это подчеркивает фундаментальное различие между сбоями в традиционных нейронных сетях и системами на основе внимания. Анализ симптомов показал, что сбои проявляются в виде различных паттернов: отклонения в распределении весов внимания, нестабильность обучения, деградация производительности