The Role of Review Process Failures in Affective State Estimation: An Empirical Investigation of DEAP Dataset

#### Контекст Установить точное восприятие эмоционального состояния с помощью электроэнцефалограмм (EEG) оказалось нелегким заданием. Это связано с неоднородностью результатов и отсутствием унифицированных критериев оценки. Одной из наиболее известных платформ для работы с этими данными является DEAP, которая используется в огромном количестве исследований. Несмотря на это, широко распространенными ошибками в работе над DEAP являются неверное разбиение данных, выбор биазный признаков, недостаточная оптимизация параметров модели, игнорирование несбалансированности классов и недостаточная транспарентность в описании методологии. Эти недостатки не только мешают достижению точных результатов, но и вызывают вопросы о реальной надежности получаемых результатов. Наша цель — изучить то, насколько эти проблемы влияют на результаты исследований, и предложить решения для улучшения методологии. #### Метод Мы проанализировали 101 исследования, использующих DEAP-данные для распознавания эмоций. Наша основная методика включала экспертные оценки, анализ полученных результатов и воспроизведение экспериментов с нарушением стандартных процедур. Мы искали распространенные проблемы в методологии, такие как проблемы с разделением данных, недостаточное использование классификаторов и неверное использование гиперпараметров. Для подтверждения нашей теории, мы воспроизвели эксперименты с известными ошибками в методологии и сравнили их результаты с теми, которые получились при строгом соблюдении стандартов. Это позволило нам оценить вклад каждой из проблем в получаемый вывод. #### Результаты Мы обнаружили, что 87% из 101 исследований, проанализированных в рамках нашего исследования, содержат один или несколько ошибочных аспектов методологии. Наиболее часто встречаются проблемы с неправильным разделением данных и недостаточным экспериментальным контролем. Мы также обнаружили, что эти ошибки могут привести к существенному увеличению категориальной точности классификации — до 46%. Эти результаты показывают, что распространенные недостатки в методологии могут значительно повлиять на надежность результатов. Они также свидетельствуют о том, что недостаток стандартизации в этих исследованиях может привести к значительной неточности и несогласованности в данных. #### Значимость Наши результаты имеют большое значение для многих областей, в том числе для машинного обучения, биомедицины, искусственного интеллекта и обработки сигналов. Они показывают, что наличие стандартизированных процедур работы с данными может значительно повысить надежность результатов. Наши по