An Approach to Grounding AI Model Evaluations in Human-derived Criteria

#### Контекст Область исследования связана с проблемами оценки и моделирования возможностей искусственного интеллекта (AI) в соответствии с учётными записями, полученными от людей. Традиционные подходы, основанные на статистических метриках и искусственных задачах, часто не могут успешно воспроизвести сложные и нелинейные аспекты человеческого разума. Это приводит к проблемам в интерпретируемости результатов и несоответствию моделей жизненным ситуациям. Задача состоит в том, чтобы разработать более жизнеспособный подход к оценке моделей AI, который учитывает субъективные и эмпатические особенности людского мышления. #### Метод Методология исследования основывается на предложенной модели, которая включает в себя интервью с экспертами, масштабные опросы и анализ ответов. Мы вводим следующие ключевые параметры для оценки: Логическое Мышление, Запоминающая Способность, Различение Реальности, Интерпретация Контекста. Эти параметры были проанализированы в рамках двух широко известных бенчмарков: Perception Test и OpenEQA. Наши исследования также включают использование многомерной статистики и сравнение результатов моделей AI с поведением человека. #### Результаты В результате исследований было выявлено, что AI модели неудовлетворительно справляются с задачами, требующими высоких уровней интерпретации и эмпатии. Они демонстрируют высокую точность в решении логических задач, но значительно отстают в аспектах, в которых требуется интеллектуальная гибкость и умение учитывать контекст. Наша модель показала, что люди выделяют эти области как критически важные для современных моделей AI. Выявленная разница в поведении позволила создать новый подход к разработке бенчмарков, которая учитывает эти нужды. #### Значимость Новый подход к оценке моделей AI имеет широкие применения в развитии интеллектуальных систем. Он может быть использован в сферах, где требуется высокий уровень контекстной интерпретации, таких как робототехника, разработка пользовательских интерфейсов или системы поддержки принятия решений. Этот подход позволит создавать более человечно-ориентированные модели, улучшая их применимость в реальной жизни. Это также открывает путь к улучшению интеллектуальных систем, которые будут более эффективны в обработке комплексных задач, требующих эмпатии и простоты в интерпретации. #### Выводы Мы доказали, что новый подход к определению критериев оценки AI моделей позволяет сделать их оценку более точной и полезной в реальных ситуациях. Однако, в дальнейших исследо