Who Gets Left Behind? Auditing Disability Inclusivity in Large Language Models

## Контекст Large Language Models (LLMs) представляют собой мощные инструменты, применяемые в различных областях, включая доступность и улучшение возможностей людей с ограниченными возможностями. Тем не менее, несмотря на их широкий применение, многие группы с ограниченными возможностями остаются за пределами достаточного покрытия их потребностей. Это связано с тем, что модели часто не учитывают все различные аспекты и специфику различных форм инвалидности. Это приводит к глубоким недостаткам в их работе в сфере доступности. Одним из ключевых вопросов является оценка того, какие группы с ограниченными возможностями остаются за спиной в текущих моделях, и как их можно исправить. ## Метод Для получения более полной картины обстоятельств, была разработана конкретная методология. Она включала разработку категорий вопросов, которые могут быть заданы моделям для оценки их удовлетворяемости потребностям людей с ограниченными возможностями. Эти вопросы были разработаны с учетом различных форм инвалидности, включая зрение, слух, мобильность, говорение и другие. Была также разработана методика для оценки длины и глубины ответов моделей на эти вопросы. Это позволило выявить степень достаточности поддержки специфичных групп, а также определить области, где модели имеют самые сильные недостатки. ## Результаты Применение этой методологии к 17 моделям LLM, включая отечественные и зарубежные, показало значительные различия в степени поддержки различных видов инвалидности. Например, группы с зрением, слухом и мобильностью были достаточно хорошо охвачены, но группы с генетической и развивающейся инвалидностью, а также с психическими расстройствами, оставались за спиной. Также было замечено, что ответы моделей часто не хватало глубины и конкретности для полного удовлетворения потребностей. ## Значимость Это исследование имеет значительное значение для улучшения доступности и инклюзивности в контексте технологий машинного обучения. Оно позволяет выявить ключевые проблемы в текущих моделях и предлагает стратегии для их решения. Например, модели могут быть обучены с учетом различных форм инвалидности, и их можно протестировать на соответствии различным категориям. Это также может способствовать созданию более вовлеченных и эффективных систем помощи для людей с ограниченными возможностями. ## Выводы В ходе исследования были выявлены значительные проблемы с глубиной и балансом в поддержке различных форм инвалидности в текущих моделях LLM. На основании этих результатов были сформулированы рекомендаци