"My productivity is boosted, but ..." Demystifying Users' Perception on AI Coding Assistants
2508.12285v1
cs.SE, cs.AI, cs.HC
2025-08-19
Авторы:
Yunbo Lyu, Zhou Yang, Jieke Shi, Jianming Chang, Yue Liu, David Lo
Резюме на русском
## Контекст
В последние годы AI-кодинг-ассистенты, такие как GitHub Copilot, стали всё более популярными среди разработчиков. Они предлагают удобные инструменты для повышения производительности, помогая в писании кода, идентификации ошибок и развитии новых решений. Однако, несмотря на обширную администрацию, остаются многочисленные вопросы относительно того, что именно разработчики ожидают от таких инструментов и какие проблемы они сталкиваются при использовании. Недостаточное понимание этих аспектов может привести к неэффективному использованию и неудовлетворенности. Данная статья проверяет эти проблемы, основываясь на первых-лиценных отзывах разработчиков, чтобы получить более обоснованное понимание их нужд и ожиданий.
## Метод
Исследование основывается на анализе 1,085 AI-кодинг-ассистентов, извлеченных из Visual Studio Code Marketplace. Хотя они составляют всего 1.64% всех расширений, их число стремительно растёт — более 90% были выпущены в течение последних двух лет. Для получения более глубоких пониманий взаимодействия пользователей с этими инструментами, авторы проводят ручной анализ отзывов от 32 популярных наборов. Они создают подробную категоризацию отзывов, охватывающую спектр взглядов пользователей, включая ожидания, удовлетворение и неудовлетворенность. Это позволяет получить детализированный обзор проблем, с которыми сталкиваются разработчики при использовании AI-кодинг-ассистентов.
## Результаты
Основные полученные результаты показывают, что пользователи ожидают не только интеллектуальных подсказок, но и контекстно-ориентированных, настраиваемых и ресурсо-эффективных функций. Анализ отзывов выявил несколько ключевых проблем, включая несоответствия предлагаемых подсказок реальным потребностям пользователя, сложности в настройке инструментов и нехватку ресурсо-эффективности. Также выявлено, что некоторые пользователи выражают неудовлетворенность связанной с производительностью и надежностью инструментов. Эти результаты предоставляют полезные подсказки для улучшения AI-кодинг-ассистентов, чтобы они могли лучше соответствовать потребностям разработчиков.
## Значимость
Результаты имеют значительное значение для разработчиков, производителей AI-инструментов и для общей индустрии программного обеспечения. Они открывают видимость в том, что разработчики не только нуждаются в интеллектуальных подсказах, но и в инструментах, которые могут быть легко настроены, контекстно-ориентированы и эффективны в использовании ресурсов. Эти полученные понятия могут помочь в развитии более эффективных и полезных AI-инструмен
Abstract
This paper aims to explore fundamental questions in the era when AI coding
assistants like GitHub Copilot are widely adopted: what do developers truly
value and criticize in AI coding assistants, and what does this reveal about
their needs and expectations in real-world software development? Unlike
previous studies that conduct observational research in controlled and
simulated environments, we analyze extensive, first-hand user reviews of AI
coding assistants, which capture developers' authentic perspectives and
experiences drawn directly from their actual day-to-day work contexts. We
identify 1,085 AI coding assistants from the Visual Studio Code Marketplace.
Although they only account for 1.64% of all extensions, we observe a surge in
these assistants: over 90% of them are released within the past two years. We
then manually analyze the user reviews sampled from 32 AI coding assistants
that have sufficient installations and reviews to construct a comprehensive
taxonomy of user concerns and feedback about these assistants. We manually
annotate each review's attitude when mentioning certain aspects of coding
assistants, yielding nuanced insights into user satisfaction and
dissatisfaction regarding specific features, concerns, and overall tool
performance. Built on top of the findings-including how users demand not just
intelligent suggestions but also context-aware, customizable, and
resource-efficient interactions-we propose five practical implications and
suggestions to guide the enhancement of AI coding assistants that satisfy user
needs.
Ссылки и действия
Дополнительные ресурсы: