We're Still Doing It (All) Wrong: Recommender Systems, Fifteen Years Later

2509.09414v1 cs.IR, cs.AI 2025-09-13
Авторы:

Alan Said, Maria Soledad Pera, Michael D. Ekstrand

Резюме на русском

## Контекст Последние 15 лет рекомендательные системы (Recommender Systems, RS) стали ключевым инструментом в различных сферах жизнедеятельности, включая консультации, рекламу, поиск информации и даже научные исследования. Однако существует значительное количество проблем, касающихся моделей, метрик и оценки систем, которые не были достаточно решены. Это приводит к неоднозначным результатам, повторной использованности данных и недостаточной интроспекции в работе. Несмотря на то, что в 2011 году Xavier Amatriain высказался о необходимости корректировки направлений исследований в области RS, многие из идентифицированных проблем до сих пор остаются актуальными. ## Метод В работе предлагается возвращение к основным проблемам, выделенным в 2011 году, и осуществление нового взгляда на них, используя подходы, основанные на современных исследованиях. Особое внимание уделяется работе по репродуктивности, оценке методов и их воздействию на окружающую среду, а также на принципы участия в проектировании систем. Авторы исследуют, какие институциональные и сообщественные инициативы могут привести к существенным изменениям в подходе к разработке и оценке RS. ## Результаты Авторы провели несколько экспериментов для иллюстрации недостатков нынешнего подхода к оценке RS. Они использовали данные из реальных систем, продемонстрировав, что многие популярные метрики не дают достаточного понимания реального влияния RS на пользователей и научных работ. Кроме того, были проанализированы недавние исследования, показавшие несоответствие методов оценки реальной жизненной ситуации. ## Значимость Рекомендательные системы имеют большое значение в области улучшения пользовательского опыта, увеличения эффективности рекламы и поддержки принятия решений. Однако существуют риски, связанные с их недостатком. Авторы предлагают новый подход, основанный на уважении к научной ответственности, внимании к экологическому воздействию и участию человека в процессе разработки. Это может привести к более честным, устойчивым и полезным рекомендательным системам. ## Выводы Концептуальные и технические проблемы, выделенные в 2011 году, все еще остаются в системах RS. Авторы предлагают направления для будущих исследований, включая создание наборов данных для открытого доступа, развитие методов оценки, которые более хорошо отражают реальную жизненную ситуацию, и выработку подходов, призванных сделать RS более устойчивыми и эффективными в достижении пользовательских целей.

Abstract

In 2011, Xavier Amatriain sounded the alarm: recommender systems research was "doing it all wrong" [1]. His critique, rooted in statistical misinterpretation and methodological shortcuts, remains as relevant today as it was then. But rather than correcting course, we added new layers of sophistication on top of the same broken foundations. This paper revisits Amatriain's diagnosis and argues that many of the conceptual, epistemological, and infrastructural failures he identified still persist, in more subtle or systemic forms. Drawing on recent work in reproducibility, evaluation methodology, environmental impact, and participatory design, we showcase how the field's accelerating complexity has outpaced its introspection. We highlight ongoing community-led initiatives that attempt to shift the paradigm, including workshops, evaluation frameworks, and calls for value-sensitive and participatory research. At the same time, we contend that meaningful change will require not only new metrics or better tooling, but a fundamental reframing of what recommender systems research is for, who it serves, and how knowledge is produced and validated. Our call is not just for technical reform, but for a recommender systems research agenda grounded in epistemic humility, human impact, and sustainable practice.

Ссылки и действия