On the Theoretical Limitations of Embedding-Based Retrieval

## Контекст В последние годы векторные представления (embeddings) приобрели важное место в системах рекомендаций, восстановления информации и прочих задачах. Эти представления позволяют системам оценивать и производить поиск связей между данными. Однако в последнее время возникла тенденция к применению этих систем для решения более сложных задач, таких как рассуждения, выполнение инструкций, программирование и др. Несмотря на выдающиеся результаты, остались незатронутые вопросы, связанные с теоретическими ограничениями векторных представлений. Эти ограничения, как предполагается, могут быть связаны с недостатком данных или малым размером моделей. В данной работе мы показываем, что эти теоретические ограничения могут возникать даже при использовании простых запросов и уже существующих моделей. ## Метод Мы применяем метод линейной алгебры и методы математической логики для анализа ограничений векторных представлений. Для этого мы рассматриваем задачу оценки выборок документов в зависимости от данного запроса. Также вводится новый метод, основывающийся на free parameterized embeddings, для оптимизации задач поиска. Для тестирования было создано реалистичное тестовое задание LIMIT, которое демонстрирует ситуации, в которых векторные представления не справляются с задачей, несмотря на простоту задачи. ## Результаты Наши эксперименты показали, что даже на простых задачах с запросами, состоящими из одного документа, векторные модели не могут удовлетворить все возможные релевантные критерии. Мы показали, что это происходит из-за теоретических ограничений, связанных с размерностью пространства векторов. Также мы установили, что даже использование сложных моделей и больших объемов данных не позволяет полностью решить эту проблему. Было создано новое тестовое задание LIMIT, в котором проверялось работоспособность моделей на различных входных данных. Эксперименты показали, что даже современные модели страдают от этого ограничения, несмотря на простоту задачи. ## Значимость Наша работа открывает новый взгляд на ограничения векторных представлений в реальных системах. Мы показали, что эти ограничения могут возникать не только в редких или нежизненных ситуациях, но и в рабочих условиях, даже при использовании простых запросов. Это может иметь большое значение для работы семантических и поисковых систем, где необходимо точно выбирать материалы. Наше исследование может привести к развитию новых методов, которые будут способны решать эти теоретические проблемы. ## Выводы Мы продемонстрировали, что векторные представления страдают от теоретических ограничений, которые могут возникать даже в прост