Testing the assumptions about the geometry of sentence embedding spaces: the cosine measure need not apply

## Контекст Основной контекст данного исследования заключается в оценке предположений о геометрии пространств слов и предложений, в частности, вопросе о том, может ли косинусная мера подходить для оценки их отношений. Мотивация для исследования лежит в том, что модели Transformer, такие как BERT, преобразуют текст в контекстные токенные представления. Эти представления используются в многих лингвистических задачах, но модели не всегда становятся понятными на уровне геометрии пространств. Авторы задаются вопросом о том, можно ли иметь вообще грубое представление о том, как выполняется это преобразование, если речь идет о некоторых лингвистических свойствах. Таким образом, основной вопрос, который рассматривается в работе, — как геометрия пространств предложений отражается на их поведении на различных лингвистических задачах, и можно ли определить какие-либо общие паттерны. ## Метод Для решения этой проблемы авторы представляют три основных метода, которые использовались для вычисления слов в пространстве слов: 1) усреднение токена, 2) использование специального токена [CLS] и 3) выбор случайного токена из предложения. Для оценки пространств предложений, авторы использовали косинусную меру, которая рассматривает лишь те структуры, которые есть на очень высоком уровне. Они исследуют, возможно ли использовать этот подход для поиска схожих свойств между предложениями, а также оценивают геометрические свойства, включая расстояния между токенами. Таким образом, основная теория, которую исследуют, заключается в том, можно ли добиться хорошей корреляции между расстоянием в пространстве слов и их лингвистическим смыслом, а также отношением к задачам. ## Результаты Результаты исследования показали, что косинусная мера, на самом деле, несет в себе лишь ограниченную информацию, не отражающую полноценные свойства предложений. В частности, авторы отмечают, что расстояние между словами или предложениями в пространстве не всегда сигнализирует о том, как они связаны в плане лингвистической семантики. Таким образом, как выяснилось в результатах, косинусная мера может давать некорректные выводы, когда речь идет о том, какие предложения принадлежат к той же группе с точки зрения лингвистики. Основной вывод заключается в том, что косинусная мера не может гарантировать достоверную корреляцию между расстоянием в пространстве и фактическим лингвистическим смыслом. ## Значимость Изучение геометрии пространств слов и предложений имеет реальную значимость в области применения моделей NLP. Данные результаты могут быть применены в техническо