Evaluating the Effectiveness and Scalability of LLM-Based Data Augmentation for Retrieval

#### Контекст Данная работа рассматривает проблему эффективности и масштабируемости использования больших языковых моделей (LLM) для дата-аугментации в задачах восстановления информации. Несмотря на то, что сжатые модели двухенкодерного типа (compact dual-encoder models) широко используются в решении задач восстановления, они часто оказываются неэффективными по сравнению с полномасштабными моделями. Это связано с ограниченным мировым знанием этих моделей. Дата-аугментация, основанная на LLM, предлагается как потенциальный путь к улучшению эффективности двухенкодерных моделей. Однако существуют недостатки в понимании ее эффективности и масштабируемости в реальных задачах восстановления. Особенно недостаточно исследований по оптимальному масштабу аугментации, необходимости использования больших моделей для аугментации и влиянию разнообразия аугментационных стратегий на общезначимость решений в OOD (out-of-distribution) ситуациях. Наша работа направлена на систематическое исследование эффективности дата-аугментации LLM в задачах восстановления информации. #### Метод Методология исследования основывается на экспериментальном анализе более чем 100 комбинаций различных моделей восстановления, моделей для дата-аугментации и стратегий их использования. Мы рассматриваем различные масштабы аугментации, включая различные модели LLM и алгоритмы разнообразия. Также мы проводим сравнительный анализ эффективности аугментации в зависимости от уровня предварительной обученности моделей восстановления. Модели дата-аугментации LLM используются для создания дополнительных данных, а эти данные, в свою очередь, используются для обучения и оценки моделей восстановления. Эксперименты проводятся на разнообразных наборах данных, включая данные с OOD условиями, что позволяет оценить уровень общезначимости решений. #### Результаты Наши эксперименты показали, что дата-аугментация действительно улучшает эффективность моделей восстановления, особенно для моделей с недостаточной предварительной обученностью. Однако мы также обнаружили, что преимущества аугментации имеют ограничение, даже при использовании разнообразных стратегий. Мы обнаружили, что необходимость использования больших моделей для дата-аугментации является необязательной, так как модели LLM с меньшим масштабом могут показывать похожий уровень эффективности с большими моделями. Кроме того, мы выявили, что ряд оптимизаций моделей восстановления может улучшить их общезначимость при использовании аугментации. #### Значимость Результаты нашего исследования имеют большую значимост