Data Retrieval with Importance Weights for Few-Shot Imitation Learning

## Контекст Имитационное обучение (IL) является важной методологией для научных и прикладных задач, позволяющей модели роботов осваивать новые окружения и задачи с минимальным числом примеров. Одним из подходов является **ретриев-подход** (retrieval-based imitation learning), который использует богатые и доступные базы данных для увеличения размера демонстрационных данных. Традиционный подход к ретриеву заключается в поиске ближайших соседей (NN) в латентном пространстве, однако он имеет высокий шум и не учитывает распределение данных в основной базе. Это приводит к ограниченности при обучении на небольших наборах данных в неизвестных средах. Мы предлагаем метод **Importance Weighted Retrieval (IWR)**, который учитывает веса источника данных во время выбора обучающих примеров, чтобы улучшить точность и устойчивость IL-методов. ## Метод Мы предложили **Importance Weighted Retrieval (IWR)**, который решает проблему выбора данных в ретриев-подходах, основываясь на оценке веса важности (importance weight) для каждого примера данных. Эти веса вычисляются с помощью гауссовой оценки плотности распределения (Gaussian KDE), учитывая распределение как целевого, так и предварительного набора данных. Чтобы выбрать наиболее подходящие примеры из базы данных, мы используем формулу: $w_i = \frac{p_{\text{target}}(x_i)}{p_{\text{prior}}(x_i)}$, где $w_i$ — веса примера $x_i$, а $p_{\text{target}}(x_i)$ и $p_{\text{prior}}(x_i)$ — распределения в целевой и предварительной базах данных соответственно. Этот подход устраняет неточности выбора примеров, обеспечивая более стабильное и точное обучение в режиме небольших демонстраций (few-shot learning). ## Результаты Мы провели эксперименты на симуляционных средах и на реальных данных с датчиками Bridge. Мы сравнили IWR с традиционным методом выбора NN в латентном пространстве. Результаты показали, что IWR улучшает производительность в задачах нескольких примеров (few-shot learning), даже при небольших изменениях в архитектуре и количестве данных. Мы также проверили эффективность различных гиперпараметров KDE в нашем подходе, установив, что средние значения дают наилучший результат. Эти результаты подтверждают, что IWR способствует более эффективному обучению в ситуациях с малым количеством примеров. ## Значимость Наш метод может быть применен в различных прикладных задачах, включая робототехнику, программирование на основе демонстраций и обучение моделей в сложных окружениях. IWR позволяет повысить точность и устойчивость обучения в режиме небольших демонстраций, что является ключевым для успешного применения в реальном мире. Этот подход имеет потенциал для расширения широты применения IL в сферах, где данных для обучения ограничены, но требуется высокая точ