Understanding Data Influence with Differential Approximation

## Контекст Обработка данных является ключевым фактором в развитии искусственного интеллекта. Аккуратное измерение и анализ данных необходимы для эффективного обучения моделей и повышения качества их применения. Однако существующие инструменты для анализа данных часто недостаточно точны и становятся неэффективными в некоторых сценариях. Например, многие из них исходят из некорректных предположений, таких как, что функция потерь в нейронных сетях является конвексной. Такая проблема затрудняет реализацию этих методов на практике. Мы предлагаем новую модель Diff-In для точного оценки влияния данных, которая устраняет эти ограничения и демонстрирует высокую точность и масштабируемость. ## Метод Мы предлагаем новую формулу для аппроксимации влияния данных, которая основывается на суммировании различий влияния между соседними шагами обучения нейронной сети. Этот подход, мы назвали Diff-In. На каждом шаге обучения мы формулируем влияние каждого данного примера как сумма всех изменений его влияния на модель. Чтобы повысить точность аппроксимации, мы применяем второй порядок аппроксимации, который учитывает вторичные зависимости в данных. Несмотря на то, что метод Diff-In является второго порядка, его вычислительная сложность остается примерно такой же, как у методов первого порядка, что делает его эффективным и масштабируемым. Для вычисления второго порядка мы используем недорогую аппроксимацию, основанную на разностях первых производных. ## Результаты Мы проверяли Diff-In на нескольких широко используемых наборах данных и задачах, связанных с обработкой данных. Наши теоретические исследования показали, что Diff-In оказывается более точным в сравнении с другими методами оценки влияния данных. Эксперименты показали, что Diff-In выполняет оценку влияния данных быстрее и точнее, чем существующие методы, даже при работе с очень большими наборами данных. Например, в задаче удаления данных из обучающего набора, метод Diff-In демонстрирует более точную оценку влияния данных, чем существующие подходы. Также, нами проверено, что Diff-In может масштабироваться до миллионов данных, что делает его применимым в задачах визуального и варьирующегося анализа данных. ## Значимость Метод Diff-In может быть применен в различных областях, где важно точно оценить влияние данных, например в принятии решений в области машинного обучения, в обработке данных видео и текста. Он позволяет улучшить качество и эффективность обучения моделей, а также повысить способность обработки больших наборов данных. Это может привести к значительным экономиям в ресурсах и повышению качества моделей, используемых в ре