Value bounds and Convergence Analysis for Averages of LRP attributions

## Контекст Value-based attribution methods, такие как LRP (Layer-wise Relevance Propagation), широко применяются для понимания решений нейронных сетей. Однако существуют проблемы в их численных свойствах, включая изменчивость и нестандартность атрибуционных карт. Эти проблемы становятся важными при использовании нескольких типов аugmentation для тестовых данных, что может привести к нерешенным дисперсиям в атрибуционных оценках. Мы рассматриваем типичные методы LRP, такие как LRP-beta и LRP-epsilon, и исследуем их численные свойства, стремясь обеспечить лучшую понимаемость и надежность результатов. ## Метод Мы представляем методы LRP как произведение модифицированных градиентных матриц, что приводит к аналогии с матричной мультипликацией в рамках цепного правила дифференцирования. Данный подход позволяет проанализировать сингулярные значения и получить компонентно-определенные оценки для значений атрибуционных карт. Эти оценки используются для построения множителей, которые управляют тем, насколько быстро средние значения атрибуций приближаются к средним атрибуций в пределе по всем возможным данным. Мы применяем этот подход к LRP-beta и LRP-epsilon, включая свои модификации. ## Результаты Мы проводим эксперименты на множестве моделей и данных, включая MNIST и CIFAR-10, чтобы проверить нашу теоретическую модель. Мы получили компонентно-определенные оценки для значений атрибуционных карт, которые позволяют вывести множители для гарантий точности и сходимости. Эти результаты показывают, что LRP-beta имеет более стабильные свойства в сравнении с LRP-epsilon и другими типами методов LRP. Мы также проверили эффект модификаций LRP на результаты. ## Значимость Результаты имеют практическую значимость для сценариев, где несколько типов аugmentation применяются к индивидуальным тестовым образам, а также для Smoothgrad-типа методов атрибуции. Наш анализ показывает, что константы управляющие сходимостью для LRP-beta не зависят от норм весов, что делает эти методы более надежными для сценариев, где нормы весов могут быть высокими. Наши результаты также могут облегчить понимание и нормирование атрибуционных карт в нейронных сетях. ## Выводы Наша работа дает математически точное понимание численных свойств LRP-beta и других типов LRP. Мы показали, как модификации LRP влияют на стойкость и надежность атрибуционных методов в различных сценариях. Будущие исследования будут сфокусированы на расширении этого подхода к другим методам атрибуции и исследовании его влияния на многошарпные архитектуры нейронных сетей.