Empirical PAC-Bayes bounds for Markov chains

## Контекст Общая теория обобщаемости была сконцентрирована на независимых наблюдениях. Однако, в некоторых работах рассматриваются модели с временными зависимостями. Например, были разработаны PAC и PAC-Bayes бунды для таких случаев. Однако, эти бунды содержат константы, зависящие от свойств порождающего процесса, таких как миксинг-коэффициенты, миксинг-время, и спектральный лаг. Такие константы обычно неизвестны в практических задачах. Настоящая работа посвящена разработке нового PAC-Bayes бунда для Марковских цепей, который зависит от нового понятия - псевдо-спектрального лага. Наша главная новизна заключается в том, что мы можем вычислить эмпирическую оценку этого псевдо-спектрального лага в случае конечного состояния. Таким образом, мы получили первый полностью эмпирический PAC-Bayes бунд для Марковских цепей. Это расширение валидно не только для конечных пространств состояний, однако требуются дополнительные предположения. На эмпирических экспериментах, эмпирическая версия бунда оказалась почти такой же строгой, как и неэмпирическая. ## Метод Мы разработали новую теорему о PAC-Bayes бунде для Марковских цепей. Эта теорема основывается на новом понятии - псевдо-спектрального лага. Чтобы получить эмпирическую оценку этого псевдо-спектрального лага, мы использовали моделирование на конечных пространствах состояний. Для эмпирического приближения, мы использовали теорию Марковских цепей, обобщенную на временные зависимости. Эта модель позволяет получить бунд, который зависит от псевдо-спектрального лага, но не требует предварительного знания свойств порождающего процесса. Мы также разработали симуляционные эксперименты, позволяющие проверить точность полученного бунда. ## Результаты Мы провели эксперименты на симуляционных данных с конечным пространством состояний. Наши результаты показали, что эмпирический PAC-Bayes бунд оказался почти такой же строгим, как и неэмпирический. Это задает новый подход к оценке обобщаемости для Марковских цепей, когда нет доступа к константам, зависящим от свойств процесса. Были получены результаты, подтверждающие эффективность псевдо-спектрального лага в качестве меры зависимости в Марковских цепях. Эти результаты могут быть применены в машинном обучении и других областях, где используются временные зависимости. ## Значимость Наша работа имеет значительное значение для области обобщаемости в нейронных сетях и вычислительной теории. Наш бунд может быть применен в задачах, где тре