Architecture-Aware Generalization Bounds for Temporal Networks: Theory and Fair Comparison Methodology

## Контекст Современные глубокие нейронные сети, такие как Temporal Convolutional Networks (TCNs), достигают высокой точности в прогнозировании последовательных данных. Однако теоретическое понимание их общей способности и ограничений остается недостаточно развитым. Это недостаток становится заметнее при сравнении различных моделей, где зачастую используются несогласованные эффективные обучающие выборки. Это приводит к несоответствию в результатах и снижению доверия к теоретическим анализам. Наша мотивация заключается в развитии теоретических общих ограничений для глубоких временных моделей и в создании нормализованного метода сравнения их эффективности. ## Метод Мы разработали метод оценки общей способности TCN, учитывающий специфику их архитектуры. Базовым элементом является механизм "задержанной обратной связи", который преобразует зависимости в выборке в эффективно независимые с помощью отсечения мелких объемов данных. Для ситуаций, когда выборки последовательно зависимы, мы оптимизируем выборку с использованием метода Блума, чтобы сузить расстояние между теорией и практикой. Для подтверждения метода, мы используем теорему о максимальной эффективности и закрепленные свойства выборки. ## Результаты Мы проводили эксперименты на упрощенных последовательных данных с разными степенями зависимости. Наши результаты показали, что модели TCN могут извлекать пользу из зависимостей в данных, включая ситуации с сильными зависимостями. Неожиданно, сильные зависимости могут привести к более эффективному обучению по сравнению с слабыми, что напротив ожиданий традиционной теории. Мы также показали, что наш метод дает более точные оценки общей способности TCN по сравнению с другими приемами. ## Значимость Наша работа может быть применена в системах, требующих точного прогнозирования на основе последовательных данных, таких как системы мониторинга, моделирования процессов времени и робототехника. Она позволяет оценить и сравнить модели с учетом их внутренней структуры, что улучшает предсказательную точность и уменьшает вероятность ложных срабатываний. Наш результат также открывает путь к более глубокому пониманию связи между теорией и практикой в обучении с учителем на последовательных данных. ## Выводы Мы предложили первые архитектурно ориентированные теоретические ограничения для общей способности TCN и разработали метод сравнения моделей, учитывающий эффективный размер выборки. Эксперименты показали, что зависимости в данных могут быть полезными для обучения, если они управляются правильно. Наша работа мотивирует будущие ис