IIET: Efficient Numerical Transformer via Implicit Iterative Euler Method

## Контекст Одной из основных задач в области машинного обучения является улучшение моделей, а именно, увеличение их точности и эффективности. Несмотря на то, что трансформеры достигли высокой точности в задачах NLP и CV, их вычислительная сложность и накладные расходы остаются высокими. Таким образом, целью является создание моделей, которые были бы как можно точнее, но при этом эффективнее в исполнении. На сегодняшний день, существуют различные подходы к эффективности трансформеров, такие как процессы уменьшения размера модели, уменьшение сложности вычислений и использование классической дистилляции. Однако, эти подходы не всегда подходят для моделей с высокой точностью, таких как PCformer. В этом контексте, авторы предлагают IIET, подход, который улучшает эффективность, оптимизируя инференс-процесс, при этом сохраняя высокую точность. ## Метод Предлагаемый подход IIET (Implicit Iterative Euler Transformer) основывается на использовании итеративного неявного метода Эйлера для решения оптимизационных задач в трансформере. В отличии от традиционных трансформеров, где вычисления производятся в одном шаге, IIET разделяет процесс решения задачи на несколько итераций, чтобы получить более точное решение. Этот подход позволяет уменьшить вычислительную сложность, при этом сохраняя высокую точность. Затем, для повышения эффективности модели, авторы предлагают Iteration Influence-Aware Distillation (IIAD), метод, который позволяет эффективно управлять торможением модели во время обучения. IIAD имеет гибкий подход к контролю точности и эффективности, что делает IIET моделью гибкой и оптимизированной. ## Результаты Экспериментальные результаты показывают, что IIET улучшает точность активных трансформеров, таких как PCformer, на 2.65%, а также увеличивает точность традиционных моделей, таких как vanilla Transformer, на 0.8%. В то же время, вариант E-IIET, оптимизированный для более эффективного инференса, уменьшает вычислительные расходы на 55%, при этом сохраняя 99.4% точности в задаче. Это демонстрирует высокую эффективность IIET, которая при этом не теряет в точности. Более того, наиболее эффективный вариант IIET показал среднюю повышение точности в 1.6% по сравнению с vanilla Transformer, при этом выполняя задачу быстрее. ## Значимость IIET может быть использован в различных областях применения, где требуется высокая точность и эффективность. Это могут быть задачи NLP, CV, а также другие задачи, где требуются высокоэффективные модели. Одним из основных преимуществ IIET является то, что он не требует серьезных компромиссов между точностью и производительностью. Это делает IIET привлекательным для задач