Less Is More: Training-Free Sparse Attention with Global Locality for Efficient Reasoning

#################### ## Контекст #################### Улучшение размерности и скорости вывода является ключевым заданием в машинном обучении, особенно при работе с текстовыми данными. Несмотря на улучшения, достигнутые большими моделями в области логического роста, эти модели требуют большого объема вычислительных ресурсов, особенно при оценке большого количества токенов. Это становится проблемой в случае коротких входных запросов, где вычислительные затраты на построение выходных последовательностей не пропорциональны входной информации. Более того, существующие спарсированные механизмы внимания, которые пытаются уменьшить эти затраты, часто подвержены ошибкам, которые накапливаются при длительном генерировании. Эти ошибки могут привести к ухудшению точности. Мы предлагаем LessIsMore, новый механизм спарсированного внимания, который работает без необходимости дополнительного обучения, используя глобальные взаимосвязи вместо локальных оптимизаций. Это позволяет повысить эффективность и обеспечить лучшую универсальность. #################### ## Метод #################### Мы предлагаем LessIsMore, многоголосийский механизм спарсированного внимания, который агрегирует выбор токенов из локальных заголовков вместе с реконтекстуализацией на основе контекста. Метод работает следующим образом: выбранные токены из каждого локального заголовка объединяются и преобразуются в общую оценку всех токенов во всех заголовках. Это позволяет уменьшить количество токенов, которые необходимо обрабатывать при декодировании, при этом сохраняя точность. Механизм LessIsMore не требует дополнительного обучения и может применяться как к существующим моделям, так и к новым. Этот подход уменьшает требования к вычислительным ресурсам и повышает производительность, сохраняя высокую точность. #################### ## Результаты #################### Мы использовали LessIsMore в различных моделях логического роста и выполнили эксперименты на различных бенчмарках. Наши результаты показывают, что LessIsMore повышает эффективность, снижая число обрабатываемых токенов на $2\times$ по сравнению с существующими методами, при этом сохраняя высокую точность. Он позволяет снизить затраты на вычисления на $1.1\times$ в сравнении с полным вниманием и $1.13\times$ по сравнению с другими спарсированными методами. Это демонстрирует, что LessIsMore может эффективно уменьшить затраты на вычисления при оценке данных, не теряя точности. #################### ## Значимость #################### LessIsMore может быть применен в различных областях, где требуется высокая производительность и эффективность при обработке текстовых данных. Это может быть полезно в ситуациях, когда требуется высокая скорость вывода, таких как в реальном времени генер