Throttling Web Agents Using Reasoning Gates

## Контекст Область исследования связана с управлением веб-агентами, которые используются для автоматизации взаимодействия с веб-сайтами. Эти агенты могут быть развернуты как в целях полезных задач (например, сбор данных или анализ), так и для вредоносных действий, таких как перегрузка сервисов или злоупотребление ресурсами. Одним из ключевых вопросов является то, как контролировать доступ агентов к ресурсам, при этом избегая их полного блокирования. Существуют существующие методы, такие как CAPTCHA и защиты от ошибочных запросов, но они не всегда эффективны против расширенных возможностей современных веб-агентов. Например, некоторые агенты могут выполнять масштабные запросы, скрапить контент или использовать модели языка для обойтимых методов идентификации. Мотивацией для данного исследования является разработка новых методов, позволяющих эффективно управлять доступом к ресурсам веб-сервисов, используя синтетические задачи и ассиметричные затраты на выполнение. ## Метод Формализованные задачи решаются с помощью метода "Throttling Gates" — систематических синтетических задач, выдаваемых агентам, прежде чем им разрешается доступ к ресурсам. Эти задачи должны удовлетворять следующим свойствам: асимметричность (затраты ресурсов подготовки задачи выше, чем на ее решение), масштабируемость (задачи могут быть применены к различным агентам), устойчивость (устойчивость к обойтимым защитам) и совместимость (не требуют изменения в основной архитектуре сервиса). Для решения этих целей был разработан новый тип задач — Reasoning Gates — основанных на ребусах (puzzles), которые требуют многошагового рассуждения и использования мировых знаний. Решение поставленных задач требует большого количества токенов для генерации ответов, что существенно увеличивает нагрузку на модели генерации текста. Для упрощения внедрения и эффективности был разработан протокол генерации и проверки задач, позволяющий с помощью синтетических моделей генерировать и проверять ответы агентов. ## Результаты В ходе экспериментов применения Throttling Gates показано, что они позволяют значительно увеличить затраты на выполнение задач по сравнению с существующими методами. Например, для модели GPT-3 задачи Reasoning Gates требуют 9,2 раз больше токенов на генерацию ответа. Эти результаты были получены с помощью реализации и использования протокола на демонстрационном сайте, где было измерено взаимодействие с реальными веб-агентами. Для подтверждения эффективности был проведен сравнительный анализ с другими методами защиты, такими как CAPTCHA и защита от ботов.