## Контекст Рассмотрение проблемы calibration в статье "Calibration through the Lens of Indistinguishability" возникает в контексте традиционного сообщества по прогнозированию, которое рассматривает вопросы, связанные с интерпретацией прогнозируемых вероятностей. В неизбежной неопределенности мира, где прогнозы представляются в виде вероятностей, а реальные результаты происходят в виде дискретных выборов, возникает вопрос о том, как должны быть оценены прогнозы вероятностей. Эта проблема становится все актуальнее в связи с появлением в машинном обучении и других областях искусственного интеллекта вероятностных прогнозов. В статье авторы рассматривают альтернативный взгляд на моделирование и оценку прогнозирования под названием "indistinguishability" (неотличимость), которая позволяет понимать как процесс прогнозирования, так и меры качества прогнозов в целом. ## Метод Подход, изложенный в статье, основывается на идее неотличимости мира, прогнозируемого моделью, и реального мира. Качество прогноза оценивается на основе способности отличить данные, полученные от прогнозирующей модели, от реальных данных, полученных от "оптимального" прогнозирующего модели. Для этого авторы предлагают вводить различные меры неотличимости, которые позволяют измерить разницу между этими двумя мирами. Основная идея заключается в том, что если модель прогнозирует неверную вероятность, то она становится неотличимой от истинного мира. Альтернативный подход, предложенный в статье, заключается в использовании методов, позволяющих оценить качество прогноза, не только с помощью мер качества (как precision и recall), но и с помощью мер неотличимости. ## Результаты В результате исследований, описанных в статье, авторы показали, что использование мер неотличимости позволяет получить более точную оценку качества прогноза, чем использование классических мер качества. Также было показано, что меры неотличимости могут быть применены для проверки качества различных моделей прогнозирования. Эксперименты проводились на разных наборах данных, и в них были исследованы различные модели прогнозирования. Авторы показали, что применение мер неотличимости позволяет улучшить точность прогноза в несколько раз в сравнении с классическими методами. ## Значимость Предлагаемый подход имеет широкое применение в области машинного обучения и других областях, где используются прогнозирования. Он позволяет улучшить качество прогнозирования, особенно в ситуациях, когда используется несколько моделей прогнозирования. Одним из основных преимуществ этого подхода является возможность оценивать качество прогнозов не только с помощью классических мер качества, но и с помощью мер неотличимости, что позволяет получить более пол

## Контекст Federated Learning (FL) является важной методологией в области машинного обучения, позволяющей обучать модели на распределенных данных, обеспечивая при этом приватность данных участников. Однако, успех FL часто зависит от поведения участников, которое может быть непредсказуемым и целенаправленным. Участники могут искажать результаты обучения, например, в ущерб общей модели, чтобы оптимизировать метрики, которые оценивают их вклад. Такое поведение, известное как "gaming" (игра), может привести к снижению качества модели и ухудшению ее работы в реальной среде. Необходима система мониторинга, которая позволит определять и интерпретировать подобные попытки игры, чтобы предотвратить их и сохранить доверие в системе. ## Метод Мы развиваем аналитический фреймворк, который рассматривает FL не только как задачу оптимизации, но и как стратегическую систему с правилами и инстинктами. Мы предлагаем два индекса: **Incentive Index (Индекс стимулов)**, оценивающий степень целесообразности поддельных действий, и **Performance Loss Index (Индекс потерь производительности)**, измеряющий фактический вклад в общую производительность. Эти индексы позволяют оценивать поведение участников в различных условиях. Мы также разрабатываем алгоритм для распределения ресурсов аудита, чтобы эффективно отслеживать и обнаруживать подозрительные участников. Далее, мы формулируем ранние сигналы о подозрительном поведении, которые могут быть использованы для активной мониторинга. ## Результаты Мы проводим эксперименты на различных симуляционных средах, включая те, где участники играют на коллективную потерю, и другие, где индивидуальные игры преимущественно стимулируются. Наши результаты показывают, что индексы могут точно выявлять игровые попытки в различных условиях. Мы также проверяем эффективность алгоритма распределения ресурсов аудита, который позволяет оптимизировать ресурсы для мониторинга. Кроме того, мы определяем пороговые значения, автоматические правила переключения, и ранние сигналы, которые могут быть использованы для простого интегрирования в реальные ситуации. ## Значимость Наши находки могут быть применены в различных сферах, включая распределенные системы, игровые сценарии, и даже корпоративные среды, где участники могут искажать результаты для выгоды. Мы показываем, что наш подход позволяет повысить доверие к FL, уменьшить стимулы для метрической игры, и обеспечить консистентную производительность. Мы также подчеркиваем, что целесообразность наших рекомендаций зависит от того, насколько участники могут быть способны оценить каждую ситуацию и принять

################################# ## Контекст ################################# Федеративное обучение (Federated Learning, FL) — это метод обучения моделей машинного обучения, в котором несколько клиентов объединяются для обучения модели, отправляя градиенты (вместо непосредственно данных) на сервер. Это позволяет обучать модели, не передавая личные данные клиентов. Однако, даже при отправке только градиентов, существует риск вытекающей информации, что может повлиять на конфиденциальность клиентов. Чтобы сдерживать этот риск, используется локальная дифференциальная конфиденциальность (Local Differential Privacy, LDP). LDP предполагает добавление шума к градиентам клиентов, прежде чем они отправляются на сервер. Хотя это защищает конфиденциальность клиентов, это приводит к понижению точности глобальной модели. Было подтверждено, что принимая оптимальные решения, градиенты добавляют шум, который влияет на качество обучения. Наша работа рассматривает этот конфликт между конфиденциальностью и качеством обучения в FL и предлагает решения для оптимизации этого баланса. ################################# ## Метод ################################# Мы строим модель FL, в которой клиенты решают, насколько градиенты нужно искажать, добавляя шум. Мы задаем взаимодействие между клиентами и сервером в качестве игры. Клиент выбирает количество шума, который добавит к своим градиентам, при этом сервер предоставляет токены (в зависимости от степени искажения), которые клиент может использовать для получения обновленной модели. Наш метод использует инструменты из теории игр для моделирования этого взаимодействия. Мы определяем игроков (клиенты и сервер), их действия (уровни добавления шума) и выигрышные функции (качество модели для сервера и конфиденциальность для клиентов). Мы также рассмотрели различные сценарии токенов и их влияние на конфиденциальность и качество модели. ################################# ## Результаты ################################# Мы проводили многочисленные эксперименты с разными уровнями добавления шума и различными сценариями токенов. Наши результаты показывают, что при оптимальном балансе между добавлением шума и токенными наградами можно достичь значительного повышения точности глобальной модели, не сильно повлияв на конфиденциальность клиентов. Мы также обнаружили, что стратегически оптимальная стратегия для клиентов состоит в добавлении минимального шума, который позволяет получить достаточно токенов для обновления модели, не сильно затрагивая точность обучения. Эти результаты подтверждают, что наш метод позволяет найти сбалансированные решения, когда FL оптимально выполняется в терминах конфиденциальности и точности. ################################# ## Значимость ################################# Наша работа имеет значительное значение в сфере конфиденциального широкомасштабного обучения. Мы предлагаем решение