## Контекст Рассмотрение проблемы calibration в статье "Calibration through the Lens of Indistinguishability" возникает в контексте традиционного сообщества по прогнозированию, которое рассматривает вопросы, связанные с интерпретацией прогнозируемых вероятностей. В неизбежной неопределенности мира, где прогнозы представляются в виде вероятностей, а реальные результаты происходят в виде дискретных выборов, возникает вопрос о том, как должны быть оценены прогнозы вероятностей. Эта проблема становится все актуальнее в связи с появлением в машинном обучении и других областях искусственного интеллекта вероятностных прогнозов. В статье авторы рассматривают альтернативный взгляд на моделирование и оценку прогнозирования под названием "indistinguishability" (неотличимость), которая позволяет понимать как процесс прогнозирования, так и меры качества прогнозов в целом. ## Метод Подход, изложенный в статье, основывается на идее неотличимости мира, прогнозируемого моделью, и реального мира. Качество прогноза оценивается на основе способности отличить данные, полученные от прогнозирующей модели, от реальных данных, полученных от "оптимального" прогнозирующего модели. Для этого авторы предлагают вводить различные меры неотличимости, которые позволяют измерить разницу между этими двумя мирами. Основная идея заключается в том, что если модель прогнозирует неверную вероятность, то она становится неотличимой от истинного мира. Альтернативный подход, предложенный в статье, заключается в использовании методов, позволяющих оценить качество прогноза, не только с помощью мер качества (как precision и recall), но и с помощью мер неотличимости. ## Результаты В результате исследований, описанных в статье, авторы показали, что использование мер неотличимости позволяет получить более точную оценку качества прогноза, чем использование классических мер качества. Также было показано, что меры неотличимости могут быть применены для проверки качества различных моделей прогнозирования. Эксперименты проводились на разных наборах данных, и в них были исследованы различные модели прогнозирования. Авторы показали, что применение мер неотличимости позволяет улучшить точность прогноза в несколько раз в сравнении с классическими методами. ## Значимость Предлагаемый подход имеет широкое применение в области машинного обучения и других областях, где используются прогнозирования. Он позволяет улучшить качество прогнозирования, особенно в ситуациях, когда используется несколько моделей прогнозирования. Одним из основных преимуществ этого подхода является возможность оценивать качество прогнозов не только с помощью классических мер качества, но и с помощью мер неотличимости, что позволяет получить более пол

## Контекст Federated Learning (FL) является важной методологией в области машинного обучения, позволяющей обучать модели на распределенных данных, обеспечивая при этом приватность данных участников. Однако, успех FL часто зависит от поведения участников, которое может быть непредсказуемым и целенаправленным. Участники могут искажать результаты обучения, например, в ущерб общей модели, чтобы оптимизировать метрики, которые оценивают их вклад. Такое поведение, известное как "gaming" (игра), может привести к снижению качества модели и ухудшению ее работы в реальной среде. Необходима система мониторинга, которая позволит определять и интерпретировать подобные попытки игры, чтобы предотвратить их и сохранить доверие в системе. ## Метод Мы развиваем аналитический фреймворк, который рассматривает FL не только как задачу оптимизации, но и как стратегическую систему с правилами и инстинктами. Мы предлагаем два индекса: **Incentive Index (Индекс стимулов)**, оценивающий степень целесообразности поддельных действий, и **Performance Loss Index (Индекс потерь производительности)**, измеряющий фактический вклад в общую производительность. Эти индексы позволяют оценивать поведение участников в различных условиях. Мы также разрабатываем алгоритм для распределения ресурсов аудита, чтобы эффективно отслеживать и обнаруживать подозрительные участников. Далее, мы формулируем ранние сигналы о подозрительном поведении, которые могут быть использованы для активной мониторинга. ## Результаты Мы проводим эксперименты на различных симуляционных средах, включая те, где участники играют на коллективную потерю, и другие, где индивидуальные игры преимущественно стимулируются. Наши результаты показывают, что индексы могут точно выявлять игровые попытки в различных условиях. Мы также проверяем эффективность алгоритма распределения ресурсов аудита, который позволяет оптимизировать ресурсы для мониторинга. Кроме того, мы определяем пороговые значения, автоматические правила переключения, и ранние сигналы, которые могут быть использованы для простого интегрирования в реальные ситуации. ## Значимость Наши находки могут быть применены в различных сферах, включая распределенные системы, игровые сценарии, и даже корпоративные среды, где участники могут искажать результаты для выгоды. Мы показываем, что наш подход позволяет повысить доверие к FL, уменьшить стимулы для метрической игры, и обеспечить консистентную производительность. Мы также подчеркиваем, что целесообразность наших рекомендаций зависит от того, насколько участники могут быть способны оценить каждую ситуацию и принять