#### Контекст Область варианс-базированной сенситивности (Sobol' index) играет ключевую роль в анализе влияния входных параметров на выходные показатели сложных моделей. Данные методы особенно важны для моделей, требующих высоких вычислительных затрат, таких как модели нейронных сетей, в которых число входных параметров может превышать $10^4$. Однако существующие методы стыкуются с ограничениями при работе с моделями этого класса. Особенно это касается методов, использующих "предварительно заданные" данные (given-data methods), которые требуют хранения всех входно-выходных данных в памяти, что быстро становится неоправданно ресурсоёмким. Наша мотивация заключается в развитии расширенных методов, позволяющих эффективно использовать имеющиеся данные для высокоточного анализа влияния входных параметров в случаях с очень большим числом параметров. #### Метод Мы разработали расширения существующих данных-данных методов, которые устраняют ключевые ограничения. В частности, мы предложили **обобщённое определение выборочного Sobol'-индекса** с произвольной разбивкой входных параметров. Также разработана **стриминговая алгоритмика**, позволяющая обрабатывать входно-выходные данные в батчах, что эффективно ограничивает требования к памяти. Для снижения шума в результатах мы внедрили **метод фильтрации незначительных индексов**, который отсеивает значения, не отличимые от нуля статистической точностью. Эти разработки позволяют применять данные методы к моделям с миллионами входных параметров, предоставляя точные и надежные результаты. #### Результаты Мы провели эксперименты на двух примерах моделей нейронных сетей, имеющих более $10^4$ параметров. Мы сравнили наши расширенные методы с существующими подходами, включая стандартную реализацию подхода Sobol' с эквипобабной разбивкой. Наши результаты показали, что расширенные методы не только эффективнее в терминах вычислительных затрат, но и обеспечивают более точные результаты, особенно при больших размерах выборки. Мы также проанализировали причины, по которым стандартная разбивка может привести к биазу в вычислениях, и демонстрировали, что наше решение эффективно отвечает этому вызову. #### Значимость Предложенные расширения позволяют расширить возможности данных методов до моделей, используемых в машинном обучении, системах многомерного управления, и даже некоторых приложениях в физике и биологии. Они эффективны в области моделей с большим числом входных параметров, где предыдущие методы были неэффективны. Это открывает новые горизонты для варианс-базированного анализа в та

## Контекст Обработка данных из публичных реестров и анализ профессиональных сетей становятся важными средствами для анализа динамики рынков труда. Особенно это актуально для финансовых отраслей, где высока степень сетевой интеграции и важность профессиональных связей. В Республике Хонг Конг, где финансовый сектор является ключевым экономическим двигателем, высока интенсивность переходов между фирмами. Несмотря на это, значительной проблемой для регулирующих органов и руководителей остаются предсказание и управление выходом сотрудников. Большая часть исследований сосредоточена на демографических и экономических факторах, однако мало доказательств о влиянии профессиональных сетей. В нашем исследовании мы исследуем эти сетевые динамики для предсказания и понимания выхода сотрудников из фирм. ## Метод Мы использовали данные из публичного реестра Финансовой Комиссии Хонг-Конга за период 2007–2024 годов, чтобы построить графы рабочих сетей, включая 121 883 профессионалов и 4 979 фирм. Для каждого профессионала мы вычислили сетевые метрики, такие как степень и близость, и оценили их отношение к выходу сотрудников. Для анализа сетевого влияния мы разработали фреймворк пропагации графовых признаков, который учитывает как внутреннюю структуру сети, так и внешний контекст. Мы использовали машинные обучаемые модели, включая градиентный бустинг и линейные модели, для предсказания выхода. Также мы сравнили наши результаты с базовыми моделями, не учитывающими сетевое влияние. ## Результаты Наши результаты показали, что профессионалы, у которых более 30% друзей и коллег по сети покинули работу в течение шести месяцев, имеют 23% большую вероятность следовать им. Это сетевое влияние не только усиливается при большой дистанции (профессиональной близости), но и влияет даже на профессионалов, работающих в разных отделах. Мы обнаружили, что включение сетевых признаков в модели машинного обучения увеличивает точность предсказания выхода на 30% по сравнению с базовыми моделями, которые используют только демографические и экономические признаки. ## Значимость Наши результаты имеют значительное значение для нескольких областей: - **Регулирование:** Мы показали, что сетевые динамики могут быть использованы для повышения эффективности мониторинга потенциальных рисков в сетях финансовых профессионалов. - **Управление талантами:** Региональные и международные финансовые компании могут использовать наши результаты для оптимизации стратегий удержания персонала. - **Системные риски:** Наши находки

## Контекст В современной личностной и страховой отраслях, моделирование кредитоспособности и оценка рисков являются ключевыми задачами, направленными на повышение модельной точности и точности прогнозов. Основная проблема заключается в том, что существующие архитектуры моделей часто сталкиваются с ограничениями в обработке нестандартных или новых данных. Это приводит к ухудшению прогностической точности и неэффективности в решении задач машинного обучения в этих областях. Необходимо развитие архитектур моделей, которые могут быть адаптированы в реальном времени к новым данным и иметь более широкий круг применения. ## Метод Мы предлагаем расширенную архитектуру Credibility Transformer, использующую механизм In-Context Learning. Основная идея подхода заключается в добавлении контекстной батч-информации в модель. Эта батч-информация состоит из похожих экземпляров, которые обладают схожими признаками и рисками. Эти похожие экземпляры позволяют модели расширить свои контекстные представления и улучшить кредитоспособность CLS-токенов. Мы используем предобученную модель Credibility Transformer, дополненную слоями для обработки контекстной информации. Методы обучения включают обучение с подкреплением и адаптивную финейблковку, что позволяет модели адаптироваться к новым данным и улучшать точность прогнозов. ## Результаты Мы проводили ряд экспериментов с использованием реальных данных из сегментов личностного и страхового бизнеса. Мы сравнили нашу модель с классической архитектурой Credibility Transformer и другими современными моделями, такими как BERT и XGBoost. Результаты показали, что In-Context Learning позволяет модели значительно улучшить прогностическую точность. Например, в задаче кредитоспособности, наша модель показала увеличение точности на 12% в сравнении с классической моделью. Более того, на тестовой выборке, включающей новые данные, такие как новые модели автомобилей, модель показала высокую гибкость и точность, достигая точности 90% при прогнозировании рисков. ## Значимость Предложенная модель может быть применена в различных областях, включая личностный кредит, страхование и финансовый анализ. Она обладает следующими преимуществами: 1. Улучшенная точность прогнозов благодаря использованию контекстной информации. 2. Гибкость и добротность к новым данным, включая новые признаки и рисковые модели. 3. Уменьшение времени обучения и расчетов благодаря предобученной модели Credibility Transformer. Потенциальное влияние заключается в повышении эффективности моделей в сегменте оценки кредитоспособности и рисков, что может привести к более точным страховым тарифам и

## Контекст В последние десятилетия, аккуратное прогнозирование курсов валют, особенно в странах с развивающейся экономикой, приобрело важность в связи с ростом важности этих стран в мировой экономике. Бразилия, Россия, Индия и Китай (BRIC), как ключевые экономические игроки, часто сталкиваются с колебаниями валютных курсов, которые могут быть влияны не только экономическими факторами, но также политическими и мировыми экономическими явлениями. Особенно вызовы возникают из-за свойств валютных курсов, таких как длительная память (long memory), нелинейность и нестационарность. Несмотря на развитие многих временных рядов моделей, в том числе ARIMA, добавление элементов, таких как длительная память и нелинейность, часто требует дополнительных, часто сложных, статистических усилий. Более того, внешние факторы, такие как глобальная политическая неопределенность, волатильность американского рынка акций, неопределенность монетарной политики США, и волатильность цен на нефть, признаны важными драйверами динамики курсов валют. Таким образом, необходимо разработать модель, которая могла бы гибко адаптироваться к этим сложностям и предоставить достоверные прогнозы. ## Метод Мы предлагаем Neural AutoRegressive Fractionally Integrated Moving Average (NARFIMA) модель, которая является инновационным синтезом традиционной ARFIMA модели, известной за свою способность представлять длительную память, и нейронных сетей, известных своей гибкостью и возможностью учитывать нелинейные зависимости. В центре модели лежит нейронный сетевой компонент, который позволяет модели гибко динамически реагировать на внешние казуальные переменные, такие как глобальная политическая неопределенность и волатильность цен на нефть. Мы также используем теоретические анализы, включая Markov-цепи, чтобы проверить стационарность модели, и конформатные интервалы прогноза для оценки неопределенности прогнозов. Это позволяет модели быть как гибкой, так и теоретически обоснованной. ## Результаты Мы проверили NARFIMA на данных о курсах валют BRIC за несколько прогнозируемых горизонтов. Модель была сравнена с современными статистическими и машинного обучения моделями, включая ARIMA, GARCH, и нейронные сети. Результаты показали, что NARFIMA показывает значительно лучший результат в предсказании курсов валют BRIC, существенно превосходя другие модели как в точности, так и в систематичности прогнозов. Эти результаты демонстрируют эффективность модели в адаптации к сложностям в данных и в том, что она может быть применена в реальных финансовых условиях. ## Значимость NARFIMA модель имеет широкие применения

## Контекст В последние годы технологические прогрессы позволили собирать огромные и сложные сети временных данных, содержащих отношения между двумя или более субъектами. Такие данные часто представляют собой наборы временных событий, связанных с субъектами, и требуют специальных методов для их описания. Реляционные гипер-событийные модели (Relational Hyper-Event Models, RHEMs) предназначены для моделирования динамики таких сетевых отношений, рассматривая вероятность событий как функцию статистики, основанной на истории бывших событий и внешних информационных признаков. Однако основные модели RHEM до сих пор ограничиваются линейными моделями для описания взаимосвязей, не учитывая возможные временно-изменчивые и нелинейные эффекты. Целью настоящей работы является развитие более гибкой модели, которая учитывает нелинейные и временно-изменчивые эффекты в динамике событий. Такое расширение модели позволяет лучше охватить сложную структуру данных и улучшить понимание динамики реляционных событий. ## Метод Методология разработанной модели основывается на интеграции нелинейных эффектов и временных изменчивостей в модели временных событий. Мы предлагаем использовать гладкость тензорных произведений (tensor product smooths) для моделирования временно-изменчивых нелинейных эффектов. Эта техника позволяет адаптировать модель к данным, учитывая зависимости между статистическими признаками и временем. Кроме того, мы разработали эффективный алгоритм для оценки параметров модели, используя градиентные методы и стохастический градиентный спуск. Это позволяет применять модель даже к большим наборам данных с высокой частотой событий. Для проверки модели мы использовали как синтетические данные, сгенерированные с известными свойствами, так и реальные данные, связанные с школами и сетями научных работ. Эти данные позволили продемонстрировать точность и динамический потенциал предложенного подхода. ## Результаты Мы проверили нашу модель на синтетических данных, показав, что она способна точно восстанавливать истинные параметры и временные зависимости. На реальных данных, описывающих сети научных работ, модель удалось выявить нелинейные зависимости, которые были пропущены линейными моделями. Например, мы обнаружили неожиданные периоды увеличения вероятности сотрудничества между учеными, которые могут быть связаны с особыми внешними факторами, такими как международные конференции или новые технологии. Помимо этого, мы проанализировали влияние внешних факторов, таких как временные моменты выхода новых технологий, на развитие сетей научных связей. Эти результаты позволяют понять, как внешние условия

## Контекст Обработка страховых рисков и формирование страховых ставок (ратемейки) требуют высококачественных данных, которые часто ограничены доступом, вопросами конфиденциальности и стоимостью получения новых данных. Эти ограничения могут привести к неточности моделей ратемейки и неэффективному принятию решений. Несмотря на существующие подходы, включая методы машинного обучения, такие как вариационные автоэнкодеры и условные табулярные генеративно-состязательные сети, их применение в страховой отрасли все еще ограничено. Мы рассматриваем гибридный подход, основанный на методе Множественного Импьютеринга Заменяющим Цепями (MICE), в качестве альтернативы, который может обеспечить высококачественную генерацию табулярных данных с меньшими комплексностью и требованиями к ресурсам. ## Метод Метод MICE используется для заполнения пропусков в табличных данных, генерируя множество возможных вариантов для каждого пропущенного значения на основе корреляционных значений в данных. Мы расширяем этот подход для генерации новых табличных данных, используя несколько моделей MICE для каждой колонки данных. Для сравнения мы используем другие методы, такие как Variational Autoencoders (VAE) и Conditional Tabular GANs (CTGAN), оценивая качество синтетических данных по критериям взаимной информации, распределений переменных и связей между ними. Также мы оцениваем, насколько хорошо модели Generalized Linear Models (GLMs) могут работать с синтетическими данными, по сравнению с исходными данными. ## Результаты Мы применили наш подход к открытому данному набору данных, получив синтетические данные и использовав их для тренировки и тестирования моделей ратемейки. Мы выяснили, что MICE-based models показывают высокую точность в сохранении исходных распределений переменных и связей, а также демонстрируют более простой интерфейс по сравнению с другими методами. Мы также выяснили, что использование синтетических данных в сочетании с исходными данными может улучшить точность моделей GLMs на 10-15% в области прогнозирования числа страховых случаев. ## Значимость Метод MICE-based способен стать важной альтернативой для страховых компаний, которым требуется высококачественная табличная данная для ратемейки, но не имеют доступа к полному набору данных. Этот подход является более удобным в использовании, чем другие генеративные методы, так как не требует сложной настройки и может быть использован на разных данных без особых трудностей. Мы также показали, что применение синтетических данных может повысить точность моделей ратемейки, при этом уменьшить затраты на получение новых данных. ## Выводы Наши ре

## Контекст ### Область исследования и мотивация Задачи классификации и анализа аудиоданных часто сталкиваются с проблемой недостатка меток в тренировочных данных, что существенно снижает качество обучения моделей. Биоакустические задачи, такие как классификация звуков животных, не исключение. Однако в последние годы появились модели трансформера, ориентированные на обработку речи, которые доказали свою эффективность в задачах классификации. Несмотря на это, их применение к не-речевым аудиоданным, таким как голоса животных или детские кокетки, остается практически не изученным. ### Мотивация исследования Изучение возможности использования моделей трансформера для классификации голоса детей и других звуков животных может открыть новые пути для обработки не-речевых аудиоданных. Этот подход может существенно повысить эффективность распознавания аудио звуков в биоакустике и других областях, где требуется высокая точность и минимальное количество меток. ## Метод ### Описание методологии В работе использовались пять предварительно обученных моделей трансформера, разработанных для обработки речи. Эти модели были применены к классификации звуков детских криков, полученных из 960 ребенков в разных условиях. Оценка производилась на 115 часов аудио, содержащих 8 классов криков. Модели были сравнены по способности выделять ключевую информацию из звуков, такую как источник звука и голосовая идентичность младенца. ### Технические решения Архитектуры моделей были адаптированы для работы с звуковыми признаками, которые отличаются от речевых. Была применена предварительная обработка звуков, включая нормализацию и разделение сигнала на фрагменты. Эти методы позволили моделям более эффективно обрабатывать не-речевые звуки. ## Результаты ### Оценка моделей Эксперименты показали, что модели трансформера эффективно классифицируют звуки детских криков, достигая высокой точности. Они показали способность выделять важные признаки, такие как громкость, интонация и даже визуальные признаки, связанные с голосовым источником. Наилучшую точность показала одна из моделей, которая выбилась из сравнения за счет более настроенных параметров и адаптации к специфике аудиоданных. ### Описание результатов Полученные результаты определяют, что модели трансформера могут быть успешно применены к классификации звуков животных и детских криков. Они не только распознают звуковые признаки, но и могут интерпретировать информацию о расхождении в голосе, что может быть полезно для диагностики

## Контекст Современные проблемы в сельском хозяйстве, такие как ограниченные ресурсы, изменение климата и рост численности населения, привели к необходимости развития эффективных методов управления сельскохозяйственными ресурсами. Одним из ключевых аспектов является **последовательное принятие решений** в области управления ресурсами, например, при оптимизации добавок удобрений или воды. Традиционные подходы, такие как линейные модели или техники случайных поисков, часто не учитывают специфику агротехнических задач и неэффективны в условиях неопределенности. Необходимо разработать методы, которые учитывали бы специфические характеристики сельскохозяйственных процессов и обеспечивали бы оптимальные решения с минимальными затратами ресурсов и времени. ## Метод Мы предлагаем семейство **нелинейных модели-основыных алгоритмов для последовательных решений** в сельском хозяйстве. Наш подход включает (i) **принципиальное оценивание неопределенности** и (ii) **закрытое выражение или быстро вычисляемые максимумы выгоды**. Модели учитывают характеристики отклика сельскохозяйственных систем, позволяя эффективно комбинировать эксплорацию и эксплойт критически важными ресурсами. Метод основан на теоретических границах для уменьшения **regret** (регрета) и поддерживает высокую точность при простых вычислениях. Эта модель является интерпретируемой, что позволяет легко рассуждать о результатах и принятии решений в сельском хозяйстве. ## Результаты Мы проводили эксперименты, используя симуляционные данные, которые эмулируют реальные задачи оптимизации добавок удобрений. Наши алгоритмы показали **сублинейный регрет** и получили близкие к оптимальным результаты в условиях небольшого количества наблюдений. Результаты постоянно превосходили линейные модели (например, UCB-линейная) и даже непараметрические базовые модели, такие как $k$-NN UCB. Эти результаты подтвердят эффективность нашего подхода в условиях **неопределенности** и **ограниченных данных**, где традиционные модели часто терпят неудачу. ## Значимость Наш подход имеет широкие приложения в **природоохране**, **управлении сельскохозяйственными ресурсами** и в области **искусственного интеллекта в агротехнике**. Он позволяет сделать сельское хозяйство более **данно-направленным**, **прозрачным** и **учетным**, что соответствует **Целям Общего Развития 2 (Холодное голод) и 12 (Ответственное Потребление и Производство)**. Наш подход может улучшить процессы принятия решений, уменьшить затраты ресурсов и сделать сельское

#### Контекст Современные общества часто организованы вокруг сетевых структур, где люди связаны с помощью различных социальных контекстов, таких как соседство, работа, семья и образование. Однако существуют значительные различия в доступе к ресурсам и возможностям в разных социальных сетях. Одна из таких различий — уровень образования — может оказать сильное влияние на политические предпочтения, включая голосование за правые популистские партии. Данное исследование концентрируется на изучении связи между социальными сетями, образовательными различиями и голосованием за правые популистские партии, используя методы машинного обучения для построения и интерпретирования моделей сетей на уровне населения. #### Метод Для строительения моделей сетей использовались реестры административных данных, которые позволили построить популяционно-масштабные сети, где взаимосвязи между людьми отражались в социальных контекстах. Использованная архитектура машинного обучения позволила получить сетевые представления — embeddings — для каждого человека, которые автоматически характеризуют его положение в сети. Для оценки информативности этих моделей произведено предсказание голосования за правые популистские партии. Для этого результаты сравнивались с использованием только индивидуальных характеристик, таких как возраст и пол. Для улучшения интерпретируемости моделей предпринято техническое преобразование embeddings, сделав их более четкими и ортогональными. #### Результаты Использование только embeddings для предсказания голосования за правые популистские партии показало незначительное превосходство над произвольным угадыванием. Однако при комбинировании этих моделей с индивидуальными характеристиками, такими как возраст и пол, улучшение было незначительным. Однако после технического преобразования embeddings, которое уменьшило меру корреляции между их компонентами, одна компонента особенно сильно связана с голосованием за правые популистские партии. Анализ этой компоненты вместе с сетевыми данными показал, что различия в структуре сетей, связанные с образовательными различиями, вносят значимый вклад в формирование политических предпочтений. #### Значимость Результаты этого исследования имеют многочисленные потенциальные применения в области политического прогнозирования, социальных наук и практике. Они демонстрируют, как population-scale network embeddings могут быть интерпретированы для выявления социальных различий в структурах сетей. Такие различие могут иметь неотъемлемое значение для понимания факторов, влияющих на политические предпочтения. Этот подход также открывает новые возможности для

## Контекст Графы широко используются в химических науках для описания молекул, белков, реакций и промышленных процессов. Они представляют собой универсальный математический язык, позволяющий описывать взаимосвязи и структуры, которые лежат в основе материалов, биологии и медицины. Однако существуют значительные проблемы в понимании и моделировании графов в химических приложениях. Например, высокая сложность моделирования больших графов, вывод структурных и физико-химических свойств молекул из графов и ограниченность методов обучения с подкреплением в химических задачах. Эти проблемы приводят к неэффективности в прогнозировании и анализе химических процессов. Данное исследование нацелено на развитие более эффективных методов моделирования графов в химических науках, чтобы облегчить понимание и оптимизацию химических реакций и процессов. ## Метод Методология исследования основывается на использовании графов в качестве основного математического аппарата для описания химических систем. Графы представляют молекулы и белки в виде узлов и ребер, представляющих атомы и взаимодействия. Для оптимизации моделей используются графовые нейронные сети (GNN), которые автоматически выводят характеристики и свойства молекул из их графовых представлений. Рассматриваются различные методы обучения, включая су supервированное обучение и подкрепление. Архитектура исследования включает несколько компонент: предобработку данных, архитектуру GNN, оптимизацию параметров и оценку качества модели. Этот подход позволяет создавать модели, которые могут прогнозировать свойства молекул и реакций с высокой точностью. ## Результаты Исследование проводилось на различных наборах данных, включая молекулы, белки и реакции. Были проведены эксперименты с различными методами GNN, включая GCN, GAT и GraphSAGE. Результаты показали, что GNN могут эффективно прогнозировать химические свойства и выполнять классификацию реакций. Например, модель GCN демонстрировала высокую точность в прогнозировании свойств молекул, в то время как GAT показала лучшие результаты в задачах классификации. Набор экспериментов показал, что GNN могут быть применены для решения сложных задач в химических науках, таких как поиск новых лекарств и оптимизация промышленных процессов. ## Значимость Полученные результаты показывают, что GNN могут быть применены в широком круге химических приложений, включая прогнозирование свойств молекул, распознавание реакций и оптимизацию промышленных процессов. Этот подход имеет большой потен