#### Контекст Современные методы автоматизации машинного обучения (AutoML) позволили существенно сузить пробел между профессиональными и непрофессиональными пользователями в области машинного обучения. Они автоматизируют процессы выбора моделей, оптимизации гиперпараметров и инжиниринга признаков. Однако существуют значительные проблемы, такие как высокая вычислительная стоимость при использовании стандартных стратегий поиска и оптимизации, таких как Random Search, Particle Swarm Optimization и Bayesian Optimization. Эти методы часто требуют огромных ресурсов и могут привести к переобучению, особенно когда AutoML-системы исследуют большой поисковый пространств. Эта ситуация подчеркивает необходимость разработки методов, способных эффективно сузить поисковый пространство и уменьшить вычислительные затраты. #### Метод В данной работе предлагается метод мета-обучения (metalearning) для динамического дизайна поисковых пространств в AutoML-системах. Метод использует исторические знания (metaknowledge), полученные из предыдущих задач, для выбора наиболее перспективных регионов поискового пространства. Это позволяет сузить пространство и ускорить оптимизацию. Метод основывается на мета-функциональной оценке, которая помогает определить ключевые характеристики поисковых пространств. Эта архитектура обеспечивает динамическую адаптацию системы к уникальным характеристикам новых задач. Таким образом, AutoML может эффективно избегать переобучения и сократить вычислительные затраты. #### Результаты В экспериментах проводился сравнительный анализ предлагаемого метода с традиционными подходами, такими как Random Search. На тестовых наборах данных был оценен время выполнения, размер поискового пространства и точность предсказаний. Результаты показали, что предлагаемый метод уменьшил время работы Random Search на 89% и сузил поисковое пространство на 70% для препроцессоров (1.8 из 13) и на 58% для классификаторов (4.3 из 16). Это было достигнуто без значительного снижения качества предсказаний. Эксперименты также показали, что метод может эффективно адаптироваться к системе Auto-Sklearn, сузив поисковое пространство и улучшив производительность. #### Значимость Предложенный метод имеет широкие области применения в автоматизированном машинном обучении, в частности в области динамического оптимизации поисковых пространств. Основные преимущества включают уменьшение вычислительных затрат, уменьшение риска переобучения и улучшение эффективности автоматизированных систем AutoML. В будущем можно рассмотреть расширение метода для работы с более сложными задачами, такими как регрессия и рекомендательные системы. Это может сделать AutoML-системы более доступ

#### Контекст Risk prediction, основанный на генетических данных, представляет большой потенциал для улучшения общественного здравоохранения и клинического обслуживания. Однако, существующие технологии, основывающиеся на исследованиях генов, показали недостаточную точность для клинического применения. Большинство генов, включая редкие, до сих пор не были включены в геномные исследования, что затрудняет получение информации о них. Таким образом, необходимо развитие методик, включающих как обычные, так и редкие варианты. Разработан новый подход Collapsing ROC (CROC), который расширяет предыдущий Forward ROC (FROC), и может быть применен для оценки риска на основе обеих категорий вариантов. #### Метод Методом CROC были проанализированы 533 сингленюклеотидных полиморфизмов (SNP) из 37 генов, взятых из мини-экзома данных Genetic Analysis Workshop 17. Для сравнения результатов был проведен аналогичный анализ с использованием FROC. Оба метода были протестированы на разных уровнях точности и поддерживали различные количества вариантов. CROC включает дополнительные шаги для обработки редких вариантов, что позволяет повысить точность оценки риска. #### Результаты Используя CROC, была получена AUC (Area Under Curve) равная 0.605 при использовании всех вариантов. Это значение выше, чем при использовании только обычных вариантов (AUC = 0.585). При постепенном уменьшении числа обычных вариантов CROC показал лучшую точность по сравнению с FROC. В крайнем случае, когда в анализ включались только редкие варианты, CROC показал AUC = 0.603, в то время как FROC дал AUC = 0.524. Это показывает, что CROC более эффективен при работе со смешанными данными. #### Значимость Разработанный подход CROC может быть применен в различных областях медицины, где необходимо оценивать риск заболеваний на основе генетических факторов. Он демонстрирует преимущества по сравнению с FROC, особенно при оценке риска на основе редких вариантов. Это может привести к более точным прогнозам и улучшению клинических решений. #### Выводы Результаты показывают, что CROC может значительно улучшить точность оценки риска, включая обработку редких вариантов. Будущие исследования должны фокусироваться на расширении применения CROC на большие комплексы данных и развитии его в широкой клинической практике.

#### Контекст Область исследования казуального вывода (causal inference) широко распространена в многих научных и практических областях, таких как экономика, медицина и социальные науки. Однако, попытки оценить казуальные эффекты часто сталкиваются с значительными ограничениями. Существуют сильные априорные гипотезы, такие как "нет неизвестных конфундирующих факторов" или "соблюдается полная сдержанность", которые часто не выполняются на практике. Ошибки в принятии этих гипотез могут привести к неточным выводам. Это приводит к ограниченному доверию к результатам. Метод получения разрешений (partial identification) предлагает альтернативу. Он не полагается на сильные, но часто непроверяемые, гипотезы. Вместо этого он формирует диапазоны, отображающие неопределенность данных. Несмотря на его теоретическую ценность, метод часто остается неиспользуемым в практических задачах, возникают проблемы с логической структурой и отсутствием руководства для применения. #### Метод Данная работа рассматривает различные методы расчета диапазонов в рамках казуального вывода. Она сочетает символьные, оптимизационно-ориентированные и информационно-теоретические подходы в единую систему. Был разработан расширенный подход с использованием энтропии для задач, таких как вероятность необходимости и достаточности (PNS). Исследование проводилось на основе тысяч симуляций, включая как дискретные, так и непрерывные задачи. Методы были оценены по критериям точности диапазонов, эффективности вычислений и устойчивости к нарушению гипотез. #### Результаты Результаты показали, что разные методы дают разные результаты в зависимости от характера данных и задачи. Был выявлены методы, дают точные результаты в определенных условиях, но могут быть менее эффективны в других. Для повышения удобства использования, в рамках работы был разработан собственный инструмент CausalBoundingEngine, который объединяет многие методы в единое целое. Была также разработана модель машинного обучения для предсказания наиболее продуктивного метода в зависимости от характера данных. #### Значимость Полученные результаты могут быть использованы в многих научных и практических областях, где необходимо рассчитать казуальные эффекты с учетом неопределенности данных. Например, в медицине для оценки влияния лекарств, в экономике для оценки влияния политик и практически во всех ситуациях, где наличие неизвестных факторов может повлиять на выводы. В отличие от сильных гипотез, метод расчета диапазонов обеспечивает гибкость и точность в условиях неопределенности. #### Выводы Рабо

#### Контекст В современном мире, связанном с высокой скоростью развития технологий и повышением требований к мобильным устройствам, возникают новые вызовы в области обработки данных. Одной из ключевых проблем является необходимость создания мощных моделей, которые могли бы обеспечить высокую точность работы на устройствах с ограниченными ресурсами. Однако клиенты часто не могут предоставить их частные данные серверу по причине повышенных требований к конфиденциальности. Federated Learning (FL) предлагает решение этой проблемы, позволяя клиентам обучать модель совместно, используя обмен параметрами модели вместо трансляции ненадежных значений. Однако FL имеет несколько ограничений, такие как необходимость в однородной архитектуре моделей, многократному обмену информацией и высокому расходу вычислительных ресурсов. Для устранения этих проблем, в данной работе предлагается FedOL, новая методология, которая позволяет создавать более крупные и мощные модели в одноразовом федеративном обучении. #### Метод FedOL основывается на методе знаковая дистилляция (knowledge distillation), который позволяет клиентам обучать серверную модель, обмениваясь только предсказаниями модели на необъявленном общем наборе данных. Это позволяет сократить объем передаваемой информации, так как клиенты не передают весь весь вес своей модели, а лишь предсказания. FedOL также использует специальный функционал потерь, чтобы исправлять псевдомаркировки, сгенерированные клиентами, и улучшать научный характер обучения. Также в FedOL включена стратегия знаковой дистилляции, позволяющая эффективно интегрировать различные знания. Это делает FedOL выгодным для сетей мобильных устройств, где клиенты имеют доступ к ценным данным, но ограничены в вычислительных ресурсах. #### Результаты Для тестирования FedOL был использован набор данных CIFAR-10, разделенный на 10 клиентов с разными архитектурами моделей (VGG, ResNet, CNN). Одноразовое федеративное обучение проводилось в течение одного раунда с обменом только предсказаниями на необъявленный набор данных. Эксперименты показали, что FedOL позволяет построить более высокоточную модель, чем существующие методы FL, в ситуации, когда клиенты имеют различные ресурсы и виды моделей. FedOL также уменьшил общую нагрузку на сеть, сократив количество обмена данными и уменьшив требования к вычислительным ресурсам у клиентов. #### Значимость FedOL может применяться в различных сферах, где требуется уменьшение затрат на обмен данными и повышение точности моделей. Например, в мобильных сетях, где клиенты обладают частными данными, но не могут их передавать серверу, FedOL может быть эффективным способо

## Контекст Современные нейронные сети требуют большого объема вычислительных ресурсов и энергии для обучения, особенно при работе с огромными данными. Это приводит к повышенным экономическим и экологическим затратам. Одной из проблем является эффективное выборение подмножества данных для обучения, которое позволило бы сократить время обучения и энергоспособность без существенного ухудшения точности модели. Данная работа адресует эту проблему, предложив новую методику для динамического выбора подмножеств данных в ходе обучения. ## Метод Метод, предлагаемый в работе, называется **GRAFT** (Gradient-Aware Fast MaxVol Technique). Он включает в себя три основных этапа: 1. **Низкоранговая представление данных**: для каждого батча данных GRAFT извлекает низкоранговую отображение, сохраняя ключевые особенности батча. 2. **Динамическое выборение подмножеств**: используя Fast MaxVol sampler, GRAFT выбирает небольшое, но разнообразное подмножество, которое эффективно охватывает главные направления батча. 3. **Динамическое управление размером подмножества**: GRAFT адаптирует размер подмножества в процессе обучения с использованием критерия, основанного на приближению градиентов. Эта архитектура позволяет сохранить точность обучения, при этом уменьшая время работы и энергозатраты. ## Результаты Исследования проводились на нескольких различных бенчмарках, включая изображения, тексты и трехмерные данные. На этих данных GRAFT продемонстрировал похожую точность, и в некоторых случаях даже превосходил популярные методы выбора подмножеств, такие как GradMatch и Coreset. Также были измерены энергоемкость и время выполнения, где GRAFT показал значительные улучшения по сравнению с базовыми методами. ## Значимость Метод GRAFT может применяться в различных областях, где необходимо эффективное обучение моделей, например, в медицине, автоматическом управлении и транспорта. Он обеспечивает высокую точность с минимальными затратами на вычислительные ресурсы и энергию. Данный подход может существенно снизить энергозатраты и уменьшить время обучения, при этом сохраняя качество результатов. ## Выводы Предложенная технология GRAFT представляет собой прорыв в динамическом выборе подмножеств для эффективного обучения нейронных сетей. Она позволяет сократить вычислительные затраты и энергоспособность без потери точности. Будущие исследования будут сфокусированы на улучшении GRAFT для приложений в реальном времени и его распространении на широкий круг задач.

## Контекст Input Time Scaling (ITS) — это новый подход к масштабированию бо LARGE LANGUAGE MODELS (LLMs), который фокусируется на максимизации эффективности ввода данных (input time). Исследование адресует проблемы, связанные с традиционным подходом к масштабированию, включая data scaling, training scaling и inference time scaling. Несмотря на то, что эти подходы доказали свою эффективность, они часто игнорируют влияние ввода данных на процесс обучения и вывода. ITS предлагает новый взгляд на этот вопрос, раскрывая возможность применения мета-знаний LLMs для оптимизации ввода и улучшения результатов. ## Метод ITS основывается на совмещении мета-знаний LLMs с новыми стратегиями ввода для повышения качества обучения и вывода. Методология включает: 1. **Мета-знания LLMs:** Использование мета-знаний модели для изменения ввода данных во время обучения и тестирования. 2. **Различные стратегии ввода:** Включая добавление неполностью отфильтрованных данных, случайного выбора примеров и добавление нерелевантных данных в запросы. 3. **Обучение и тестирование с помощью ITS:** Наблюдение за взаимодействием мета-знаний и стратегий ввода в течение всего цикла тренировки и проверки. 4. **Параллельная интерпретация:** ITS проверяет, как разные стратегии ввода влияют на поведение модели в разных сценариях. ## Результаты Эксперименты показали, что ITS может достичь следующих результатов: 1. **Более высокий пропускный показатель (pass@1):** Модели, обученные с использованием ITS, достигли сверхуровневых результатов на AIME24 (76.7%) и AIME25 (76.7%). 2. **Комбинация моделей:** Множественные модели могут давать еще более высокие результаты при оценке по множеству примеров. 3. **Пониженная индуктивная биас:** ITS противоречит широко распространенному мнению, что "плохой ввод — плохой вывод". Даже с использованием некачественных данных можно достичь высоких результатов. 4. **Границы данных:** Данные с небольшим размером, но с применением ITS, могут превосходить данные с большим размером, но с более низким качеством. ## Значимость ITS открывает новые возможности для лучшего использования LLMs: 1. **Практическое применение:** ITS может быть использован в ситуациях, где качество ввода данных ограничено, но требуется высокий уровень разума. 2. **Экономия ресурсов:** Этот подход снижает требования к объему и качеству данных, необходимым для обучения моделей. 3. **Новые направления исследований:** ITS может привести к новым архитектурам моделей, стратегиям тренировки и методам оптимизации. ## Выводы ITS представляет собой новый и эффективный подход к масштабированию LLMs, который может улучшить способность моделей к высокому уровню рассуждения. Он открывает

## Контекст Современные машинное обучение (ML) представляют собой набор сложных пайплайнов, включающих такие этапы, как выбор алгоритмов, оптимизация гиперпараметров, оверфиттинг, предварительно обученные модели и кластеризация. Традиционные инструменты AutoML, ориентированные на упрощение процесса выбора и оптимизации моделей (Combined Algorithm Selection and Hyperparameter Optimization, CASH), стали недостаточными для решения этих задач. Требуется новое подход к оптимизации пайплайнов, который может принимать во внимание их хетерогенность и многоуровневость. Данная работа адресует эти проблемы, предлагая расширенный подход к CASH, который может эффективно адаптировать и оптимизировать современные ML-пайплайны. ## Метод Предлагаемый подход, названный PS-PFN (Posterior Sampling with Prior-Fitted Networks), является расширением стратегии Posterior Sampling (PS) в контексте max-k-armed bandit problem. PS-PFN использует PFNs (Prior-Fitted Networks) для эффективного вычисления параметров постериорного распределения максимального значения, что позволяет принимать решения в контексте полученных данных. Этот подход может применяться для разных ML-пайплайнов, принимая во внимание различные затраты на выполнение каждого этапа. Более того, PS-PFN может использовать разные PFNs для моделирования разных распределений наград на каждой итерации. Эта гибкость позволяет адаптироваться к разным типам задач и пайплайнов. ## Результаты Исследования проводились на одном новом и двух существующих бенчмарк-задачах. Сравнительные эксперименты показали, что PS-PFN превосходит другие методы AutoML и bandit-based, особенно в случае задач с большим количеством шагов и разнообразием моделей. Эксперименты с разными наборами данных и пайплайнами показали, что PS-PFN может эффективно принимать решения, адаптируясь к различным условиям задач. Результаты демонстрируют, что PS-PFN может эффективно использовать ранее полученные данные для точного оценивания и построения политик оптимизации. ## Значимость Предлагаемый подход может применяться во многих областях, где требуется оптимизация сложных ML-пайплайнов, таких как кредитный анализ, медицина и текстовой классификации. Наглядного приложения PS-PFN можно видеть в сценариях, где необходимо быстро адаптироваться к отсутствию данных или разным затратам на выполнение каждого этапа пайплайна. Этот подход позволяет увеличить эффективность и точность автоматизированных систем, сократить время разработки и снизить затраты на реализацию ML-решений. ## Выводы Результаты доказывают, что PS-PFN является эффективным методом для оптимизации сложных ML-пайплайнов. Он может хорошо справляться с разнообразием задач и пайплайнов, принимая во внимание различные затраты и характеристики ка

## Контекст В последние годы Reinforcement Learning with Verifiable Reward (RLVR) приобрел всесторонний признак как эффективный подход для развития логических и решательских навыков у обычных языковых моделей. Однако, даже с учетом своих успехов, RLVR сталкивается с недоработками, которые ограничивают его потенциал. Особенно важными становятся два аспекта: Depth (глубина исследования) и Breadth (ширина обучения). На данный момент, традиционные методы RLVR недостаточно адекватно относятся к этим двум аспектам. Одна из наиболее заметных проблем - это "cumulative-advantage bias", что приводит к недостаточной балансировке между простыми и сложными задачами. Кроме того, новые требования к высокому потенциалу RLVR поднимают вопрос о том, насколько широко может быть применена ширина обучения, и как можно оптимизировать ее. Ранее вид взаимосвязи между Depth и Breadth был недостаточно исследован, что способствует необходимости разработки новых, более эффективных подходов, которые могут помочь полностью раскрыть потенциал RLVR. ## Метод Для компенсации недостатков в Depth и Breadth мы предлагаем два новые подхода. Во-первых, мы представляем Difficulty Adaptive Rollout Sampling (DARS), который представляет собой новый метод для адаптивного изменения сложности задач. Метод DARS использует многоступенчатый процесс выбора задач, чтобы увеличить положительный результат для самых сложных задач. Это позволяет увеличить количество удачных решений для задач, которые требуют большего уровня логического упорядочения. Во-вторых, мы предлагаем новую методику для увеличения Breadth. Мы расширяем объем обучения, контролируя более широкий спектр данных за одну итерацию. Это позволяет обеспечить высокую токен-уровневую энтропию и снизить шум градиентов, что улучшает качество решения задач. Мы также проверяем эти методы на разных наборах данных, включая обучение с полным пакетом (full-batch) и отдельные эпохи для оптимизации. ## Результаты Наши эксперименты показали, что DARS существенно улучшает Pass@K-метрику (то есть, увеличивает долю правильно решенных задач) без дополнительных затрат на инференс. Это продемонстрировано на нескольких задачах, где DARS полностью исправляет существующие недостатки в RLVR. Кроме того, мы показываем, что увеличение Breadth также вызывает значительный подъем Pass@1-метрики, что показывает улучшение в точности решений. Мы также обнаружили, что DARS способствует улучшению Pass@K, а увеличение Breadth - улучшению Pass@1, что вновь подтверждает взаимосвязь между Depth и Breadth в RLVR. Наши результаты показывают, что расширение Depth и Breadth не только способствует улучшению основных метрик, но и создает более устойчивый и эффективный подход к обучению. ## Значимость Мы

#### Контекст Long-term time series forecasting (LTSF) является ключевым заданием в области анализа данных, которое находит применение в многих сферах, включая экономику, финансы, энергетику и транспорт. Несмотря на то, что Transformer-based модели достигли успеха в многих задачах, их эффективность в LTSF остается спорной. Это связано с проблемами, такими как неэффективное масштабирование при работе с длинными последовательностями и недостаточная учета периодических характеристик во входных данных. Для решения этих проблем необходимо разработать модели, которые могут одновременно обрабатывать длинные последовательности и эффективно учитывать периодические структуры. #### Метод Мы предлагаем Periodic-Nested Group Attention (PENGUIN), который состоит из двух ключевых компонентов: periodic-nested relative attention bias и grouped attention mechanism. Эти механизмы позволяют модели PENGUIN эффективно моделировать периодичности, независимо от их вида (например, дневные или недельные циклы). Periodic-nested relative attention bias используется для прямого учета периодических структур, тогда как grouped attention mechanism позволяет одновременно учитывать несколько периодичностей. Модель также включает multi-query attention, которая повышает ее эффективность и точность. #### Результаты Мы проводили эксперименты на нескольких LTSF-benchmarks, включая Electricity, Traffic и Exchange-Rate. Результаты показали, что PENGUIN превосходит оба MLP-based и Transformer-based методы. Она показывает лучшую точность в предсказании при максимальном доступном контексте в 2048 точек. Эксперименты также подтвердили, что PENGUIN выдает более точные результаты при обработке данных с несколькими периодичностями. #### Значимость PENGUIN может быть применена в различных областях, где требуется точное предсказание данных временных рядов, таких как энергетическая промышленность, транспорт, финансы и логистика. Ее основные преимущества заключаются в высокой точности, эффективности обработки данных с множеством периодичностей и удобстве в использовании. Эта модель может стать предпочтительным выбором для LTSF и положить основу для будущих исследований в этой области. #### Выводы Предложенная модель PENGUIN доказала свою эффективность в LTSF, показав значительные выигрыши по сравнению с конкурирующими методами. Мы планируем продолжать развивать эту модель, направляясь на улучшение ее масштабируемости и учета дополнительных контекстных факторов. Это позволит PENGUIN стать еще более мощным инструментом для решения LTSF задач в различных практических приложениях.

## Контекст Объем использования искусственного интеллекта (AI) в различных областях принимает все более значительные размеры, что делает важной проблему качества и надежности данных, используемых для обучения AI-систем. Большинство исследований, посвященных этой теме, фокусируются на оценке отдельных данных, но не учитывают свойства, которые возникают только на уровне целого набора данных. Особенно важной проблемой является **биаз**, который может влиять на необходимость справедливости и этичности результатов AI. Наша мотивация заключается в разработке формального подхода, который позволит оценивать надежность целых наборов данных для обучения AI, учитывая их глобальные свойства. Это проблема критическая, так как недостаточное внимание к надежности может привести к закономерным ошибкам, несправедливости и даже эксплуатации в реальной жизни. ## Метод Мы предлагаем формальный фреймворк, основанный на **Subjective Logic (SL)**, для оценки надежности данных для обучения AI. Наш подход расширяет тему субъективных логических пропозиций (trust propositions) для оценки уровня доверия к глобальным свойствам набора данных, таким как биаз. Методология включает в себя: - **Оценку неопределенности** в случаях, когда доказательства или данные зачастую неполны, разбросанные или конфликтующие. - **Интерпретативную модель** для отображения доверия на основе субъективных логических пропозиций. - **Моделирование биаса**, позволяющее определить степень неравенства в распределении классов в наборе данных. Мы применили этот фреймворк к данным о трафических знаках и проанализировали его в обычных и федеративных контекстах, чтобы продемонстрировать его широту и робастность. ## Результаты Мы проводили эксперименты на данных об трафических знаках, сравнивая нашу модель с существующими методами оценки биаса. Наш подход позволил: - **Отслеживать неравенства классов** в данных, что демонстрирует его подходимость для определения биаса. - **Получать интерпретируемые результаты**, даже в условиях неполноты или конфликтующих данных. - **Обеспечить робастность** в централизованных и федеративных сценариях. Эксперименты показали, что наш метод выделяет биазы эффективно и независимо от того, насколько данные разбросаны или неполны. ## Значимость Метод может быть применен в различных областях, в том числе для: - Оценки надежности данных для обучения в сферах, где справедливость и этичность критичны (например, системы поиска работы, системы здравоохранения). - Предотвращения неожиданных закономерностей, которые могут возникнуть из-за недостатка баланса в данных. - Расширение Subjective Logic в область