## Контекст Колмогоров-Арнольд Нейронных Сетей (KANs) представляют собой структурированную и интерпретируемую модель для аппроксимации многомерных функций. Они достигают этого путем композиции унивариатных преобразований с использованием аддитивного или мультипликативного сложения. Такие сети позволяют эффективно аппроксимировать функции, не прибегая к высокомерновым нейронным сетям. Однако, необходима теоретическая основа, подтверждающая их эффективность и сходимость. Особенно актуальным является вопрос о скорости сходимости при использовании B-сплайнов, поскольку они широко используются в аппроксимации функций. Такие вопросы мотивируют развитие методов KANs и их применение в решении задач нейронной регрессии. ## Метод Мы рассматриваем модели KANs, где унивариатные преобразования выражаются с помощью B-сплайнов. Для доказательства сходимости мы используем методы теории вероятности и аппроксимации. Определяем понятие гладкости функции, оцениваемый с помощью Sobolev-классов. Используем методы схемы универсальной аппроксимации для доказательства минимакс-оптимальности скорости сходимости $O(n^{-2r/(2r+1)})$, где $r$ — гладкость функции. Для выбора оптимального числа кнопок в B-сплайнах, мы проводим анализ ошибки аппроксимации и получаем рекомендации на основе теоретических расчетов. Эти теории подкрепляются эмпирическими экспериментами. ## Результаты Наши эксперименты подтверждают предсказанные теоретические скорости сходимости. Мы проводим симуляции с использованием различных функций из Sobolev-классов и показываем, что KANs достигают желаемой скорости сходимости $O(n^{-2r/(2r+1)})$. Был проведен анализ числа кнопок в B-сплайнах, что позволило оптимизировать результаты. Эти результаты подтверждают теоретические ожидания и демонстрируют практическую эффективность KANs в нейронной регрессии. ## Значимость Мы устанавливаем новый теоретический фонд для использования KANs в многомерной нейронной регрессии. Наши результаты показывают, что KANs эффективны в аппроксимации функций многих переменных, особенно при высокой гладкости. Эти модели могут использоваться в таких областях, как финансы, климат окружающей среды, и медицина. Они предлагают структурированный и интерпретируемый подход к решению задач, где получение глобальных аппроксимаций неосновных функций необходимо. ## Выводы Мы установили минимакс-оптимальную скорость сходимости для KANs с использованием B-сплайнов и разработали рекоменда

## Контекст Область исследования — генерирование синтетических табличных данных, которая играет ключевую роль в широких областях, включая машинное обучение, визуализацию и анализ. Существующие проблемы включают нехватку эффективных методов, которые могут точно генерировать реалистичные табличные данные, особенно когда данные ограничены или характеризуются сильной неоднородностью. Такие проблемы возникают в ситуациях, когда необходимо защитить конфиденциальность или увеличить гибкость в анализе. Мотивация заключается в разработке метода, который может эффективно учитывать сложные взаимосвязи в данных, обеспечивая при этом высокую точность и удобство для исследователей. ## Метод Генерирующий метод, предложенный в работе, основывается на принципе максимальной энтропии (MaxEnt). Данный подход, названный GEM-T (Generative Entropy Maximization for Tables), предназначен для генерирования табличных данных, учитывая взаимосвязи между столбцами. GEM-T активно использует не только первоочередные (парные) связи, но и высшие порядки взаимосвязей, включая трехмерные и дальше. Это позволяет ему лучше подступиться к сложной структуре табличных данных, включая категориальные и непрерывные признаки. Архитектура GEM-T характеризуется простотой и эффективностью, используя минимальное количество параметров для обучения. Метод подходит для широкого круга задач, включая генерирование данных для обучения моделей и защищенного анализа. ## Результаты ГОСТ Р 7.0.11 2023. Раздел Результаты исследований включает описание экспериментов, проведенных на 23 табличных данных из различных сфер. ГEM-Т показал себя эффективнее текущих методов в 23 из 34 датасетов, что составляет 68%. Таким образом, он доказал высокую точность в генерировании табличных данных. Одним из примечательных аспектов GEM-T является его высокая эффективность, поскольку он включает в себя существенно меньше параметров, чем многие другие глубокие нейронные сети. Это делает его более легким для работы и применимым в сценариях, где ресурсы ограничены. ## Значимость ГОСТ Р 7.0.11 2023. Результаты имеют значимость в ряде областей, включая здравоохранение, финансы и анализ данных. Метод GEM-T может применяться для генерирования синтетических данных для обучения, тестирования и защиты конфиденциальности. Основное преимущество — его легковесная архитектура, которая позволяет работать с большими табличными данными без значительных накладных расходов на ресурсы. Будущие разработки могут улучшить

## Контекст Информационная геометрия (IG) — это раздел математики, который изучает геометрические свойства многомерных пространств, которые могут быть представлены с помощью распределений вероятностей. Она широко применяется в машинном обучении, статистике и теории информации. Одним из приложений IG является вариационная байесовская оптимизация (Variational Bayes, VB), метод решения задач статистического вывода в ненастоящем времени. Традиционно VB и IG рассматривались как отдельные области, но недавние исследования показали, что существует глубокая связь между ними. Ключевая цель данного исследования — изучить эту связь и оценить ее потенциал для улучшения методов обучения машин. ## Метод В ходе работы использовался метод естественного градиентного спуска, в частности, алгоритм Bayesian Learning Rule (BLR). Были изучены и сравнины свойства VB и IG в рамках этого метода. Особое внимание было уделено структуре градиентов, которая формируется при применении BLR. Также были рассмотрены критерии, под которыми VB-решения зависят от условий естественных градиентов. Этот подход разрешил изучить многие характеристики VB и показать, как IG может улучшить ее стабильность и эффективность. ## Результаты Изучение связи VB и IG привело к нескольким ключевым результатам. В частности, подтверждено, что VB-решения всегда зависят от естественных градиентов. Это позволило продемонстрировать, что естественный градиентный спуск может использоваться для упрощения Bayes-правила. Были также получены результаты о том, что применение BLR позволяет значительно увеличить масштаб базовых VB-процедур, что может быть ключевым для применения VB в больших моделях языковых моделей. Результаты показали, что этот подход может улучшить точность и скорость обучения. ## Значимость Полученные результаты имеют значительное значение для машинного обучения и статистики. В частности, они улучшают теоретическую основу VB, позволяя лучше понять свойства и ограничения этого метода. Более того, новый подход может быть применен в практических задачах, включая обучение больших языковых моделей, где требуется высокая эффективность и стабильность. Этот инновационный подход также может открыть новые возможности для дальнейшего исследования взаимодействия между IG и VB. ## Выводы Эта работа показывает, что естественные градиенты являются ключевым инструментом для улучшения VB. Она также подтверждает глубокую связь между IG и VB, которая может быть использована для развития новых методов обучения машин. В будущем планируется расширить исследования, чтобы применить этот подход к другим моделям и задачам в машинном обу

## Контекст Область исследования, связанная с физикой и машинным обучением, становится все более важной в научном и технологическом мире. На сегодняшний день, существующие физико-ориентированные методы машинного обучения ограничены одним частным видом физических систем и требуют постоянного переобучения для применения в других ситуациях. Это значительно ограничивает их широту применения и эффективность. Многие аспекты физических процессов, такие как теплообмен, движение жидкости, динамика звука и другие, требуют сложных и ресурсоемких моделей для точного прогнозирования. Эта сложность означает, что значительное время и средства требуются для разработки специализированных решений. Однако с появлением фундаментальных моделей (Foundation Models) в области естественного языка, появилась возможность перенести этот подход на область физики. Такая модель способна "научиться разбираться" в разных физических процессах без необходимости переобучения, что может упростить доступ к высококачественным моделям и ускорить исследования. ## Метод Мы предлагаем General Physics Transformer (GPhyT), основанный на трансформерной архитектуре, для создания универсальной физической модели. Эта модель обучается на необработанных данных симуляций, которые включают различные физические системы, такие как течение жидкости, шокирующие волны, термическая конвекция и другие. Основное предположение заключается в том, что трансформеры могут научиться интерпретировать и предсказывать динамику физических систем на основе контекста, не требуя предварительного определения уравнений. В нашей работе достигнут три ключевых результата: (1) Гиперпараметры GPhyT позволяют ему решать задачи в разных физических областях, демонстрируя превосходство над специализированными архитектурами до 29 раз. (2) GPhyT легко может работать с новыми системами, которые не были видны во время обучения, благодаря возможности in-context learning. (3) Модель обеспечивает стабильные прогнозы на длительные сроки, которые могут достигать до 50 шагов вперед в процессе временного роллаута. Этот подход предлагает новый способ построения универсальной модели, которая может быть применена в разных физических ситуациях. ## Результаты Мы проводили эксперименты, используя 1.8 TB данных, включающих различные физические системы. Наши результаты показали, что GPhyT не только превосходит существующие модели в нескольких физических областях, но и может предсказывать динамику в новых ситуациях без дополнительного обучения. Например, модель смогла точно прогнозировать

## Контекст Modern deep learning models отличаются сильным увлечением за спуриозными корреляциями, что приводит к низкому уровню общезначимости и к необходимости подготовки огромных выборок данных. Это ограничение особенно чувствительно в ситуациях, где необходима высокая производительность, а данных для обучения недостаточно. Одна из ключевых причин этого ограничения заключается в отсутствии понимания причинно-следственных связей в этих моделях. Чтобы избежать этих проблем, необходимо развитие моделей, которые могут учитывать причинно-следственные связи и использовать их для вывода и понимания. В настоящей работе мы предлагаем **Causal-Symbolic Meta-Learning (CSML)**, новую архитектуру, которая способна выявлять и использовать причинно-следственные структуры для мета-обучения. CSML объединяет модули перцепции, ориентированные на извлечение символических представлений, модули разбора причинно-следственных связей и модули логического рассуждения для точного прогнозирования. Эта архитектура позволяет CSML быстро адаптироваться к новым задачам, включая те, которые требуют анализа интервенций и кантов, даже при ограниченных данных. Мы вводим новый бенчмарк CausalWorld, который позволяет протестировать эти улучшения. ## Метод **Causal-Symbolic Meta-Learning** состоит из трех основных модулей. **Перцепционный модуль** выполняет разбор входных данных и их преобразование в символические представления. **Модуль разбора причинно-следственных связей** устанавливает причинно-следственные связи между символами, используя методы оптимизации, которые позволяют градиентно выявлять структуру причинно-следственных сетей. **Модуль логического рассуждения** использует эту структуру для прогнозирования и решения задач. CSML работает в среде мета-обучения, где он учитывает разнообразные задачи и изучает причинно-следственные связи, которые могут быть применены к новым задачам. Новый бенчмарк CausalWorld позволяет протестировать модель в условиях взаимодействия с физическими силами и вывода причинно-следственных связей. ## Результаты Мы провели эксперименты на синтетических и реальных данных, включая CausalWorld, и сравнили CSML с текущими моделями мета-обучения и нейро-символическими моделями. Наши результаты показывают, что CSML значительно превосходит существующие подходы в мета-обучении на разных задачах, в том числе тех, которые требуют анализа причинно-следственных связей. Модель показала высокую точность и устойчивость при малом количестве обучающих данных. ## Значимость CSML может быть применено в различных областях, включая робототехнику, игры и обработку естественного языка. Он предлагает следующие преиму

## Контекст Политические оптимизации служат основополагающим методам для обучения бо LARGE LANGUAGE MODELS (LLMs). Однако существующие подходы, такие как GRPO, сталкиваются с рядом проблем. Например, использование на-лету базисных значений позволяет снизить дисперсию, но часто приводит к вырожденным группам, которые лишаются обучающих сигналов. Более того, синхронизационные барьеры мешают масштабированию этих методов, особенно в сценариях, где размер батча или длина генерации варьируется. Эти ограничения приводят к затуханию обучающих сигналов и снижению эффективности. Однако возрастающий интерес к LLMs в задачах, таких как принятие решений, логическое моделирование и инструментальное развитие, подчеркивает необходимость эффективных, масштабируемых и устойчивых политических оптимизаций. Таким образом, необходим подход, который избавится от этих ограничений и обеспечит более стабильный и эффективный процесс обучения. ## Метод Мы предлагаем **Single-stream Policy Optimization (SPO)**, который представляет собой новый подход к политической оптимизации для LLMs. SPO заменяет на-лету базисные значения на постоянный, адаптивный треккер величины KL. Этот треккер гарантирует низкую дисперсию в представлении приближения, нормализовав приближения в соответствии с глобальными стандартами за один проход. Он также устраняет синхронизационные барьеры, позволяя работать с большими батчами и длинными генерационными задачами. Используя постоянную трассировку величины, SPO также включает в себя принцип адаптивной курсивизации, что позволяет приоритетно выбирать образцы в задачах обучения. Вычислительная эффективность SPO достигается благодаря его модульной архитектуре, которая отказывается от ненужных групповых структур и внедряет принципы глобального нормалирования. ## Результаты Мы проверили SPO на Qwen3-8B, тестируя его на пяти сложных задачах математики. SPO показал более сглаженный спуск и вышеуровневые результаты по отношению к GRPO. Например, на BRUMO 25 он повысил average maj@32 на +3.4 pp, на AIME 25 на +4.4 pp, на HMMT 25 на +3.3 pp. Эти результаты были поддержаны значительными повышениями в pass@$k$, показывая его эффективность в сложных сценариях. Эти результаты также подтверждают, что SPO превосходит GRPO не только в высоком масштабировании, но и в стабильности обучения. Благодаря исключению вырожденных групп и эффективной нормализации, SPO обеспечивает более надежное и высокопоточное тренирование по сравнению с существующими методами. ## Значимость SPO может быть применен в различных обла

## Контекст В современной области оптимизации характеристик информационных систем возникают сложности при учете множества интересующих факторов, которые влияют на поведение и производительность. Одним из главных задач в этой области является нахождение корректных способов оценки позиций, исходя из данных, которые могут быть неполными или несогласованными. Дополнительные ограничения возникают при наличии неопределенностей в данных или когда требуется учитывать риски при оценке. Фреймворк FACTORS (Factorial Approximation for Complementary Two-factor Optimization with Risk-aware Scoring) предлагает решение этих проблем. ## Метод FACTORS сочетает методы экспериментального проектирования с применением декомпозиции Shapley для оценки характеристик факторов, влияющих на результат. Основные эффекты и взаимодействия между факторами осуществляются на двух разных путях: путем усредненных оценок (plug-in) и методом минимизации квадратов (least-squares). Эти подходы работают взаимозаменяемо, даже когда данные имеют разные уровни точности и несогласованности. Фреймворк также включает меру ошибки, коррекцию значений и оценку неопределенности. Он позволяет уменьшить риски и обеспечить устойчивую оптимизацию, даже при ограниченных бюджетных ресурсах. ## Результаты Фактические эксперименты показали, что FACTORS эффективно решает задачу оптимизации в различных условиях, в том числе при неопределенности и высоких рисках. За счёт характеристик доверительных интервалов, включенных в фреймворк, он обеспечивает более точную оценку и выбор конфигураций, даже в случае небольших данных. Это демонстрируется на разных данных и условиях, где FACTORS показывает оптимальные результаты в сравнении с другими существующими методами. ## Значимость FACTORS может быть применен в различных областях, таких как интеллектуальный анализ данных, адаптивная системная оптимизация и работа с нестабильными системами. Он предлагает выгоды в том, что обеспечивает более стабильные результаты, а также повышает уровень уверенности в выборе конфигураций. Помимо этого, FACTORS может быть использован в технологиях машинного обучения, когда необходимо учитывать неопределенность в данных. ## Выводы FACTORS представляет собой эффективный фреймворк для оптимизации с учетом неопределенности и рисков. Он позволяет повысить точность в выборе конфигураций, обеспечить устойчивость результатов и уменьшить время работы поиска оптимальных параметров. Будущими направлениями исследований могут стать расширение методов оценки не только двух факторов, но и многих факторов взаимодействий, а также расширение применения FACTORS в различных сферах, где необходима

## Контекст Объяснение решений машинного обучения (eXplainable AI, XAI), особенно в задачах с табулярными данными, представляет собой ключевую проблему в AI. Существующие фреймворки часто ограничены в своей способности показать "как" функции взаимодействуют друг с другом. Это проблема приводит к ситуации, когда пользователи моделей могут понять "что" функции важны, но не понимают "как" они взаимодействуют. Это усложняет понимание моделей и их доверие. Для решения этой проблемы требуется метод, который может эффективно анализировать взаимодействия функций без громоздких вычислений. ## Метод STRIDE (Subset-Free Functional Decomposition) предлагает новую методологию для XAI, основанную на Reproducing Kernel Hilbert Space (RKHS). Он аналитически декомпозирует функциональные компоненты модели, используя рекурсивный процесс центрирования ядер. Этот подход устраняет необходимость в переборе подмножеств (subset enumeration), что приводит к эффективности. Метод является модельно-независимым и опирается на теоретические результаты, такие как гомотетичность и L^2-сходимость. STRIDE также вводит "компонентную хирургию", позволяющую выявлять и измерять вклад отдельных взаимодействий в модель. ## Результаты Эксперименты проводились на 10 табулярных датасетах с повторениями по 10 семантическим семям. STRIDE демонстрирует 3.0-кратный ускорение по сравнению с TreeSHAP в среднем, а также достигает среднего R^2=0.93 для реконструкции, что указывает на высокую точность. Также был проведен эксперимент "компонентная хирургия", демонстрирующий, что удаление одного взаимодействия может значительно изменить значение R^2, что подтверждает эффективность разбора взаимодействий. ## Значимость STRIDE может использоваться в различных областях, где требуется понимание решений моделей, таких как финансы, здравоохранение и агротехника. Метод предоставляет более глубокий взгляд на взаимодействия функций, чем существующие подходы, и позволяет пользователям доверять решениям моделей. Его высокая скорость и точность делают его привлекательным для реального применения. ## Выводы STRIDE предлагает новую архитектуру для XAI, эффективно разбирающую взаимодействия в табулярных моделях без перебора подмножеств. Он показывает свою эффективность в реальных данных и имеет значительный потенциал для улучшения доверия к AI. Будущие работы будут направлены на расширение STRIDE для других типов данных и моделей, а также на повышение его точности и скорости.

## Контекст Сложность объяснения работы искусственного интеллекта (XAI) заключается в увеличении экспоненциальной сложности при осмыслении взаимодействий между входными переменными и выходными значениями модели. Общие подходы XAI, такие как SHAP или LIME, сталкиваются с проблемами, такими как высокая сложность вычислений при рассмотрении множественных подмножеств признаков и компромисс между выразительностью и скоростью. Эти ограничения приводят к необходимости разработки более эффективных и интерпретируемых методов объяснения. ## Метод STRIDE (Scalable and Interpretable XAI via Subset-Free Functional Decomposition) предлагает разделение вклада каждого признака в модель на аналитические компоненты, используя схему ряда Фурье в Reproducing Kernel Hilbert Space (RKHS). Вместо перебора подмножеств, STRIDE использует ориентированный на переменные подход, позволяющий выделять значимые взаимодействия. Эта модель агностична к модели, на основе которой проводится анализ, и обеспечивает как локальные, так и глобальные объяснения. В своей теоретической основе STRIDE основывается на теоремах о топологии, которые поддерживают целостность и точность результатов. ## Результаты В ходе экспериментов на 10 различных табличных датасетах STRIDE демонстрировала высокую точность по сравнению с другими методами XAI. Для оценки вычислительной эффективности показаны скорости расчетов и достигнутое согласие в результатах. Например, на датасете "California Housing" конкурирующие методы работали медленнее, тогда как STRIDE демонстрировала ускорение до 9.7 раз. Была достигнута высокая точность в диапазоне R² от 0.81 до 0.999, а также обнаружены новые возможности диагностики, таких как "компонентное оперирование", для точного измерения вклада конкретных интеракций. ## Значимость STRIDE предлагает новый подход к объяснению работы моделей, который устраняет необходимость в переборе подмножеств признаков, обеспечивая более эффективную работу и высокую точность. Этот метод может быть применен в широком круге областей, включая финансы, медицину и охрану окружающей среды. Он предоставляет новые средства для диагностики моделей, позволяя увидеть, как изменения в определенных интеракциях влияют на результат. Это может помочь сократить время на верификацию и улучшить надежность работы моделей в реальных условиях. ## Выводы STRIDE представляет собой более эффективный и интерпретируемый подход к XAI, который удаляет необходимость в переборе подмножеств признаков и обеспечивает новые возможности диагностики. Он доказал высокую точность и скорость, даже при работе с большими датасетами. Будущие исследования будут сконцентрированы на расширении STRIDE в

#### Контекст Область исследования, связанная с метрологией искусственного интеллекта (AI), становится все более актуальной в связи с потребностью в методах эффективной оценки и понимания работы AI-систем. Одним из ключевых аспектов является разработка моделей, которые способны работать в условиях неполноты информации и неопределенности. Одна из таких моделей — игра Hidden Rule Environments (GOHR), в которой агент должен выявить неизвестные правила и применить их для решения задачи. Эта проблема отражает реальные ситуации, где системам необходимо извлекать знания из неполных данных и изучать политики действий в реальном времени. Задача GOHR является интересной для исследования, так как она симулирует сложные задачи реального мира, требующие высокого уровня интеллектуальных навыков. #### Метод Для изучения этой задачи была разработана архитектура, основанная на алгоритме Reinforcement Learning с использованием Transformer-based Advantage Actor-Critic (A2C). Агент обучается в условиях неполных наблюдений и должен одновременно выявить правила, регулирующие игру, и найти оптимальную политику действий. Для представления состояния использовались два подхода: Feature-Centric (FC) и Object-Centric (OC). Эти методы отличаются способом формирования представления окружающего мира для агента. Тренировочный процесс был проведен в условиях различных сценариев, включая использование различных правил и ситуаций, чтобы протестировать гибкость и эффективность разных представлений состояния. Эта архитектура позволяет изучать, как агент изучает неизвестные правила и применяет их в разных ситуациях. #### Результаты В ходе экспериментов были проанализированы различные представления состояний и правила, что позволило изучить эффективность разных подходов. Был проверен эффект перехода из одного представления в другое, чтобы оценить гибкость модели. Было выявлено, что Object-Centric представление позволяет достичь лучших результатов в ситуациях, где требуется более высокий уровень интеллектуальных навыков. Были также оценены влияние размера данных, времени обучения и других параметров на то, насколько быстро и точно агент узнает правила и применяет их в игре. Эти результаты демонстрируют возможность модели для решения сложных задач, требующих высокого уровня представления и обучения. #### Значимость Результаты этого исследования могут быть применены в различных областях, где необходимо применение AI для решения задач в условиях неполноты информации и неопределенности. Например, в сфере робототехники, игровой индустрии, или даже в области биологии, где необходимо выявлять закономерности и принимать решения на основе неполных данных. Благодаря использованию сло