## КОНТЕКСТ И ПРОБЛЕМАТИКА Графовые модели-основы (Graph Foundation Models, GFMs) играют ключевую роль в задачах графовой классифицирования, требующих высокой способности к обобщению на разных доменах. Однако существующие подходы сталкиваются с трудностями при переносе знаний между доменами, так как традиционные методы GFMs часто сосредоточены на передаче информации из узловых признаков в единое пространство представлений, недостаточно учитывая структурные аспекты графов. Это ограничивает их способность к структурному обобщению, особенно когда данные отсутствуют или неполны. Графы, в отличие от других типов данных, характеризуются уникальными структурными инвариантами, которые не зависят от конкретного оформления или меток узлов. Эти инварианты могут быть использованы для извлечения общих характеристик графов, независимо от домена. Тем не менее, большинство существующих моделей не уделяют должного внимания этим структурным свойствам, что приводит к ограниченной эффективности в задачах, требующих кросс-доменной обобщенности. Для решения этой проблемы необходимо разработать метод, который центрирует внимание на структурных свойствах графов, обеспечивая более широкую применимость моделей в различных контекстах. Такой подход должен сочетать структурные инварианты с доменно-специфическими признаками для повышения качества представлений графов и их классификации. ## ПРЕДЛОЖЕННЫЙ МЕТОД Авторы предлагают GraphProp, инновационный метод для обучения GFMs, который сосредоточен на структурном обобщении. Метод состоит из двух этапов. На первом этапе выполняется обучение структурной GFM путем предсказания графовых инвариантов. Графовые инварианты — это свойства, определяемые только структурой графа, не зависящие от конкретного оформления или меток. Обучение на инвариантах позволяет модели захватывать абстрактную информацию о структуре, обеспечивая высокодискретизирующие представления графов, которые могут быть применены в разных доменах. На втором этапе используются представления, полученные на первом этапе, как позиционные кодировки для обучения комплексной GFM. В этом этапе интегрируются доменно-специфические узловые признаки и метки графов, что позволяет улучшить обобщающую способность модели на уровне узловых признаков и междоменной переносимости. Такая двухэтапная стратегия обучения позволяет GraphProp эффективно сочетать структурную и доменно-специфическую информацию, обеспечивая высокую производительность даже в задачах с ограниченными данными, таких как few-shot learning. ## ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ Эксперименты проводились на различных наборах данных для графовой классификации, включая те, где узловые признаки были отсутствующими или неполными. Результаты показали, что GraphProp значительно превосходит существующие методы как в задачах с полными данными, так и в фейворном обучении (few-shot learning). В частности, модель демонстрирует высокую эффективность в обработке графов без узловых признаков, где традиционные методы терпят неудачу. Полученные представления графов оказались более дискретизирующими и переносимыми между доменами, что подтверждает успешность предложенного подхода. ## ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ GraphProp имеет широкое применение в задачах, требующих кросс-доменной обработки графов, таких как молекулярная биология, социальные сети и системы рекомендаций. Его способность эффективно обрабатывать графы без узловых признаков делает его особенно полезным в ситуациях, где доступны только структурные данные. Преимущества GraphProp включают улучшенную общую способность к обобщению, улучшенную дискриминативность представлений и высокую эффективность в сценариях с ограниченными данными. Эти качества делают модель привлекательной для практических приложений в различных областях. ## ВЫВОДЫ И ПЕРСПЕКТИВЫ GraphProp представляет новый подход к обучению GFMs, который сочетает структурные и доменно-специфические аспекты. Он показывает высокую эффективность в различных задачах графовой классификации, особенно в условиях отсутствия или неполноты данных. В будущем могут быть исследованы дополнительные способы интеграции структурных и доменно-специфических признаков, а также расширение применения GraphProp в задачах с более сложными типами данных. Дальнейшие исследования могут также фокусироваться на адаптации этого подхода к другим доменам и задачам машинного обучения.

## КОНТЕКСТ И ПРОБЛЕМАТИКА В современном мире кибербезопасности крайне важно обеспечить эффективную защиту сетевых систем от возрастающего количества киберугроз. Традиционные методы киберзащиты часто сталкиваются с ограничениями, такими как высокая стоимость вычислений, риск катастрофического забывания (catastrophic forgetting) при обучении на новых данных и невозможность эффективно адаптироваться к непредвиденным угрозам. Эти проблемы становятся особенно актуальными в контексте Network Intrusion Detection Systems (NIDS), требующих высокого уровня точности и энергоэффективности. Биологический мозг является источником вдохновения для разработки более эффективных систем, благодаря его способности к иерархической обработке информации и энергоэффективности. Исходя из этого, разработка нейроморфических систем, основанных на спайковых нейронных сетях (Spiking Neural Networks, SNN), является перспективным направлением. SNN могут эмулировать нейробиологические механизмы, такие как структурная пластичность и адаптивное обучение, что позволяет им обрабатывать данные в реальном времени и обучаться на новых угрозах без потери существующих знаний. Однако разработка SNN для NIDS сопровождается рядом вызовов, включая необходимость обработки потоковых данных в режиме реального времени, обеспечение энергоэффективности и уменьшение катастрофического забывания при обучении на новых угрозах. Таким образом, необходимо разработать методологии, которые бы объединили высокую точность классификации, адаптивность и энергоэффективность в единой системе. ## ПРЕДЛОЖЕННЫЙ МЕТОД В данной статье предлагается нейроморфическая архитектура для NIDS, основанная на двух слоях SNN. Первый слой, статический SNN, выполняет первичную фильтрацию потенциальных угроз. Затем активируется динамический SNN, отвечающий за детальную классификацию типов атак. Динамический SNN использует механизм Grow When Required (GWR), который позволяет сети динамически расширять свою структуру для обучения новых угроз. Для обучения используется новый Adaptive Spike-Timing-Dependent Plasticity (Ad-STDP), который оптимизирует синптические веса в соответствии с временными динамиками спайков, обеспечен

--- title: КОНТЕКСТ И ПРОБЛЕМАТИКА --- ### message ## КОНТЕКСТ И ПРОБЛЕМАТИКА Link Prediction (LP) представляет собой ключевую задачу в области графового машинного обучения, требующую прогнозирования существования связей между узлами в графе. Несмотря на значительные улучшения, достигнутые при помощи Графовых Нейронных Сетей (ГНС), существующие методы сталкиваются с рядом проблем. Во-первых, ограниченное количество данных для обучения, вызванное разреженной структурой графов, ограничивает эффективность обучения. Во-вторых, чувствительность к инициализации моделей может приводить к нестабильности результатов. В-третьих, трудности в обобщении при наличии сдвигов в распределении данных делают модели менее эффективными в реальных сценариях. Эти проблемы особенно актуальны в сферах, где доступные данные для обучения ограничены, а необходимость высокого качества прогнозов критична. Обычные подходы к LP основываются на конечном количестве меток и используют модели, которые не всегда эффективны при работе с новыми или незнакомыми наборами данных. Это вызывает потребность в создании более универсальных и адаптивных методов, способных эффективно переноситься на различные домены. Предобучение моделей на больших и разнообразных данных может стать решением этих проблем, однако для LP это задача сложная, так как она требует интеграции информации как на уровне узлов, так и на уровне связей. В данной статье авторы предлагают систематическое исследование предобучения для LP и разработку методологии, которая позволяет эффективно комбинировать информацию с разных уровней и обеспечивает высокую адаптивность к новым данным. ## ПРЕДЛОЖЕННЫЙ МЕТОД Авторы предлагают инновационный метод предобучения для LP, основанный на комбинации модулей узлового и реберного уровня. Основная идея заключается в использовании стратегии late fusion, которая позволяет эффективно интегрировать информацию из этих модулей. Для обработки разнообразия данных во время предобучения авторы используют Mixture-of-Experts (MoE) фреймворк. Этот подход позволяет каждому "эксперту" сфокусироваться на отдельных паттернах в данных, что помогает избежать негативного переноса знаний (negative transfer). Для быстрой адаптации модели на новые данные предлагается использовать параметрически эффективную настройку (parameter-efficient tuning). Это позволяет модели быстро адаптироваться к новым задачам с минимальными вычислительными затратами. Такая стратегия также обеспечивает экономию ресурсов при работе с небольшими или специфичными датасетами. Архитектура состоит из нескольких ключевых компонентов: модули для обработки узлов и связей, MoE-структура для обработки разнообразия данных, и механизмы быстрой настройки моделей. Это позволяет создавать модели, которые обладают высокой гибкостью и эффективностью при работе на различных задачах LP. ## ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ Авторы провели эксперименты на 16 различных датасетах, представляющих два домена. Результаты демонстрируют, что предложенный метод достигает высоких результатов в задачах LP в условиях ограниченных данных для обучения. Модель показывает лучшие результаты по сравнению со стандартными подходами, особенно в случаях, когда данные для обучения ограничены. Кроме того, авторы сравнивают свой подход с полностью обученными моделями и показывают, что предложенный метод достигает конкурентоспособных результатов, но с значительно нижей вычислительной сложностью (более 10,000 раз меньшая). Это подтверждает эффективность предложенного фреймворка в решении задач LP с минимальными вычислительными затратами. ## ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ Предложенный метод имеет широкое применение в областях, требующих эффективного решения задач LP, таких как рекомендательные системы, биоинформатика, и социальные сети. Благодаря высокой адаптивности и низким вычислительным затратам, данный подход может быть использован в сценариях, где данные для обучения ограничены, но необходим высокоточный прогноз связей. Преимущества метода включают в себя низкую сложность вычислительных ресурсов, возможность эффективной адаптации к новым данным, и высокую точность прогнозов в условиях ограниченного обучения. Это делает модель пригодной для использования в реальных приложениях, где эффективность и качество прогнозов играют критическую роль. ## ВЫВОДЫ И ПЕРСПЕКТИВЫ В рамках данного исследования был представлен первый систематический подход к предобучению моделей для LP, который эффективно интегрирует информацию с разных уровней и обеспечивает высокую адаптивность. Результаты экспериментов показывают, что предложенный метод не только достигает высоких результатов, но и значительно сокращает вычислительные затраты по сравнению с традиционными подходами. Будущие исследования могут фокусироваться на дальнейшем улучшении адаптивности моделей, расширении областей применения, а также на исследовании новых стратегий для еще более эффективного переноса знаний между задачами. Также может быть полезно исследовать влияние различных конфигураций MoE на качество предсказаний и работу модели в более сложных сценариях.

В статье рассматривается проблема эффективности информационного контента слоев в малых языковых моделях, где многие слои не несут значительного уникального вклада, но существенно влияют на память и энергопотребление во время вычислений. Для решения этой проблемы предлагается метод LieQ — метрический подход к пост-тренировочной квантизации, направленный на поддержание точности моделей менее 7 миллиардов параметров при крайне низкой битовой глубине. Метод основан на трех диагностических показателях: Perplexity Drop, Representational Compactness и Top-k Energy Gain, которые позволяют определить оптимальное распределение битовых ширин слоев без необходимости обновления градиентов. Эксперименты показывают, что LieQ достигает нового уровня сжатия-точности: для модели Qwen3-4B восстанавливается 95,9% производительности FP16 при 2,05-битной квантизации, превосходя GPTQ и AWQ на 19,7% и 18,1% соответственно. Для LLaMA3.2-3B достигается 98,2% точности при 2,07-битной квантизации, обеспечивая снижение потребления памяти в 4 раза. Эти результаты открывают новые возможности для развертывания малых языковых моделей на ресурсоограниченных устройствах.

Методы параметрически-эффективной дообучения (PEFT) снижают затраты адаптации LLM, но низкоранговые адаптеры теряют точность из-за ограниченной выразительности. Авторы предлагают Mixture of Kronecker Adapters (MoKA) — новый тип Kronecker-адаптера, где обновления весов представлены как смесь продуктов Кронекера с вентильным механизмом, оценивающим значение каждого сомножителя. Переформулировав вычисления Кронекера через стандартные матричные операции, авторы добились аппаратной эффективности на GPU. Эксперименты на дообучении инструкций и здравомысленном рассуждении при помощи квантованных LLaMA2-7B и LLaMA3-8B показали, что MoKA превосходит все PEFT-базовые методы, уменьшая число обучаемых параметров до 27× и обеспечивая новое SOTA соотношение точность/эффективность.

Существующие методы Explainable AI (XAI) измеряют faithfulness десятками разных метрик и не имеют единой «правильной» интерпретации, что затрудняет объективное сравнение и дальнейшие улучшения. Авторы предлагают DeepFaith — единую модель-агностичную рамку, которая теоретически выводит оптимальное объяснение, максимизирующеe faithfulness сразу по всем популярным метрикам. Обучение идёт на «супервайзере», собранном из лучших фрагментов существующих методов, и заканчивается одним forward-pass без доступа к целевой модели. На 12 задачах, 6 моделях и 6 датасетах DeepFaith показывает наивысшие средние значения по 10 фундаментальным метрикам, демонстрируя домен-независимую обобщаемость и практическую применимость.

## КОНТЕКСТ И ПРОБЛЕМАТИКА Автоматическое доказательство теорем является одним из ключевых направлений в области искусственного интеллекта и вычислительной логики. Эта область направлена на создание алгоритмов и моделей, способных автоматически доказывать математические утверждения, что может значительно ускорить процесс научных открытий и верификацию сложных систем. Однако, существующие методы зачастую сталкиваются с ограничениями в масштабируемости и сложности решаемых задач. Многие из них либо требуют значительных вычислительных ресурсов, либо не способны эффективно справляться с задачами повышенной сложности. Это создает необходимость в разработке новых подходов, которые могли бы обеспечить как высокую производительность, так и доступность для более широкого круга пользователей. Мотивация для создания Goedel-Prover-V2 заключается в преодолении этих ограничений через использование современных языковых моделей и инновационных методологий, таких как синтез данных и самокоррекция, которые позволяют улучшить обучение моделей и их способность решать сложные задачи. ## ПРЕДЛОЖЕННЫЙ МЕТОД Goedel-Prover-V2 представляет собой серию языковых моделей, разработанных для автоматического доказательства теорем. Основой предложенного метода является стандартный процесс итерации экспертов и обучения с подкреплением, в который интегрированы три ключевых инновации. Во-первых, это структурированный синтез данных, который позволяет генерировать синтетические задания с возрастающей сложностью. Это обучает модель постепенно осваивать все более сложные теоремы. Во-вторых, метод самокоррекции, управляемый верификатором, позволяет модели итеративно исправлять свои доказательства, используя обратную связь от компилятора Lean. В-третьих, усреднение моделей, которое объединяет контрольные точки модели, чтобы уменьшить снижение разнообразия выходных данных модели на поздних стадиях обучения. Эти инновации позволяют Goedel-Prover-V2 добиваться высоких результатов в доказательстве теорем, обеспечивая при этом эффективность и устойчивость модели. ## ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ Для оценки эффективности Goedel-Prover-V2 были проведены эксперименты с использованием нескольких тестовых наборов данных. Малая модель Goedel-Prover-V2-8B достигла 84.6% по метрике pass@32 на наборе данных MiniF2F, превосходя DeepSeek-Prover-V2-671B, несмотря на то, что она в 80 раз меньше. Флагманская модель Goedel-Prover-V2-32B достигла 88.1% на MiniF2F при стандартном режиме и 90.4% в режиме самокоррекции, значительно превосходя предыдущее состояние искусства. Более того, она успешно решила 86 задач на PutnamBench при pass@184, заняв первое место среди открытых моделей, обогнав DeepSeek-Prover-V2-671B, который решил 47 задач при pass@1024. Эти результаты демонстрируют, что предложенная методология позволяет достигать высоких показателей производительности при меньших вычислительных затратах и размерах модели. ## ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ Goedel-Prover-V2 имеет широкий спектр потенциальных применений в различных областях, включая математику, компьютерные науки и инженерные дисциплины, где требуется автоматизация верификации и доказательства теорем. Одним из ключевых преимуществ является возможность использования более компактных и эффективных моделей, что расширяет доступность технологии для исследовательских групп с ограниченными ресурсами. Кроме того, инновации, заложенные в методологию Goedel-Prover-V2, могут быть адаптированы и для других задач, требующих автоматического синтеза и проверки сложных структур. Переход на модели открытого исходного кода также способствует более широкому распространению и адаптации технологии в научном сообществе, что может ускорить прогресс в области автоматического доказательства теорем. ## ВЫВОДЫ И ПЕРСПЕКТИВЫ Разработка Goedel-Prover-V2 представляет собой значительный шаг вперед в области автоматического доказательства теорем. Основные достижения включают в себя создание компактных и эффективных моделей, превосходящих существующие аналоги, а также внедрение инновационных методологий, таких как структурированный синтез данных и самокоррекция. В будущем исследования могут быть направлены на дальнейшее улучшение способности моделей решать задачи повышенной сложности, а также на расширение возможностей применения данных методов в других областях науки и техники. Важно продолжать развивать открытые платформы и инструменты, которые могут способствовать более быстрому и широкому распространению передовых технологий в научных кругах.

## КОНТЕКСТ И ПРОБЛЕМАТИКА Область исследования, рассматриваемая в статье "Cross-Model Semantics in Representation Learning", сосредоточена на внутреннем представлении данных глубокими нейронными сетями. В последние годы глубокое обучение приобрело значительную популярность благодаря своей способности извлекать сложные закономерности из данных, однако возникает проблема стабильности и переносимости этих представлений между различными архитектурами моделей. Вопросы о том, насколько выученные представления устойчивы к архитектурным изменениям, становятся всё более актуальными, особенно в контексте их совместимости и применения в различных системах. Существующие проблемы включают в себя архитектурно-специфические решения, которые могут ограничивать их переносимость и совместимость. Мотивацией для исследования является необходимость разработки подходов, которые позволят улучшить совместимость и стабильность внутренних представлений, что может существенно повысить эффективность обучения и применения моделей в динамично меняющихся средах. ## ПРЕДЛОЖЕННЫЙ МЕТОД Авторы предлагают методологию, основанную на структурных ограничениях, таких как линейные операторы формовки и корректирующие пути, чтобы улучшить совместимость внутренних представлений между различными архитектурами. Они разработали рамочную систему для измерения и анализа выравнивания представлений в сетях, имеющих различные, но связанные архитектурные предпосылки. Методология сочетает в себе теоретические выводы, эмпирические исследования и контролируемые эксперименты по переносу, что позволяет оценить влияние структурных регулярностей на стабильность представлений при изменении архитектур. Это достигается путем введения определенных форм индуктивных смещений, которые не только поддерживают обобщение внутри модели, но и улучшают интероперабельность выученных признаков между моделями. ## ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ В ходе экспериментов были использованы различные наборы данных и архитектуры моделей для проверки гипотезы о том, что структурные регулярности способствуют более стабильной геометрии представлений при изменении архитектур. Эксперименты включали как теоретические моделирования, так и практические тестирования на различных архитектурах, таких как ResNet и VGG. Полученные результаты показали, что предложенные структурные ограничения действительно улучшают совместимость представлений между моделями, что подтверждается более высокой степенью выравнивания и стабильности представлений. Эти результаты указывают на то, что определенные формы индуктивных смещений могут значительно улучшить переносимость и стабильность внутренних представлений, что открывает новые возможности для создания более универсальных и устойчивых моделей. ## ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ Практическая значимость исследования заключается в его потенциальном влиянии на области, связанные с дистилляцией моделей, модульным обучением и проектированием робастных систем обучения. Улучшенная совместимость представлений между различными архитектурами может способствовать более эффективному переносу знаний и уменьшению необходимости в повторном обучении моделей с нуля, что особенно актуально в условиях ограниченных вычислительных ресурсов. Преимущества предложенного подхода включают в себя более быструю адаптацию моделей к новым задачам и улучшение их обобщающей способности. Это может привести к созданию более гибких и адаптивных систем, способных быстро приспосабливаться к изменениям в данных и задачах, с которыми они сталкиваются. ## ВЫВОДЫ И ПЕРСПЕКТИВЫ Основные достижения исследования включают демонстрацию того, что структурные регулярности могут значительно улучшить переносимость и стабильность внутренних представлений между различными архитектурами. Это открывает новые перспективы для создания более универсальных и устойчивых моделей, которые могут эффективно работать в разнообразных условиях и задачах. В будущем исследование может быть расширено за счет изучения других типов архитектур и более сложных структурных ограничений. Дополнительно, перспективными направлениями являются разработка новых методов для автоматизации процесса настройки структурных ограничений и исследование их влияния на более широкие классы задач в глубоких нейронных сетях.

Вопрос воспроизводимости оценки моделей ML осложняется тем, что эталонные метки собирают у людей, а люди расходятся во мнениях. При ограниченном бюджете чаще жертвуют числом аннотаций на пример (K) ради числа примеров (N). Авторы исследуют оптимальный компромисс (N, K) при фиксированном бюджете N×K. На 10 категориальных датасетах с множественной разметкой показано, что достаточный уровень надёжности достигается при N×K≤1000 и K>10. Чувствительные к распределению метрики (Brier, log-loss) требуют высокого K, а «жёсткие» (Accuracy, F1) — высокого N. Предложенный инструмент помогает практикам выбирать метрику и N, K для максимальной надёжности при заданном бюджете.

Большие языковые модели генерируют убедительный текст, но не дают формальных гарантий корректности. Авторы переносят идею Design by Contract (DbC) на LLM, внедряя контрактный слой между вызывающим кодом и моделью. Каждый вызов сопровождается контрактом, задающим типовые и семантические ограничения на вход/выход; при нарушении запускается вероятностная дообработка, возвращающая результат в допустимое множество. Контракты декларируются как условия на строго типизированные структуры данных, а валидаторы пишет сам разработчик. Доказано, что два агента, удовлетворяющие одним и тем же контрактам, функционально эквивалентны в их рамках. Работа открывает путь к доверенным LLM-агентам без переобучения моделей.