## Контекст Quantized neural networks (QNNs) широко применяются в решении задач с предварительной обработкой данных, где необходимо минимизировать объем памяти и вычислительных ресурсов. Однако уменьшение bit-width внедряет избыточные ограничения на точность и скорость работы, так как каждый слой сети теряет часть информации при округлении. Есть необходимость в методах, позволяют градиантно оптимизировать процесс бит-width регулирования, уменьшая потери точности при повышении эффективности вычислений. Наличие этих проблем подчеркивает значимость разработки универсальных, достаточно устойчивых методов, которые позволят решать этот класс задач. ## Метод Методология GDNSQ (Gradual Differentiable Noise Scale Quantization) предлагает универсальную архитектуру для регулирования bit-width, используя параметры, такие как noise scale и clamp bounds. В этой модели используется для регулирования градиантного подхода Straight-Through Estimator (STE), который позволяет эффективно производить дифференцируемую оптимизацию. Кроме того, метод включает в себя функцию exterior-point penalty, которая задает жесткие ограничения на минимальную допустимую ширину бита. Наконец, в процессе тренировки используется механизм метрического сглаживания (distillation), чтобы повысить устойчивость тренировочной схемы к дискретным изменениям в регулировании. ## Результаты В ходе экспериментов были получены результаты, подтверждающие эффективность GDNSQ. Модель была применена к различным сетям, включая ResNet-50 и MobileNet, при небольших значениях bit-width (W1A1). Эксперименты показали, что производительность QNNs сохраняется при значительном уменьшении бит-width без существенных потерь точности. Также, модель успешно выполняет smooth optimization во время тренировки, что позволяет повысить степень generalization и уменьшить variance в результатах. ## Значимость Результаты GDNSQ допускают широкое применение в различных прикладных областях, таких как computer vision, NLP и другие задачи, требующие высокой эффективности работы с данными. Метод позволяет решать задачи с малым bit-width, не прибегая к тяжелым методам fine-tuning. Он также обеспечивает высокую степень устойчивости и может быть применен для решения задач в реальном времени с удовлетворительной точностью. ## Выводы GDNSQ представляет собой новый подход к регулированию bit-width в QNNs, который обеспечивает высокую точность и эффективность. Данный метод может быть успешно применен в различных областях исследований и приложениях, где требуется минимизация ресурсов при сохранении качества решения задач. В будущем, можно рассмотреть расширение модели для решения задач с более сложными данными и более высоким bit-width.

## Контекст В области морских и малоинвазивных технологий активно используются системы сенсорного оснащения, которые позволяют отслеживать и анализировать трафик морских судов. Однако эти системы чувствительны к нестандартным данным (outlier data), таким как неожиданные появления целевых объектов (targets) в морских пространствах. Такие нестандартные данные могут привести к ошибочным выводам или снижению эффективности работы системы. Наблюдение за морским трафиком идет в режиме реального времени, что делает важной задачу активного отслеживания и классификации outlier-апов в морских сенсорных сетях. Настоящая работа опирается на теорию процессов случайных полей и описания локальных вероятностных моделей, чтобы предложить новый подход к распознаванию outlier-апов. ## Метод Работа основывается на использовании модели log Gaussian Cox process (LGCP), которая позволяет представить существующие процессы спонтанных появлений целей в виде композитных процессов, включающих обычные (normal) и outlier-вырожденные (outlier-like) компоненты. Для повышения точности классификации outlier-апов рассматривается второй порядок приближения вероятностного распределения, которое включает в себя как среднее, так и дисперсию нормального интенсивности-функции. Для оценки вероятности того, что новое наблюдение является outlier-ом, используется аналитическое обобщение, основанное на Jensen's inequality. Кроме того, авторы предлагают метод динамического размещения сенсоров, который регулирует положение сенсоров в зависимости от изменений вероятности появления outlier-ов в реальном времени. ## Результаты На базе данных трафика морских судов вблизи Норфолка (Virginia, США) проводились эксперименты по классификации и распознаванию outlier-апов. Результаты показали, что второе приближение вероятности outlier-апов дает тенечую выгоду по сравнению с простым mean-ом. Это приводит к улучшению точности классификации и корректности распознавания outlier-апов. Метод динамического размещения сенсоров позволил улучшить динамику отслеживания целей в реальном времени. Эти результаты подтверждают, что использование LGCP-модели и адаптивной стратегии размещения сенсоров может значительно повысить эффективность систем морского мониторинга. ## Значимость Предложенная модель имеет широкие потенциальные применения в системах морского мониторинга, в том числе для обнаружения неожиданных целей в реальном времени, контроля трафика, а также для оценки возможностей защиты морских территорий. Исследование также открывает пути к будущим разработкам в области сенсорных сетей и моделей анализа нестандартных данных в технологических системах. Бу

#### Контекст Асимметричное понижение ранга у матриц широко применяется в различных областях, таких как глубокое обучение, зеркальное упрощение моделей и обработка текстовых данных. Однако решение этой задачи часто связано с техническими сложностями, включая нелинейность и негладкость функционала. Основная проблема заключается в том, что многие методы требуют дополнительных регуляризационных условий для гарантии сходимости, что усложняет их использование в реальных задачах. Мотивация заключается в найти универсальный подход, который не требует дополнительных регуляризации, но при этом поддерживает высокую точность и скорость сходимости. #### Метод Мы рассматриваем асимметричное понижение ранга матрицы как нелинейное неконвексное задание с объективной функцией, основанной на минимизации квадратичной ошибки. Для решения используется метод градиентного спуска (gradient descent). Отличительная черта нашего подхода заключается в том, что мы убираем регуляризационные условия, которые применялись ранее, и используем новую технику leave-one-out для проверки сходимости. Метод градиентного спуска инициализируется с помощью алгоритма спектральной инициализации. Такой подход позволяет доказать линейную сходимость с высокой вероятностью и продемонстрировать, что регуляризационный терм имеет небольшую норму во время итераций, что указывает на наличие неявной регуляризации. #### Результаты Мы проводили эксперименты на различных выборках данных, включая синтетические и реальные. Наши результаты показали, что метод градиентного спуска, описанный в нашей работе, демонстрирует высокую точность и сходимость при меньшем количестве итераций по сравнению с другими алгоритмами. Мы также проверили, что регуляризационный терм имеет небольшую норму во время сходимости, что отражает неявное регуляризующее воздействие метода градиентного спуска. Это позволяет уменьшить вычислительные затраты без потери точности. #### Значимость Наш подход может быть применен в различных областях, где требуется решение асимметричных задач понижения ранга, такие как данные в глубоком обучении, компрессия данных и моделирование зеркальных структур. Одним из основных преимуществ является снижение вычислительных затрат без потери точности. Это делает алгоритм более эффективным и привлекательным для реального применения. Такие результаты могут иметь влияние на развитие методов машинного обучения, в частности, в задачах, требующих сжатия данных и высокой производительности. #### Выводы Мы успешно доказали, что метод градиентного спуска с помощью спектральной инициализации достигает линейной сходимост

## Контекст В современной информационной среде становится все более важной задачей усовершенствования систем, осуществляющих реального времени вывод на основе многомодальных данных. Такие системы применяются в различных областях, включая медицину, промышленность и домашние роботы. Несмотря на потенциал многомодальных моделей машинного обучения (ML), одним из главных ограничений является ограниченность сетевых ресурсов, что создает проблему своевременного доставки данных с различных модалей в модель для расчета. Таким образом, возникает задача оптимизации системы, связанная с сокращением ошибок вывода многомодальной модели, что требует новых методологических подходов. ## Метод Для решения этой задачи предложен запланированный подход, основанный на индексных функциях, который минимизирует ошибки вывода многомодальной модели машинного обучения. Методология включает в себя разработку эффективной стратегии для выбора модальности в любой момент времени на основе индекса функции. Индекс функции рассчитывается на основе статистики задержек и возрастания Age-of-Information (AoI) для каждой модальности. Архитектура решения позволяет гибко адаптироваться к различным типам модальностей и условиям сетевого подключения. ## Результаты Для оценки эффективности предложенного подхода проведены эксперименты с использованием синтетических и реальных данных. Обучалась многомодальная модель машинного обучения для решения задачи реального времени, используя данные с разных сенсоров. Результаты показывают, что индексная политика снижает ошибку вывода до 55% по сравнению с системами, не учитывающими значения Age-of-Information. Эксперименты проводились с различными типами модальностей и разными условиями сетевого подключения, чтобы продемонстрировать гибкость предложенного подхода. ## Значимость Предложенный подход может быть применен в различных областях, где важна свежесть данных для принятия решений, таких как телемедицина, робототехника и мониторинг инфраструктуры. Он предоставляет преимущества в виде улучшения точности решений, оптимизации использования сетевых ресурсов и уменьшения задержек. Благодаря оптимальной стратегии, разработанной в рамках этой работы, можно достичь значительного повышения производительности в условиях ограниченных сетевых ресурсов. ## Выводы Разработанная методология позволяет значительно повысить точность вывода многомодальных моделей машинного обучения в условиях ограниченных сетевых ресурсов. Открываются новые перспективы для исследований в области оптимизации систем реального времени с высокой степенью свежести данных. Будущие исследования будут сфокусирова

## Контекст В последние годы Reinforcement Learning (RL) получил широкое распространение в различных областях, включая игры, робототехнику и промышленные системы. Однако, применение RL в сетях беспроводной связи сталкивается с значительными вызовами. Эти сети часто характеризуются неидеальным каналом связи, разными уровнями задержек и потерь пакетов, что негативно сказывается на затратах на обучение и эффективности. Ранее предлагаемые фреймворки для решения этой проблемы, хотя и достигали положительных результатов, часто требовали высокого объема вычислительных ресурсов или неэффективные в терминах используемой связи. Поэтому, необходимо разработать более производительный и гибкий подход, позволяющий обучать RL-агентов в условиях недостаточной связи. ## Метод Мы предлагаем архитектуру, названную Homomorphic Robust Remote Reinforcement Learning (HR3L), которая решает эти проблемы. HR3L основывается на идее энкодинга среды в специальном формате, который может быть эффективно передаваемым по сети. Этот формат позволяет уменьшить объем данных, требующих передачи, без потери важной информации. Решение состоит из двух компонентов: трансмиттера и ресивера. Трансмиттер ведет энкодинг среды, а ресивера, получив данные, декодирует их для принятия решений. Этот подход исключает необходимость передачи градиентных данных по сети, что существенно уменьшает объем передаваемых данных и увеличивает эффективность обучения. ## Результаты Мы проводили эксперименты в сценариях с разными уровнями помех на связи, включая потери пакетов и задержки. Мы сравнили HR3L с трех современных решений для RL в условиях сетей беспроводной связи. Результаты показали, что HR3L обеспечивает более высокую производительность в обучении и меньшую задержку в обмене сообщениями. Он также продемонстрировал высокую адаптивность к разным условиям сети, включая разные уровни помех и ограничения пропускной способности. ## Значимость Предложенный подход может быть использован в средах, где используется беспроводная связь, включая робототехнику, Интернет вещей и системы управления промышленными процессами. Он предоставляет значительные преимущества по сравнению с другими методами, такими как высокая эффективность обучения, меньшее количество передаваемых данных и улучшенная переносимость в различных условиях. Это может привести к повышению эффективности и доступности RL в реальном мире, где сети беспроводной связи часто неидеальны. ## Выводы Мы разработали HR3L, подход, который эффективно решает проблемы обучения RL-агентов в условиях недостаточной связи. Наши

#### Контекст State Space Models (SSMs), особенно их современные выборочные варианты, такие как Mamba, стали одним из ключевых архитектурных подходов в области последовательного моделирования, нарушая монополию трансформеров. Их успех значительно зависит от интуитивно выбранных селективных механизмов, которые не основываются на формальных теоретических принципах. Это порождает сомнения в их эффективности и устойчивости к негативному влиянию спурных зависимостей. Наша исследовательская мотивация заключается в создании модели, основывающейся на формальном информационно-теоретическом подходе, способной эффективно обрабатывать последовательные данные. #### Метод Мы предлагаем **Минимально Избыточно-Содержащуюся Модель State Space (MPS-SSM)**, где селективный механизм определяется при помощи минимизации функции ошибки, спрятанной в теореме о необходимости. Это позволяет модели максимально эффективно сжимать исторические данные, сохраняя максимальную емкость предсказания. Математический основной принцип — **принцип предсказуемой достаточности** — гарантирует, что модель будет выделять только те сведения, которые необходимы для точного прогнозирования. Мы также расширяем принцип на другие архитектуры, используя его в качестве регуляризации. #### Результаты Мы проверили модель MPS-SSM на многочисленных бенчмарк-датасетах, включая задачи классификации, регрессии и синтетических задач, которые представляют из себя громкое фоновое шумное раздражение. Мы сравнивали результаты с предыдущими лидерами, такими как Mamba и GNN-based модели. Наши результаты показали, что MPS-SSM достигает более высокой точности в долгосрочных прогнозах и в условиях шумов. Мы также продемонстрировали, что MPS-SSM значительно устойчив к переобучению и спурным корреляциям. #### Значимость Предложенный подход может быть применен в различных дисциплинах, где используются последовательные модели, таких как ИИ в системах контроля процессов, анализ речевых данных и системы мониторинга экологических параметров. Обладая высокой робастностью и эффективностью, MPS-SSM может стать ведущим подходом в области последовательного моделирования. Он также предлагает новый способ регулирования других моделей, улучшая их производительность и стабильность. #### Выводы Мы представили новую структуру **MPS-SSM**, которая оптимизирует процесс выбора исторических данных на основе информационно-теоретических принципов. Эта модель не только показала себя лучше текущих лидеров в области последовательного моделирования, но и открыла новые возмо

## Контекст Область исследования связана с разработкой методов для обработки и анализа сигналов, где ключевой аспект является использование различных форм меры дивергенции. Дивергенции широко применяются в сигнальных процессах, таких как сжатие данных, статистическая обработка и глубокое обучение. Однако существуют проблемы, связанные с ограниченностью традиционных дивергенций, когда применяются к неотрицательным данным. Мотивация заключается в расширении функций дивергенции, чтобы они могли более точно адаптироваться к комплексным данным и включать различные модели распределения. ## Метод Методология основывается на расширении алфа-бета-дивергенций для комплексных данных. Автор предлагает формулы, которые позволяют работать с комплексными векторами, обеспечивая постоянное соответствие классическим расстояниям, таким как евклидово расстояние и Махаланобисово расстояние. Технические решения включают уточнения в зависимости от гиперпараметров дивергенции. Архитектура рассматривается в контексте сигнальных процессов, где данные неотрицательны или комплекснозначны. Метод широко применяется в ситуациях, где необходимо максимизировать точность информационных критериев. ## Результаты Эксперименты показывают, что алфа-бета-дивергенции могут служить для точного определения расстояний между комплексными векторами. Использовались различные наборы данных, включая те, которые имеют комплексное значение. Результаты показали, что данный подход дает более точные результаты по сравнению с традиционными методами, особенно при определении структуры данных. Это продемонстрировано на примере приближения комплексных случайных векторов с помощью метода оптимизации альфа-бета-дивергенции. ## Значимость Предложенный подход может применяться во многих областях, таких как синтез сигналов, сжатие изображений, статистическая обработка сложных данных. Он предлагает преимущества, включая гибкость в учете специфики данных, более точное приближение к реальным моделям распределения. Потенциальное влияние заключается в расширении возможностей для решения задач в области глубокого обучения, синтеза и анализа сигналов, где данные не только реальные, но и комплексные по характеру. ## Выводы Выводы посвящены основным достижениям, включая расширение алфа-бета-дивергенций для комплексных данных и выявление ролей гиперпараметров в оптимизации. Также отмечается, что данный подход может быть использован в широком круге применений, включая не только сигнальную обработку, но и другие сферы, где данные имеют

Многие из modern AI-систем, таких как LLMs, оцениваются с помощью метрик, которые могут быть легко обойдены стратегическими агентами, уменьшая их ценность. Мы предлагаем методы оценки, основанные на идее игровой силы, которые избегают этого недостатка. Наши результаты показывают, что f-мутационная информация является единственным неуязвимым к таким опасностям методом, если выполняются определенные условия. Тем не менее, в задачах с небольшим объемом данных, использование Shannon mutual information может быть неэффективно, поэтому мы вводим меры, основанные на total variation distance, которые проще в реализации. Мы проверяем эти методы в 10 различных областях, от перевода до рецензирования, и показываем, что они показывают 10-100 раз лучшую устойчивость к атакам, чем существующие методы. Также, мы обнаружили, что эффективность оценки следует инверсному-U-образному закону, при котором оптимальная диверсификация ответов наблюдается при compression ratio ~10:1. Эти находки дают новый перспективу на решение проблемы использования LLMs в системах обучения с подкреплением.