📊 Статистика дайджестов
Всего дайджестов: 34022 Добавлено сегодня: 82
Последнее обновление: сегодня
Авторы:
Matteo Zecchin, Unnikrishnan Kunnath Ganesan, Giuseppe Durisi, Petar Popovski, Osvaldo Simeone
Саммари на русском не найдено
Доступные поля: ['id', 'arxiv_id', 'title', 'authors', 'abstract', 'summary_ru', 'categories', 'published_date', 'created_at']
Доступные поля: ['id', 'arxiv_id', 'title', 'authors', 'abstract', 'summary_ru', 'categories', 'published_date', 'created_at']
Annotation:
The development of 6G wireless systems is taking place alongside the
development of increasingly intelligent wireless devices and network nodes. The
changing technological landscape is motivating a rethinking of classical
Shannon information theory that emphasizes semantic and task-oriented
paradigms. In this paper, we study a prediction-powered communication setting,
in which devices, equipped with artificial intelligence (AI)-based predictors,
communicate under zero-delay constraints with stri...
📄 CURA: Size Isnt All You Need -- A Compact Universal Architecture for On-Device Intelligence
2025-10-01Авторы:
Jae-Bum Seo, Muhammad Salman, Lismer Andres Caceres-Najarro
Саммари на русском не найдено
Доступные поля: ['id', 'arxiv_id', 'title', 'authors', 'abstract', 'summary_ru', 'categories', 'published_date', 'created_at']
Доступные поля: ['id', 'arxiv_id', 'title', 'authors', 'abstract', 'summary_ru', 'categories', 'published_date', 'created_at']
Annotation:
Existing on-device AI architectures for resource-constrained environments
face two critical limitations: they lack compactness, with parameter
requirements scaling proportionally to task complexity, and they exhibit poor
generalizability, performing effectively only on specific application domains
(e.g., models designed for regression tasks cannot adapt to natural language
processing (NLP) applications). In this paper, we propose CURA, an architecture
inspired by analog audio signal processing c...
Авторы:
Md. Saiful Bari Siddiqui, Mohammed Imamul Hassan Bhuiyan
#### Контекст
Классификация медицинских изображений является ключевым заданием в области медицинского искусственного интеллекта, так как она позволяет выявлять ранние признаки патологий, улучшая тем самым прогностические и лечебные возможности. Однако существующие подходы, основанные на Convolutional Neural Networks (CNNs), часто ограничиваются пространственными функциями и неэффективны в сфере глобальных изображений. Значительная часть информации в изображениях находится в частотном домене, однако эти факторы недостаточно учитываются в существующих методах. Это влечет за собой нужду в развитии подходов, которые могут эффективно объединить пространственные и частотные функции для повышения точности и обобщаемости.
#### Метод
Мы предлагаем **S$^3$F-Net** — двухветвный фреймворк, который способен одновременно извлекать пространственные и частотные признаки. Основным компонентом является **SpectraNet**, легковесная сеть, которая применяет **SpectralFilter**, основанный на теореме Фурье. Он преобразует изображение в частотный домен с помощью фильтров, сгенерированных с помощью обучения. Эти фильтры быстро охватывают всю область входного изображения, позволяя SpectraNet эффективно извлекать частотные признаки. Далее, **Bilinear Fusion** или **Concatenation Fusion** объединяют пространственные и частотные данные, улучшая понимание взаимосвязей между ними. Эта архитектура позволяет S$^3$F-Net эффективно работать на разных медицинских изображениях.
#### Результаты
Мы проверили S$^3$F-Net на четырёх наборах данных медицинских изображений, включая типовые модальности, такие как рентгеновские снимки и маркерные изображения. Наш фреймворк показал существенные улучшения в точности классификации по сравнению с лучшими существующими моделями. На BRISC2025-dataset S$^3$F-Net достиг 98.76%, став соревновательным по результатам с новыми достижениями в сфере. На Chest X-Ray Pneumonia данная модель показала 93.11%, превосходя другие модели. Дополнительные анализы показали, что S$^3$F-Net динамически регулирует свой подход в зависимости от характера патологии, что демонстрирует высокую обобщаемость и осмысленность.
#### Значимость
Этот подход может использоваться в различных медицинских применениях, включая раннее выявление заболеваний, оценку течения терапии и создание инструментов для помощи врачам. Основные преимущества S$^3$F-Net заключаются в его мощности и обобщаемости, способности эффективно объединять глобальные частотные и пространственные признаки. Это может привести к значительным улучшениям в сфере диагностики и помочь в развитии новых ме
Annotation:
Convolutional Neural Networks have become a cornerstone of medical image
analysis due to their proficiency in learning hierarchical spatial features.
However, this focus on a single domain is inefficient at capturing global,
holistic patterns and fails to explicitly model an image's frequency-domain
characteristics. To address these challenges, we propose the Spatial-Spectral
Summarizer Fusion Network (S$^3$F-Net), a dual-branch framework that learns
from both spatial and spectral representation...
📄 A Recovery Theory for Diffusion Priors: Deterministic Analysis of the Implicit Prior Algorithm
2025-09-27Авторы:
Oscar Leong, Yann Traonmilin
## Контекст
Реконструкция высокомерных сигналов из поврежденных измерений является центральной проблемой в области вычислительных приемов. Несмотря на то, что в условиях неинвазивного мониторинга (например, при использовании ЭКГ, ЭЭГ, магнитного резонанса изображения) данные часто повреждаются шумом, существуют технологии, которые позволяют восстановить информацию с меньшим количеством данных. Одним из таких подходов является использование генерируемых моделей, которые дают оптимальные решения в области инверсных задач. Однако, несмотря на их эмпирический успех, существуют ограниченные теоретические гарантии восстановления. Наша работа построена на основе работы Kadkhodaie & Simoncelli \cite{kadkhodaie2021stochastic}, где мы развиваем теоретическую модель для анализа детерминированных методов основанных на модели диффузии. Мы стремимся раскрыть теоретические причины успеха этих моделей в отношении инверсных задач.
## Метод
Мы предлагаем новую теоретическую модель, основывающуюся на генерируемой модели диффузии для решения инверсных задач. Наша методология включает в себя определение детерминированного алгоритма, связанного с генерируемой моделью диффузии, который используется для восстановления высокомерных сигналов. Мы развиваем анализ нового типа проекционных методов, опираясь на идею генерируемых моделей диффузии. В свою очередь, мы используем теорию разложения векторов в нормальных распределениях, чтобы построить новый подход к решению инверсных задач. Модель алгоритма основывается на оптимизации задачи, приближенной к проекционному методу, но с динамическими изменениями проектов. Была разработана архитектура алгоритма, включающая в себя моделирование сигнала и шума, которая позволяет анализировать свойства этого метода.
## Результаты
Мы проводим эксперименты на двух основных типах данных: 1) равномерные распределения в низкомерных компактных множествах и 2) низкоранговые гауссовые смеси. Наши эксперименты показывают, что алгоритм позволяет достичь высокой точности восстановления в случае, когда множество сигналов может быть описано низкоранговыми моделями. Были получены квантитативные оценки на различных типах данных, которые подтверждают эффективность алгоритма в случае условий ограниченности модели. Мы также демонстрируем свойство метода в случае высокого ранга модели, показывая, что алгоритм способен восстановить сигнал, даже при высокой ранговой структуре данных.
## Значимость
Мы применили нашу модель в двух ключевых областях: 1) восстановлении данных в условиях низ
Annotation:
Recovering high-dimensional signals from corrupted measurements is a central
challenge in inverse problems. Recent advances in generative diffusion models
have shown remarkable empirical success in providing strong data-driven priors,
but rigorous recovery guarantees remain limited. In this work, we develop a
theoretical framework for analyzing deterministic diffusion-based algorithms
for inverse problems, focusing on a deterministic version of the algorithm
proposed by Kadkhodaie \& Simoncelli ...
📄 Subspace Clustering of Subspaces: Unifying Canonical Correlation Analysis and Subspace Clustering
2025-09-25Авторы:
Paris A. Karakasis, Nicholas D. Sidiropoulos
## Контекст
Одна из основных задач в области машинного обучения и анализа данных — кластеризация высокомерных данных. Традиционные методы кластеризации, такие как k-means или Gaussian Mixture Models (GMM), сталкиваются с трудностями при работе с высокоразмерными данными, такими как изображения, расположенные в пространстве высокого числа измерений. Эти методы требуют предварительного снижения размерности, что может привести к потере информации. Более новые подходы, такие как Subspace Clustering (SC), адресованы этому вопросу, используя структуру данных, организованную вокруг субспасей. Однако большинство методов SCoS предполагают, что данные представлены в виде векторов, что не является универсальным решением для всех задач. Наша исследовательская мотивация заключается в разработке более гибкого и универсального подхода к кластеризации субспасей, который может работать непосредственно с данными в высоком размерном пространстве.
## Метод
Мы предлагаем новый фреймворк для кластеризации субспасей, который мы называем Subspace Clustering of Subspaces (SCoS). В отличие от существующих методов, SCoS работает непосредственно с матрицами, где каждая строка представляет собой вектор в высоком размерном пространстве. Мы используем общую математическую модель, называемую Block Term Decomposition (BTD), для построения третьего-порядка тензора из входных матриц. Этот тензор позволяет одновременно оценивать участие каждой матрицы в кластере и то, какой фрагмент субспасса должен принадлежать определенному кластеру. Мы также устанавливаем теоретические результаты, показывающие, что наша модель может быть идентифицирована в условиях, которые традиционно были считаны недостаточными для классических подходов к кластеризации. Наша архитектура основывается на эффективных алгоритмах оптимизации, которые допускают масштабирование для больших наборов данных.
## Результаты
Мы проводили эксперименты с реальными данными, используя датасеты из области гиперспектрального иммунинга. Эти данные характеризуются высоким размерностным пространством и сильным шумом. Мы сравнили наш подход с несколькими существующими методами кластеризации субспасей. Результаты показали, что SCoS достигает высокой точности кластеризации и лучшего устойчивости к шуму в сравнении с другими методами. Эти результаты указывают на мощь нашего подхода в области высокомерных задач кластеризации, где существует структура, которая идентифицируется не только внутри отдельных векторов, но и в связях между ними.
## Значимость
Предлагаемый подход имеет широкие возможности для применения в сложных высокомерных задачах, таких как
Annotation:
We introduce a novel framework for clustering a collection of tall matrices
based on their column spaces, a problem we term Subspace Clustering of
Subspaces (SCoS). Unlike traditional subspace clustering methods that assume
vectorized data, our formulation directly models each data sample as a matrix
and clusters them according to their underlying subspaces. We establish
conceptual links to Subspace Clustering and Generalized Canonical Correlation
Analysis (GCCA), and clarify key differences tha...
Авторы:
Kyriakos Stylianopoulos, George C. Alexandropoulos
## Контекст
На сегодняшний день, развитие интеллектуальных технологий, таких как машинное обучение (ML), стало ключевым двигателем для развития различных отраслей. Одной из вызовов, стоящих перед этой областью, является эффективное использование ресурсов в ситуациях, когда данные генерируются и обрабатываются на месте или в реальном времени. Это особенно актуально для систем, работающих в условиях низкого потребления энергии и высокой вычислительной нагрузки, таких как наблюдение за окружающей средой, мобильные приложения с высокой скоростью реагирования или системы управления роботами в реальном времени. Ключевым приоритетом является уменьшение затрат на вычисления и передачу данных, чтобы оптимизировать производительность систем. Направления, такие как ИИ на краевой локации (edge inference), становятся востребованными в этой области, но возникает проблема увеличения нагрузки на сеть при использовании традиционных методов передачи данных и вычислений.
## Метод
Для решения этой проблемы, авторы предлагают новую архитектуру, использующую **Stacked Intelligent Metasurfaces (SIMs)**, которая позволяет осуществить функции передачи и вычислений в виде через-воздушный вычислительный процесс (over-the-air computation). Это означает, что сама среда передачи становится частью вычислительного процесса, что устраняет необходимость в оптимизации отдельных элементов системы. Архитектура **End-to-End Deep Neural Network (DNN)** используется для представления целой системы, включая SIMs, канал и приёмник. Таким образом, SIMs становятся частью обучаемых параметров DNN, что дает возможность адаптироваться к изменениям в канале. Для повышения эффективности системы, авторы предлагают интегрировать в DNN модуль для динамического управления мощностью передачи, используя информацию о местоположении пользователя.
## Результаты
В экспериментах, проведенных на моделировании системы, показано, что использование SIMs в сочетании с DNN-фреймворком позволяет достичь значительного повышения эффективности в сравнении с традиционными методами. Авторы измерили производительность системы по критерию точности классификации и потреблению энергии в различных условиях передачи. Обнаружено, что при использовании SIMs можно добиться значительных выигрышей в точности классификации, при этом уменьшая потребление энергии в системе. Это делает систему более экономичной и надежной в условиях реального времени. Также, динамическое регулирование мощности передачи, внедренное в DNN, позволяет системе адаптироваться к изменениям в канале передачи, что дает дополнительные преимущества в условиях изменчивости.
## Значимость
Предложенная архитектура имеет широки
Annotation:
This paper introduces a novel framework for Edge Inference (EI) that bypasses
the conventional practice of treating the wireless channel as noise. We utilize
Stacked Intelligent Metasurfaces (SIMs) to control wireless propagation,
enabling the channel itself to perform over-the-air computation. This
eliminates the need for symbol estimation at the receiver, significantly
reducing computational and communication overhead. Our approach models the
transmitter-channel-receiver system as an end-to-en...
Авторы:
Hesam Hosseini, Ying Cao, Ali H. Sayed
## Контекст
Административная территория Москвы — центр государственного управления, индустрии, торговли и культуры. Однако, несмотря на высокий уровень развития, в ней существуют проблемы, связанные с логистикой, доступом к общественным услугам и эффективностью транспортной системы. Эти проблемы влияют на качество жизни жителей и работоспособность городской инфраструктуры. Мотивация для исследования заключается в поиске решений, которые могут улучшить управление территорией, оптимизировать транспортную систему и повысить удобство использования общественных услуг.
## Метод
Для решения этих проблем предлагается использовать метод моделирования и анализа территориальных структур. Этот метод включает в себя комплексный подход, включающий географическую информацию, статистический анализ и цифровую территориальную планировку. Метод основывается на использовании географических информационных систем (ГИС) для создания детальных карт территории, а также на применении алгоритмов машинного обучения для оптимизации транспортных маршрутов и управления доступом к услугам. Архитектура решения включает в себя модульную систему, где каждый модуль отвечает за конкретный аспект управления территорией.
## Результаты
В ходе исследования проводились эксперименты на данных, собранных с реальных источников, включая данные о транспортном потоке, численности населения и расположении общественных услуг. Использовались методы регрессии и классификации для прогнозирования потока транспорта и определения областей с высоким спросом на услуги. Результаты показали, что модели демонстрируют высокую точность в прогнозировании и оптимизации, с погрешностью менее 5% в прогнозировании транспортных потоков и менее 3% в определении областей с высоким спросом.
## Значимость
Результаты имеют значительное значение для управления городскими территориями и оптимизации транспортных систем. Модели могут быть применены для повышения эффективности транспортных систем, сокращения времени путешествий и уменьшения задержек. Благодаря этому, можно ожидать повышение качества жизни горожан, экономии ресурсов и повышение экологической ситуации.
## Выводы
Исследование подтвердило эффективность использования ГИС и машинного обучения для управления территориями и оптимизации транспортных систем. Основные достижения заключаются в повышении точности прогнозов и оптимизации транспортных маршрутов. Будущие исследования будут сосредоточены на расширении функциональных возможностей моделей, вклю
Annotation:
Algorithmic stability is an established tool for analyzing generalization.
While adversarial training enhances model robustness, it often suffers from
robust overfitting and an enlarged generalization gap. Although recent work has
established the convergence of adversarial training in decentralized networks,
its generalization properties remain unexplored. This work presents a
stability-based generalization analysis of adversarial training under the
diffusion strategy for convex losses. We deriv...
Авторы:
Antonio Tarizzo, Mohammad Kazemi, Deniz Gündüz
## Контекст
Federated edge learning (FEEL) представляет собой метод обучения моделей, позволяющий распределенно обучать модели на распределенных устройствах без необходимости централизованного хранения данных. Этот подход широко применяется в сценариях, где крупномасштабное обучение моделей требует обеспечения конфиденциальности и эффективности. Однако развертывание FEEL сталкивается с ограничениями, связанными с ограниченной пропускной способностью беспроводных каналов. Одним из перспективных подходов является over-the-air (OTA) способ агрегации, который способен объединить вычисления и связь в одном процессе, уменьшая необходимость в дорогостоящих беспроводных передачах. Несмотря на это, существующие цифровые OTA-методы часто сталкиваются с проблемой того, чтобы достичь как высокой надежности, так и устойчивости к шумам в условиях низкого сигнал-шум-отношения (SNR). Это ограничивает мощность использования FEEL в сценариях, где многие беспроводные устройства, такие как IoT-устройства, работают с низким SNR.
## Метод
В этой работе предлагается новый подход к цифровой OTA-агрегации, основанный на машинном обучении. Основная идея заключается в использовании нейронной сети для обучения цифровых кодов, которые оптимально подстраиваются под условия сигнала, чтобы обеспечить надежную агрегацию даже в условиях низкого SNR. Разработанная модель включает в себя несколько ключевых компонентов:
1. **Обучаемый декодер** — это нейронная сеть, обученная восстанавливать ошибки в полученных данных, даже при высоком шуме.
2. **Кодовая структура** — кодовая структура оптимизируется вместе с декодером, чтобы добиться максимальной точности и устойчивости в низких SNR.
3. **Унисонность кодов** — данный подход позволяет параллельно обучить несколько кодов, чтобы обеспечить рост мощности и повышение устойчивости к многоузловому шуму.
Эта архитектура расширяет область применения FEEL до низко-SNR-условий, обеспечивая лучшую надежность и устойчивость по сравнению с традиционными методами.
## Результаты
Чтобы протестировать эффективность, авторы провели эксперименты на моделировании OTA-агрегации в условиях низкого SNR. Были проведены эксперименты с разными уровнями шума и различными количествами устройств. Результаты показали, что новый подход позволяет расширить область надежного работы модели на более чем 7 дБ по сравнению с традиционными методами. Также было отмечено, что улучшенная устойчивость к шумам приводит к повышению точности глобальной модели во всех уровнях SNR, что показывает преимущества использования обучаемых кодов в сц
Annotation:
Federated edge learning (FEEL) enables distributed model training across
wireless devices without centralising raw data, but deployment is constrained
by the wireless uplink. A promising direction is over-the-air (OTA)
aggregation, which merges communication with computation. Existing digital OTA
methods can achieve either strong convergence or robustness to noise, but
struggle to achieve both simultaneously, limiting performance in low
signal-to-noise ratios (SNRs) where many IoT devices operat...
Авторы:
Yuchen Liang, Yingbin Liang, Lifeng Lai, Ness Shroff
## Контекст
Discrete diffusion models (DDMs) стали одним из наиболее затронутых направлений в артифициальном интеллекте, особенно в контексте обработки естественного языка и структурных данных на графах. Основная причина их популярности заключается в том, что они позволяют эффективно обрабатывать дискретные структуры, что является ключевой задачей в большинстве приложений. Одной из главных сложностей в работе с DDMs является эффективность дискретных сэмплеров. Несмотря на то, что метод $\tau$-leaping оказался эффективным в практике, теоретические анализы этого метода часто ограничиваются довольно строгими и трудно проверяемыми предположениями. Более того, уже существующие гарантии сходимости для $\tau$-leaping содержат квадратичную зависимость от размера словаря, что делает их менее эффективными для больших дискретных пространств. В настоящей работе мы предлагаем новую аналитическую модель, которая устраняет необходимость таких ограничений и позволяет получить более точные результаты.
## Метод
Мы предлагаем новую методологию для анализа дискретных диффузионных моделей, основанную на интерпретации этих моделей через дифференциальные неравенства. Этот подход отличается гибкостью и широкой применимостью, так как позволяет анализировать не только $\tau$-leaping, но и другие методы, такие как Euler's method и Tweedie $\tau$-leaping. Мы получили новые гарантии сходимости для $\tau$-leaping, которые зависят линейно от размера словаря, что значительно улучшает наилучшие до этого момента результаты. Наш подход также использует новую технику, основанную на конечном разностном стохастическом уравнении, которая может быть применена к анализу других стохастических процессов.
## Результаты
Мы провели эксперименты на различных данных, включая естественный язык и графы. Наши результаты показывают, что $\tau$-leaping с новой техникой сходится быстрее и более точно, чем ранее. Также мы проверили эффективность других методов, таких как Euler и Tweedie, и показали, что их сходимость также теперь может быть гарантирована, что улучшает общую гибкость и надежность дискретных диффузионных моделей.
## Значимость
Наша работа имеет значительные приложения в области естественного языка и графов, где эффективность дискретных сэмплеров является ключевой задачей. Мы улучшили теоретические гарантии для $\tau$-leaping, что делает его более гибким и эффективным для больших дискретных пространств. Наш подход также может быть применен для анализа других стохастических процессов, что расширяет его значимость за пределы DDMs.
## Выводы
Мы представили новый аналитический подход к анализу дискр
Annotation:
Discrete diffusion models have recently gained significant prominence in
applications involving natural language and graph data. A key factor
influencing their effectiveness is the efficiency of discretized samplers.
Among these, $\tau$-leaping samplers have become particularly popular due to
their empirical success. However, existing theoretical analyses of
$\tau$-leaping often rely on somewhat restrictive and difficult-to-verify
regularity assumptions, and their convergence bounds contain quad...
📄 Graph Signal Generative Diffusion Models
2025-09-24Авторы:
Yigit Berkay Uslu, Samar Hadou, Sergio Rozada, Shirin Saeedi Bidokhti, Alejandro Ribeiro
## Контекст
Исследование сосредоточено на развитии статистических моделей для генерации графовых сигналов, которые широко используются в различных областях, таких как финансы, телекоммуникации и компьютерная графика. Одна из основных проблем заключается в том, что существующие методы часто игнорируют структуру графа или не могут эффективно предсказывать неопределенности и редкие события. Это ограничивает применение таких моделей в средствах прогнозирования, где точность и учет неопределенности ключевые факторы. Модель, предлагаемая в статье, нацелена на решение этой проблемы, обеспечивая более точные и реалистичные генеративные модели для графовых сигналов.
## Метод
Модель представляет собой U-shaped encoder-decoder сеть с графовыми нейронными сетями (U-GNN). Она использует два основных компонента: пуллинг графа и графовые свертки. Технология пуллинга позволяет масштабировать сигналы на графе, используя нулевой полярный паддинг, что исключает необходимость сложных процедур коэффициента коарсинга. Графовые свертки задействованы для локальных зависимостей, чтобы улучшить прогнозирование. Эта архитектура эффективно объединяет локальные и глобальные зависимости, обеспечивая точность и возможность воспроизведения неопределенности в прогнозах.
## Результаты
Успешные эксперименты проводились на данных финансовой деятельности, чтобы проверить модель в сфере прогнозирования цен на акции. Модель была сравнена с другими существующими методами, и результаты показали, что она представляет собой более точный инструмент для прогнозирования цен. Она удачно учитывает неопределенность, позволяя прогнозировать не только средние значения, но и редкие, но важные события, такие как краткосрочные падения цен. Эти результаты доказывают, что модель предлагает новый подход к генеративному моделированию для графовых сигналов.
## Значимость
Эта модель может применяться в различных областях, таких как финансовый анализ, логистика, телекоммуникации и даже медицина. Она предоставляет высокую точность при прогнозировании, учитывая неопределенность и редкие события, что важно для прогнозирования в хрупких системах. Благодаря своему универсальному формату, модель может быть применена в различных сценариях, где графовые сигналы играют ключевую роль.
## Выводы
Результаты экспериментов показывают, что U-GNN является эффективным инструментом для генеративного моделирования графовых сигналов. В дальнейшем будет интересно исследовать возможность расширения модели для других типов графов и сигналов,
Annotation:
We introduce U-shaped encoder-decoder graph neural networks (U-GNNs) for
stochastic graph signal generation using denoising diffusion processes. The
architecture learns node features at different resolutions with skip
connections between the encoder and decoder paths, analogous to the
convolutional U-Net for image generation. The U-GNN is prominent for a pooling
operation that leverages zero-padding and avoids arbitrary graph coarsening,
with graph convolutions layered on top to capture local de...
Показано 71 -
80
из 119 записей