📊 Статистика дайджестов
Всего дайджестов: 34022 Добавлено сегодня: 82
Последнее обновление: сегодня
Авторы:
Nys Tjade Siegel, James H. Cole, Mohamad Habes, Stefan Haufe, Kerstin Ritter, Marc-André Schulz
Надежная интерпретация нейроимаджинга с помощью депейпд-леарнинга требует достоверных методов объяснения (XAI). Однако существующие XAI-методы часто не проходят строгий валидации, что подрывает надежность их выводов. В первый раз был проведен крупномасштабный систематический анализ этих методов на ~45,000 структурных MRI, используя новую фреймворк для валидации XAI. Этот фреймворк создавал признаки с ясно определенным сигналом — от локализованных анатомических особенностей до клинических лезионов — без изменения входных изображений. Анализ показал, что два из наиболее популярных методов, GradCAM и LRP, систематически не отвечали на ожидания, а SmoothGrad, проще в принципе, показался более надежным. Эти находки указывают на необходимость доработки XAI-методов для нейроимаджинга, подтверждают необходимость переоценки предыдущих исследований и дают рекомендации для безопасного применения XAI в этой области.
Annotation:
Trustworthy interpretation of deep learning models is critical for
neuroimaging applications, yet commonly used Explainable AI (XAI) methods lack
rigorous validation, risking misinterpretation. We performed the first
large-scale, systematic comparison of XAI methods on ~45,000 structural brain
MRIs using a novel XAI validation framework. This framework establishes
verifiable ground truth by constructing prediction tasks with known signal
sources - from localized anatomical features to subject-sp...
Авторы:
Zahra Ebrahimi, Raheleh Salehi, Nassir Navab, Carsten Marr, Ario Sadafi
Целевая проблема заключается в неэффективности существующих методов непрерывного обучения (continual learning) при применении к задачам несупервизированного многоинстанционного обучения (multiple instance learning, MIL), которое широко используется в диагностике болезней крови, например, в определении лейкозей. Наша работа предлагает первый метод непрерывного обучения, оптимизированный специфически для MIL. Метод основывается на репетиции выборок (rehearsal), при которой выбираются отдельные инстанции из различных «мешков» (bags) на основе инстанций-аутентификаторов (instance attention scores) и их расстояний от среднего вектора класса и «мешка». Это позволяет эффективно сохранить разнообразие данных в памяти. Мы проверили эффективность на реальных данных лейкомии за один месяц, сравнив с трех известных методами непрерывного обучения. Наши результаты показали, что предложенный подход значительно превосходит их в производительности, устанавливая новую стандартную практику для непрерывного обучения в MIL.
Annotation:
The dynamic environment of laboratories and clinics, with streams of data
arriving on a daily basis, requires regular updates of trained machine learning
models for consistent performance. Continual learning is supposed to help train
models without catastrophic forgetting. However, state-of-the-art methods are
ineffective for multiple instance learning (MIL), which is often used in
single-cell-based hematologic disease diagnosis (e.g., leukemia detection).
Here, we propose the first continual le...
Авторы:
Chenkai Wu, Yuanyuan Qi, Xiaohao Yang, Jueqing Lu, Gang Liu, Wray Buntine, Lan Du
Набор сложностей, связанных с распределением обучающих выборок, влияет на эффективность алгоритмов глубокого активного обучения (Deep Active Learning, DAL). Однако существующие решения не позволяют сравнить различные DAL-методы в условиях различных сложностей, таких как дисбаланс данных и распространение за пределы распределения (OOD). Для решения этой проблемы представлена платформа ALScope, которая объединяет 10 датасетов из областей CV и NLP и 21 DAL-алгоритмов, включая классические и алгоритмы, специально разработанные для решения вышеупомянутых проблем. Расширенные эксперименты подтвердили, что эффективность DAL-методов зависит от конкретной области и настройки задачи, что некоторые алгоритмы показывают хороший результат, но требуют длительного выбора данных. Таким образом, ALScope обеспечивает цельность и систематичность в оценке DAL-алгоритмов, указывая на необходимость дальнейшего исследования для решения вызовов, связанных с дисбалансом и OOD.
Annotation:
Deep Active Learning (DAL) reduces annotation costs by selecting the most
informative unlabeled samples during training. As real-world applications
become more complex, challenges stemming from distribution shifts (e.g.,
open-set recognition) and data imbalance have gained increasing attention,
prompting the development of numerous DAL algorithms. However, the lack of a
unified platform has hindered fair and systematic evaluation under diverse
conditions. Therefore, we present a new DAL platform...
Авторы:
Mirko Konstantin, Anirban Mukhopadhyay
**Резюме**
В статье предлагается новая модель для федеративного обучения (FL), которая переводит его из централизованной структуры на децентрализованную, основанную на peer-to-peer (P2P) топологии. Традиционные системы FL основываются на "звенелой" архитектуре с центральным сервером, которая дает много проблем, включая уязвимость к сбоям, ограниченную персонализацию и низкую устойчивость к дистрибутивным изменениям. Предложенный подход, **LIGHTYEAR**, развивает P2P-архитектуру, позволяя каждому клиенту выбирать и агрегировать наиболее подходящие и надежные обновления с учетом локальных данных. Основной механизм — **метрика доверия на основе валидационных наборов**, которая оценивает семантическое соответствие новых обновлений к основной модели клиента. Это позволяет каждому клиенту делать подбор обновлений, учитывая свои уникальные особенности данных. На основе экспериментов на двух датасетах, LIGHTYEAR показал лучший результат в сравнении с централизованными и другими P2P-методами, особенно в условиях адверсарных и неоднородных сред. Таким образом, новый подход улучшает устойчивость и персонализацию FL в распределенных средах.
Annotation:
Federated learning (FL) enables collaborative model training across
distributed clients while preserving data privacy by keeping data local.
Traditional FL approaches rely on a centralized, star-shaped topology, where a
central server aggregates model updates from clients. However, this
architecture introduces several limitations, including a single point of
failure, limited personalization, and poor robustness to distribution shifts or
vulnerability to malfunctioning clients. Moreover, update s...
Авторы:
Yue Duan, Taicai Chen, Lei Qi, Yinghuan Shi
Semi-supervised continual learning (SSCL) сталкивается с тремя основными проблемами: эффективное использование неотмеченных данных, сохранение стабильности предыдущих знаний и обеспечение гибкости обучения для последующих классов. Работа предлагает USP, новый алгоритм, который разделяет эти задачи на отдельные модули и решает их синергетически. Для улучшения гибкости используется Feature Space Reservation (FSR), построение зарезервированных фичевых пространств для будущих классов. Divide-and-Conquer Pseudo-labeling (DCP) повышает качество неотмеченных данных, а Class-mean-anchored Unlabeled Distillation (CUD) сохраняет стабильность предыдущих классов, используя DCP для привязки новых классов к устойчивым классам. Оценка на нескольких задачах показала, что USP улучшает последнюю точность на 5.94% по сравнению с предыдущими методами, демонстрируя сильную эффективность. Авторы предоставили код на GitHub.
Annotation:
Semi-supervised continual learning (SSCL) seeks to leverage both labeled and
unlabeled data in a sequential learning setup, aiming to reduce annotation
costs while managing continual data arrival. SSCL introduces complex
challenges, including ensuring effective unlabeled learning (UL), while
balancing memory stability (MS) and learning plasticity (LP). Previous SSCL
efforts have typically focused on isolated aspects of the three, while this
work presents USP, a divide-and-conquer framework desig...
📄 Parameter-free entropy-regularized multi-view clustering with hierarchical feature selection
2025-08-09Авторы:
Kristina P. Sinaga, Sara Colantonio, Miin-Shen Yang
Усовершенствование методов многовидного кластеризации является актуальной задачей в области машинного обучения, особенно при работе с высокомерновыми и зашумленными данными. В статье предлагается новый подход к решению этой проблемы, основанный на алгоритмах AMVFCM-U и AAMVFCM-U. Они отличаются тем, что заменяют традиционные параметры на регуляризационные элементы, основанные на сигнал-шум и энтропии. Это позволяет адаптивно консенсусы между представлениями и эффективно сжимать пространство признаков. Была представлена расширенная версия AAMVFCM-U, включающая в себя встроенную горизонтальную дименициональность с использованием трешхолдинга. Эксперименты показали, что предложенные методы достигли прироста вычислительной эффективности до 97%, снизили размер признакового пространства до 0.45% от исходного, а также автоматически выделили критические комбинации представлений, улучшив итоговый результат кластеризации в сравнении с 15 современными методами.
Annotation:
Multi-view clustering faces critical challenges in automatically discovering
patterns across heterogeneous data while managing high-dimensional features and
eliminating irrelevant information. Traditional approaches suffer from manual
parameter tuning and lack principled cross-view integration mechanisms. This
work introduces two complementary algorithms: AMVFCM-U and AAMVFCM-U, providing
a unified parameter-free framework. Our approach replaces fuzzification
parameters with entropy regularizati...
Авторы:
Qinghua Yao, Xiangrui Xu, Zhize Li
Многоклиентское обучение глубоких нейронных сетей с отсутствием части признаков широко распространено в практике, но находится в узкой области научных исследований. Одним из основных задач решения данной проблемы являются выравнивание признаков и поддержка локального обучения. В статье предлагается X-VFL — новый подход к вертикальному федеративному обучению (VFL), который устраняет эти ограничения. X-VFL включает два ключевых модуля: Cross Completion (XCom) для построения загруженных признаков недостающих данных, и Decision Subspace Alignment (DS-Align) для выравнивания локальных признаков в глобальном пространстве. Теоретические результаты показывают, что X-VFL обеспечивает эффективное обучение за счет $O(1/\sqrt{T})$ для SGD-типа и $O(1/T)$ для PAGE-типа. Эксперименты на реальных данных (CIFAR-10 и MIMIC-III) продемонстрировали значительные улучшения в достижении точности в 15% и 43% соответственно, что подтверждает практическую эффективность X-VFL в решении задач с отсутствием признаков и независимым локальным обучением.
Annotation:
Vertical Federated Learning (VFL) enables collaborative learning by
integrating disjoint feature subsets from multiple clients/parties. However,
VFL typically faces two key challenges: i) the requirement for perfectly
aligned data samples across all clients (missing features are not allowed); ii)
the requirement for joint collaborative inference/prediction involving all
clients (it does not support locally independent inference on a single client).
To address these challenges, we propose X-VFL, ...
Показано 271 -
277
из 277 записей