📊 Статистика дайджестов
Всего дайджестов: 34123 Добавлено сегодня: 101
Последнее обновление: сегодня
Авторы:
Chanwoo Chun, Abdulkadir Canatar, SueYeon Chung, Daniel Lee
Саммари на русском не найдено
Доступные поля: ['id', 'arxiv_id', 'title', 'authors', 'abstract', 'summary_ru', 'categories', 'published_date', 'created_at']
Доступные поля: ['id', 'arxiv_id', 'title', 'authors', 'abstract', 'summary_ru', 'categories', 'published_date', 'created_at']
Annotation:
The global dimensionality of a neural representation manifold provides rich
insight into the computational process underlying both artificial and
biological neural networks. However, all existing measures of global
dimensionality are sensitive to the number of samples, i.e., the number of rows
and columns of the sample matrix. We show that, in particular, the
participation ratio of eigenvalues, a popular measure of global dimensionality,
is highly biased with small sample sizes, and propose a bi...
Авторы:
Victoria Bosch, Daniel Anthes, Adrien Doerig, Sushrut Thorat, Peter König, Tim Christian Kietzmann
Саммари на русском не найдено
Доступные поля: ['id', 'arxiv_id', 'title', 'authors', 'abstract', 'summary_ru', 'categories', 'published_date', 'created_at']
Доступные поля: ['id', 'arxiv_id', 'title', 'authors', 'abstract', 'summary_ru', 'categories', 'published_date', 'created_at']
Annotation:
Large language models (LLMs) have revolutionized human-machine interaction,
and have been extended by embedding diverse modalities such as images into a
shared language space. Yet, neural decoding has remained constrained by static,
non-interactive methods. We introduce CorText, a framework that integrates
neural activity directly into the latent space of an LLM, enabling open-ended,
natural language interaction with brain data. Trained on fMRI data recorded
during viewing of natural scenes, Cor...
Авторы:
Han-Lin Hsieh, Maryam M. Shanechi
## Контекст
Уменьшение размерности является критическим аспектом различных научных областей, в том числе нейронаук. Одним из значимых подходов является **Пробабилистический Геометрический Анализ Главных Компонент (PGPCA)**. Это метод, который расширяет **Пробабилистический Анализ Главных Компонент (PPCA)**, учитывая геометрию нелинейных многообразий, на которых распределены данные.
Обычное **PPCA** основывается на линейных моделях и ограничено работой в евклидовом пространстве. Однако многие данные, особенно в нейронауке, имеют нетривиальную геометрию, лежащую на нетривиальных многообразиях. Это приводит к несоответствию между данными и моделью. **PGPCA** решает эту проблему, используя геометрические представления многообразий для описания и уменьшения размерности данных, находящихся на них.
## Метод
**PGPCA** создан на основе **PPCA**, но включает в себя геометрическую модель многообразия. Данный метод позволяет построить не только линейную модель размерности, но также выделять геометрические параметры многообразия, на которых распределены данные.
Главная идея заключается в том, что вместо того, чтобы рассматривать точки в евклидовом пространстве, **PGPCA** предлагает моделировать данные в геометрической системе координат многообразия. Это позволяет учитывать нетривиальные девиации от линейных моделей и шумы, связанные с нелинейной геометрией многообразия.
В ходе работы метода происходит построение модели, основанной на эмпирических данных, и оценка параметров многообразия и шума. Этот подход позволяет не только уменьшить размерность, но и понять, насколько геометрическое представление данных более точно описывает данные, чем линейная модель.
## Результаты
**PGPCA** протестирован на симуляционных данных и данных, полученных из мозга. Он показал значительные улучшения по сравнению с **PPCA** в ситуациях, когда данные распределены нелинейным образом.
Одним из ключевых результатов является возможность сравнения разных моделей геометрии. **PGPCA** может определить, является ли геометрия многообразия более точной моделью для данных, чем евклидовый пространственный подход.
Помимо этого, **PGPCA** позволяет проводить размерностный анализ данных, которые распределены как на многообразии, так и в его окрестностях, что делает этот подход применимым для широкого круга задач в нейронауке.
## Значимость
**PGPCA** может применяться в различных дисциплинах, где данные имеют геометрическое распределение нелинейного характера. Особенно он полезен в нейронауке, где нелинейная геометрия многообразий часто о
Annotation:
Dimensionality reduction is critical across various domains of science
including neuroscience. Probabilistic Principal Component Analysis (PPCA) is a
prominent dimensionality reduction method that provides a probabilistic
approach unlike the deterministic approach of PCA and serves as a connection
between PCA and Factor Analysis (FA). Despite their power, PPCA and its
extensions are mainly based on linear models and can only describe the data in
a Euclidean coordinate system. However, in many ne...
Авторы:
Alex Nguyen, David J. Schwab, Vudtiwat Ngampruetikorn
#################################
## Контекст
#################################
В нынешней практике машинного обучения часто используются процедуры, называемые "дата-прунинг" и "дата-аугментация", которые позволяют улучшить общую устойчивость моделей. Однако эти методы основываются на целенаправленном удалении или модификации данных, что, по определению, приводит к утере информации. Эта странность привлекла внимание исследователей, поскольку логично предположить, что удаление данных или сужение их объема может привести к ухудшению качества модели. Тем не менее, на практике неоднократно наблюдается улучшение результатов. Одним из примеров такого поведения является данная статья, которая исследует возможность улучшения моделей машинного обучения с помощью "дата-коарсе-грейдинга" — способа сужения данных, основанного на их релевантности к целевой задаче.
#################################
## Метод
#################################
Авторы используют модель, основанную на задаче высокомерной линейной регрессии с регуляризацией риджем. Исходные данные были подвергнуты "коарсе-грейдингу", то есть систематическим удалению менее важных признаков, определяемых их вкладом в модель. Они использовали принципы из теории статистической физики, а именно, методы "ренормализационной группы" (renormalization group), чтобы систематизировать процесс отбора признаков. Оптимальная регуляризация, использованная в исследовании, позволила авторам анализировать характеристики данных и их влияние на модель, включая влияние коарсе-грейдинга на риск предсказания.
#################################
## Результаты
#################################
Изучение результатов показало, что некоторые схемы коарсе-грейдинга могут улучшить прогностическую способность модели. Например, "high-pass" схема, которая убирает менее релевантные, но менее влиятельные признаки, может улучшить общую точность. Тем не менее, "low-pass" схема, которая удаляет более важные признаки, приводит к ухудшению модели. Эти результаты были получены с помощью регуляризации, при помощи которой авторы могли оптимизировать процесс удаления данных. Это позволило исследователям объяснить, почему "дата-аугментация" может улучшать модели — она фокусируется на самых важных признаках, исключая менее полезные.
#################################
## Значимость
#################################
Результаты статьи имеют значительные последствия для области машинного обучения. Они показывают, что удаление менее важных признаков может улучшить модель, но только при оптимальной регуляризации. Этот подход может быть применен в ситуациях, когда данные имеют огромные объемы, но не все признаки оказывают влияние на результат. Также значимость исследования заключается в том, что оно продемонстрировало, как физические принципы, такие как "ренорма
Annotation:
Lossy data transformations by definition lose information. Yet, in modern
machine learning, methods like data pruning and lossy data augmentation can
help improve generalization performance. We study this paradox using a solvable
model of high-dimensional, ridge-regularized linear regression under 'data
coarse graining.' Inspired by the renormalization group in statistical physics,
we analyze coarse-graining schemes that systematically discard features based
on their relevance to the learning ta...
Авторы:
Patrick Madlindl, Fabian Bongratz, Christian Wachinger
## Контекст
Корональная поверхностная реконструкция (Cortical Surface Reconstruction, CSR) — основной процесс в нейроимагологии, обеспечивающий морфологический анализ риносорбента и жизнедеятельность мозга. Недавние прогрессы в области обучаемой CSR существенно ускорили этот процесс, позволив выполнять реконструкцию в течение нескольких секунд, используя деформацию шаблонных анатомических моделей. Однако недостаток в этой области заключается в необходимости обеспечивать оптимальность деформационных процессов, оптимизированных по энергии, и поддерживать консистентность результатов при различных условиях обучения. Мы разработали новую методику, названную Minimal Energy Deformation (MED), которая улучшает обучаемость, сохраняя при этом топологическую корректность и реконструкционную точность.
## Метод
Мы используем шаблонный подход к CSR, включающий глубокие нейронные сети для уравнения движения. Целью является регулирование деформационного процесса, используя новую функцию потерь Minimal Energy Deformation (MED), которая добавляет регуляризацию к деформационным путям. MED-функция оптимизируется вместе с Chamfer Distance, чтобы повысить устойчивость обучения и сохранить топологическую корректность в результате. Мы внедрили эту методику в реконструкционный классификатор V2C-Flow, чтобы продемонстрировать повышение стабильности и точности в реконструкции корональных поверхностей.
## Результаты
Мы проводили эксперименты на различных наборах данных нейроимагов, включая Т1- и Т2-сканы. Наши результаты показывают, что внедрение MED-функции приводит к существенному улучшению консистентности и воспроизводимости результатов реконструкции. Мы сравнивали наши результаты с другими моделями и показали, что они превосходят их в топологической корректности и энергетической оптимальности. Мы также проверили топологическую корректность на тестовых данных, подтвердив, что наш подход обеспечивает топологически верные реконструкции во всех случаях.
## Значимость
Наш подход может быть применен в различных областях, включая морфологический анализ, диагностику заболеваний и функциональное исследование мозга. Он предлагает существенные преимущества по сравнению с существующими моделями, такими как улучшенная консистентность результатов и уменьшение возможности для случайных выбросов. Мы предлагаем, что наша работа может повлиять на развитие нейроимагологии, позволяя повысить точность и надежность CSR в широком круге задач.
## Выводы
Мы разработали новую методику реконструкции корональных поверхностей с минимальной энергией деформации, которая может быть интегрирована с имеющимися моделями, такими как
Annotation:
Cortical surface reconstruction (CSR) from magnetic resonance imaging (MRI)
is fundamental to neuroimage analysis, enabling morphological studies of the
cerebral cortex and functional brain mapping. Recent advances in learning-based
CSR have dramatically accelerated processing, allowing for reconstructions
through the deformation of anatomical templates within seconds. However,
ensuring the learned deformations are optimal in terms of deformation energy
and consistent across training runs remain...
Авторы:
Ali Amini, Mohammad Alijanpour, Behnam Latifi, Ali Motie Nasrabadi
## Контекст
Attention Deficit Hyperactivity Disorder (ADHD) является одной из наиболее распространенных неврологических заболеваний, влияющих на дети и взрослых, которое может оказывать влияние на социальную, академическую и профессиональную сферу жизни. Несмотря на то, что преждевременное выявление и лечение могут значительно улучшить качество жизни пациентов, диагностика ADHD обычно требует много времени и труда. Это связано с необходимостью анализа больших объемов данных, включающих электроэнцефалограммы (EEG), которые могут быть трудно интерпретировать с помощью традиционных методов. Задача авторов — разработать модель, которая улучшит точность диагностики и уменьшит время, затрачиваемое на процесс.
## Метод
ADHDeepNet — это новая Deep Learning (DL) модель, разработанная с целью улучшить точность диагностики ADHD. Она основывается на двух основных компонентах: **комплексной процедуре характеризации временно-пространственного процесса** и **адаптивных модулей внимания**. Модель обрабатывает непосредственно сырые EEG-сигналы, используя современные техники извлечения и очистки признаков. Уникальность модели заключается в использовании **трансформеров**, что позволяет обрабатывать данные с высокой точностью и интеллектуальным упорядочением. Для обеспечения эффективности, модель проходит процесс **гиперпараметрной оптимизации** в двух этапах: внутренний 2-fold cross-validation и внешний 10-fold cross-subject validation. Для разнообразия данных применяется Additive Gaussian Noise (AGN), что позволяет модели более хорошо адаптироваться к различным условиям.
## Результаты
На основе данных собранных у 121 участников (61 с диагнозом ADHD и 60 здоровых контрольных), ADHDeepNet достигла **100% точности классификации** на тестируемых данных. На множестве вариантов тестов (включая различные уровни шума и разнообразие в характеристиках сигналов), модель показала приемлемую высокую точность (99.17%). Эксперименты показали, что модель не только классифицирует заболевание с высокой точностью, но и может сфокусировать внимание на ключевых областях мозга и частотных бандах, которые играют ключевую роль в диагностике ADHD.
## Значимость
Результаты ADHDeepNet могут быть применены в различных областях. В первую очередь, это улучшение диагностики ADHD, что позволит сэкономить ресурсы здравоохранения и время пациентов. Благодаря интеллектуальной системе обработки данных, модель может быть использована в клинических условиях для легкого и автоматизированного диагностирования. Эта модель также может способствовать развитию исследований в области DL в здравоохранении и психиатрии, демонстрируя потенциал а
Annotation:
Attention Deficit Hyperactivity Disorder (ADHD) is a common brain disorder in
children that can persist into adulthood, affecting social, academic, and
career life. Early diagnosis is crucial for managing these impacts on patients
and the healthcare system but is often labor-intensive and time-consuming. This
paper presents a novel method to improve ADHD diagnosis precision and
timeliness by leveraging Deep Learning (DL) approaches and electroencephalogram
(EEG) signals. We introduce ADHDeepNet,...
📄 Spherical Brownian Bridge Diffusion Models for Conditional Cortical Thickness Forecasting
2025-09-11Авторы:
Ivan Stoyanov, Fabian Bongratz, Christian Wachinger
## Контекст
Форкация и воспроизведение индивидуальных, высокорезольвентных траекторий телесной толщины (CTh) являются ключевыми задачами в генезе и мониторинге новорожденных. Это необходимо для выявления небольших локальных изменений в луковичной структуре мозга, которые могут быть признаками ранних сигналов развития нейродегенеративных заболеваний. Однако эта задача сложна из-за сложной не-Eвклидовой геометрии луковицы мозга, а также из-за необходимости интегрировать многомодальные данные для подготовки точных индивидуальных прогнозов. Настоящая работа адресует эти проблемы, предлагая новую модель Spherical Brownian Bridge Diffusion Model (SBDM), которая обеспечивает достоверное воспроизведение траекторий телесной толщины на уровне вершин регистрируемых луковичных поверхностей.
## Метод
Методология SBDM основывается на инновационном подходе, основанном на теории диффузии. Мы предлагаем бидирекциональную схему, которая использует процессы Brownian bridge diffusion для построения траекторий телесной толщины с учетом кондиционированных данных. Сердцем модели лежит уникальный нормализующий модуль, который стабилизирует процесс диффузии и обеспечивает точность прогноза. Мы также предлагаем новую архитектуру CoS-UNet, которая включает в себя сферические конволюции и кросс-аттенцию, чтобы объединить луковичные поверхности и внешние условия в единую модель. Это позволяет модели обрабатывать различные данные, такие как медицинские изображения и другие метрики.
## Результаты
Мы проводили эксперименты на двух крупных датасетах: ADNI и OASIS. Наши результаты показывают, что SBDM значительно превосходит предыдущие методы по меременю ошибок прогноза. Например, на ADNI мы получили ошибку в 12% меньше в сравнении с базовым подходом, при этом обеспечивая более высокую точность в прогнозировании траекторий телесной толщины. Мы также продемонстрировали SBDM может генерировать не только правдивые траектории, но и контрфактические (hypothetical) сценарии, обеспечивая новый фреймворк для исследований ранних сигналов нейродегенеративных заболеваний.
## Значимость
Модель SBDM имеет высокий потенциал в области медицинских исследований и клинической практики. Она может быть применена для раннего выявления нейродегенеративных заболеваний, а также для мониторинга клинических интервенций. Ее особенность в том, что она может вести прогнозирование на не только стандартных, но и кейсах контрфактических сценариев, что позволяет экспертам более глубоко изучать развитие заболеваний и выявлять новые механизмы. Это может способствовать разработке эффективных терапи
Annotation:
Accurate forecasting of individualized, high-resolution cortical thickness
(CTh) trajectories is essential for detecting subtle cortical changes,
providing invaluable insights into neurodegenerative processes and facilitating
earlier and more precise intervention strategies. However, CTh forecasting is a
challenging task due to the intricate non-Euclidean geometry of the cerebral
cortex and the need to integrate multi-modal data for subject-specific
predictions. To address these challenges, we i...
Авторы:
Davide Badalotti, Carlo Baldassi, Marc Mézard, Mattia Scardecchia, Riccardo Zecchina
## Контекст
Глубокие асимметричные рекуррентные нейронные сети (DARNN) представляют собой мощный класс моделей, которые обладают уникальными свойствами, включая способность хранить и обрабатывать значительное количество данных в их внутренних состояниях. Однако их использование в задачах машинного обучения столкнулось с рядом сложностей, включая необходимость тщательной инициализации параметров и затрудненную обучаемость в ситуациях, требующих большого количества вычислительных ресурсов. Одним из основных трудностей является необходимость использования оптимизационных процедур, таких как градиентный спуск, для обновления весов, что может ограничивать их применение в ситуациях, где недоступны вычислительные мощности для длительных итераций. Авторы статьи предлагают расширенную модель DARNN, в которой добавляются новые аспекты, такие как спарсие вывода и динамическое обучение, что позволяет модели более эффективно решать задачи машинного обучения.
## Метод
Проposed алгоритм основывается на идее геометрических свойств стабильных конфигураций внутренних состояний DARNN. Авторы предлагают использовать новую структуру сети, включающую асимметричные связи между слоями, что позволяет создать богатую многомерную пространственную структуру для представления данных. Благодаря этой структуре, модель может обнаружить информацию о связях в данных без необходимости затрат на вычисление градиентов. Для выполнения обучения используется динамический подход, в котором сеть сама обнаруживает паттерны и взаимосвязи в данных, без необходимости внешнего сигнала. Это достигается за счет использования спарсия, что позволяет модели более эффективно регулировать свои состояния и обнаруживать существующие связи в данных.
## Результаты
Авторы проводят обширные эксперименты для сравнения новой модели с традиционными архитектурами. Используются различные данные, включая стандартные бенчмарк-задачи в области текстового и изображенияй обработки. Результаты показывают, что новая модель может достигать высокой точности в решении задач, которые требуют хранения и обработки больших объемов данных. Заметное преимущество новой модели заключается в том, что она может выполнять обучение даже при отсутствии градиентного спуска, что делает ее более универсальной и эффективной в ситуациях, где вычислительные ресурсы ограничены.
## Значимость
Новая модель может быть применена в различных областях, включая нейроинформатику, биоинформатику и машинное обучение. Одним из основных преимуществ является возможность решать задачи
Annotation:
We show that asymmetric deep recurrent neural networks, enhanced with
additional sparse excitatory couplings, give rise to an exponentially large,
dense accessible manifold of internal representations which can be found by
different algorithms, including simple iterative dynamics. Building on the
geometrical properties of the stable configurations, we propose a distributed
learning scheme in which input-output associations emerge naturally from the
recurrent dynamics, without any need of gradien...
Авторы:
Brennen Hill
## Контекст
Современные искусственные системы, включая искусственные нейронные сети, продолжают показывать впечатляющие достижения в области обработки информации и принятия решений. Однако их работа часто ограничивается качеством обучения, основывающимся на статических данных и неявных моделях обучения. Биологические нейронные сети, напротив, обладают уникальными способностями к обучению, включая динамическую пластичность и возможность взаимодействия с окружающим миром. Однако создание экспериментальных сред, которые могли бы эффективно использовать эти способности, остается значительной проблемой. Это формирует мотивацию для развития новых подходов к созданию сред, которые могут пробуждать к жизни и продолжать развиваться в своих возможностях.
## Метод
Мы предлагаем расширенный фреймворк, который расширяет применение систем обучения с подкреплением к новому классу агентов — нейроорганоидам. Методология основывается на разработке скалябельных, замкнутых циклов виртуальных окружений, которые способны обучать нейроорганоиды, а также изучать механизмы знаний, такие как долговременная потенциация (LTP) и долговременная депрессия (LTD). Три разных вида задач были разработаны, каждая из которых увеличивает сложность и затрагивает различные аспекты обучения: (1) задача условного избегания, (2) одномерная сценарий предателя-жертвы, и (3) воспроизведение классической игры Pong. Для каждой задачи сформализованы пространство состояний, пространство действий, механизмы восприятия и декодирования сенсора, а также протоколы обратной связи, основанные на вознаграждении и наказании. Мы также предлагаем мета-подход к обучению, в котором LLM автоматизирует процессы подготовки экспериментов и оптимизации сред. Наконец, мы предлагаем многомерный подход к оценке обучения, включающий электрофизиологические, клеточные и молекулярные уровни синаптической пластичности.
## Результаты
Мы провели эксперименты с каждым из трех разработанных окружений, используя нейроорганоиды, которые были успешно обучены в разных задачах. Наша система успешно демонстрирует возможность обучения нейроорганоидов в структурированных средах, демонстрируя синхронную работу всех компонентов фреймворка. Мы также заметили, что система LLM-автоматизированного управления экспериментами не только эффективно разрабатывает среды, но и увеличивает скорость и точность при подготовке экспериментов.
## Значимость
Наш подход открывает новые возможности в области нейроорганоидных исследований, позволяя исследовать проблемы
Annotation:
As the complexity of artificial agents increases, the design of environments
that can effectively shape their behavior and capabilities has become a
critical research frontier. We propose a framework that extends this principle
to a novel class of agents: biological neural networks in the form of neural
organoids. This paper introduces three scalable, closed-loop virtual
environments designed to train organoid-based biological agents and probe the
underlying mechanisms of learning, such as long-...
Авторы:
John E. Hummel, Rachel F. Heaton
#### Контекст
Уникальность человеческого разума заключается в способности к символическому мышлению, которое отсутствует у большинства других животных. Одной из ключевых загадок является возможность динамического связывания нейронов, которая, несмотря на её необходимость, оказывается не достаточной для реализации символического мышления. Целью данной работы является изучение дополнительных механизмов, необходимых для формирования символического разума. На основе теоретических работ и предыдущих исследований было предложено, что минимальным условием для получения символического мышления является не только динамическое связывание, но также два типа гиерархической интеграции: объединение ролей в многоместные предикаты и сопоставление структур. Данный подход был проверен с помощью систематической коллекции симуляционных экспериментов.
#### Метод
В работе использовались 17 систематически созданных симуляций, нацеленных на проверку полученных гипотез. Эксперименты были ориентированы на оценку способности разных моделей знаний к выполнению задач, зависящих от возможности реализации многоместных предикатов и метода сопоставления структур. Архитектуры моделей включали модели с возможностью динамического связывания, а также модели с дополнительными механизмами для гиерархической интеграции. Все задачи были спроектированы на уровне абстракции, не позволяющем использовать конкретные диагностические признаки, чтобы проверить только гипотезу о важности выделенных механизмов.
#### Результаты
На основе результатов симуляций было показано, что модели с возможностью динамического связывания, многоместных предикатов и методом сопоставления структур показали значительно более высокую эффективность в выполнении задач, относящихся к символическому мышлению, в сравнении с моделями, не обладающими этими механизмами. Эти результаты подтверждают гипотезу, что динамическое связывание, многоместные предикаты и метод сопоставления структур являются минимальными условиями для формирования символического разума. Эти механизмы позволяют моделям обрабатывать информацию на более высоком уровне абстракции, чем модели, не обладающие этими возможностями.
#### Значимость
Полученные результаты имеют значительное значение для развития биоинспирированных систем искусственного интеллекта. Они могут помочь в развитии систем, подходящих под принципы биологического развития интеллекта, но при этом имеющих возможность уменьшить необходимость в больших объемах данных для обучения. Это может стать важным шагом в развитии методов, которые б
Annotation:
What is it about human brains that allows us to reason symbolically whereas
most other animals cannot? There is evidence that dynamic binding, the ability
to combine neurons into groups on the fly, is necessary for symbolic thought,
but there is also evidence that it is not sufficient. We propose that two kinds
of hierarchical integration (integration of multiple role-bindings into
multiplace predicates, and integration of multiple correspondences into
structure mappings) are minimal requirement...
Показано 21 -
30
из 32 записей