📊 Статистика дайджестов
Всего дайджестов: 34022 Добавлено сегодня: 82
Последнее обновление: сегодня
Авторы:
Brennen Hill
## Контекст
Современные искусственные системы, включая искусственные нейронные сети, продолжают показывать впечатляющие достижения в области обработки информации и принятия решений. Однако их работа часто ограничивается качеством обучения, основывающимся на статических данных и неявных моделях обучения. Биологические нейронные сети, напротив, обладают уникальными способностями к обучению, включая динамическую пластичность и возможность взаимодействия с окружающим миром. Однако создание экспериментальных сред, которые могли бы эффективно использовать эти способности, остается значительной проблемой. Это формирует мотивацию для развития новых подходов к созданию сред, которые могут пробуждать к жизни и продолжать развиваться в своих возможностях.
## Метод
Мы предлагаем расширенный фреймворк, который расширяет применение систем обучения с подкреплением к новому классу агентов — нейроорганоидам. Методология основывается на разработке скалябельных, замкнутых циклов виртуальных окружений, которые способны обучать нейроорганоиды, а также изучать механизмы знаний, такие как долговременная потенциация (LTP) и долговременная депрессия (LTD). Три разных вида задач были разработаны, каждая из которых увеличивает сложность и затрагивает различные аспекты обучения: (1) задача условного избегания, (2) одномерная сценарий предателя-жертвы, и (3) воспроизведение классической игры Pong. Для каждой задачи сформализованы пространство состояний, пространство действий, механизмы восприятия и декодирования сенсора, а также протоколы обратной связи, основанные на вознаграждении и наказании. Мы также предлагаем мета-подход к обучению, в котором LLM автоматизирует процессы подготовки экспериментов и оптимизации сред. Наконец, мы предлагаем многомерный подход к оценке обучения, включающий электрофизиологические, клеточные и молекулярные уровни синаптической пластичности.
## Результаты
Мы провели эксперименты с каждым из трех разработанных окружений, используя нейроорганоиды, которые были успешно обучены в разных задачах. Наша система успешно демонстрирует возможность обучения нейроорганоидов в структурированных средах, демонстрируя синхронную работу всех компонентов фреймворка. Мы также заметили, что система LLM-автоматизированного управления экспериментами не только эффективно разрабатывает среды, но и увеличивает скорость и точность при подготовке экспериментов.
## Значимость
Наш подход открывает новые возможности в области нейроорганоидных исследований, позволяя исследовать проблемы
Annotation:
As the complexity of artificial agents increases, the design of environments
that can effectively shape their behavior and capabilities has become a
critical research frontier. We propose a framework that extends this principle
to a novel class of agents: biological neural networks in the form of neural
organoids. This paper introduces three scalable, closed-loop virtual
environments designed to train organoid-based biological agents and probe the
underlying mechanisms of learning, such as long-...
Авторы:
John E. Hummel, Rachel F. Heaton
#### Контекст
Уникальность человеческого разума заключается в способности к символическому мышлению, которое отсутствует у большинства других животных. Одной из ключевых загадок является возможность динамического связывания нейронов, которая, несмотря на её необходимость, оказывается не достаточной для реализации символического мышления. Целью данной работы является изучение дополнительных механизмов, необходимых для формирования символического разума. На основе теоретических работ и предыдущих исследований было предложено, что минимальным условием для получения символического мышления является не только динамическое связывание, но также два типа гиерархической интеграции: объединение ролей в многоместные предикаты и сопоставление структур. Данный подход был проверен с помощью систематической коллекции симуляционных экспериментов.
#### Метод
В работе использовались 17 систематически созданных симуляций, нацеленных на проверку полученных гипотез. Эксперименты были ориентированы на оценку способности разных моделей знаний к выполнению задач, зависящих от возможности реализации многоместных предикатов и метода сопоставления структур. Архитектуры моделей включали модели с возможностью динамического связывания, а также модели с дополнительными механизмами для гиерархической интеграции. Все задачи были спроектированы на уровне абстракции, не позволяющем использовать конкретные диагностические признаки, чтобы проверить только гипотезу о важности выделенных механизмов.
#### Результаты
На основе результатов симуляций было показано, что модели с возможностью динамического связывания, многоместных предикатов и методом сопоставления структур показали значительно более высокую эффективность в выполнении задач, относящихся к символическому мышлению, в сравнении с моделями, не обладающими этими механизмами. Эти результаты подтверждают гипотезу, что динамическое связывание, многоместные предикаты и метод сопоставления структур являются минимальными условиями для формирования символического разума. Эти механизмы позволяют моделям обрабатывать информацию на более высоком уровне абстракции, чем модели, не обладающие этими возможностями.
#### Значимость
Полученные результаты имеют значительное значение для развития биоинспирированных систем искусственного интеллекта. Они могут помочь в развитии систем, подходящих под принципы биологического развития интеллекта, но при этом имеющих возможность уменьшить необходимость в больших объемах данных для обучения. Это может стать важным шагом в развитии методов, которые б
Annotation:
What is it about human brains that allows us to reason symbolically whereas
most other animals cannot? There is evidence that dynamic binding, the ability
to combine neurons into groups on the fly, is necessary for symbolic thought,
but there is also evidence that it is not sufficient. We propose that two kinds
of hierarchical integration (integration of multiple role-bindings into
multiplace predicates, and integration of multiple correspondences into
structure mappings) are minimal requirement...
Авторы:
Brooke R. Weborg, Gursel Serpen
## Контекст
Эхо-статусные сети (Echo State Networks, ESN) — это вид рекуррентных нейронных сетей, которые широко применяются в задачах классификации и прогнозирования временных рядов. Однако их настройка требует значительного опыта, так как выбор параметров и архитектуры может сильно повлиять на их эффективность. Недостаток подробных руководств для быстрого входа в этот направление мотивирует разработку методов, позволяющих оптимизировать настройку ESN для различных проблемных областей.
## Метод
Для изучения ESN, авторы использовали 4 различных бенчмарк-задачи, представляющие собой разные проблемные области: прогноз временных рядов, генерация шаблонов, прогноз чаотичных систем и классификация временных рядов. Каждая задача была реализована с использованием различных настроек архитектуры ESN и параметров. Подбор параметров производился с использованием экспериментов и анализа, чтобы определить лучшие практики для конфигурации ESN.
## Результаты
Исследования показали, что правильный выбор параметров и архитектуры ESN влияет на ее точность и скорость обучения. На практических задачах было установлено, что настройка нейронной сети требует учета конкретных характеристик проблемного области. Такие параметры, как размер резервного компьютера, скорость затухания, толщина скрытого слоя и уровень временного разброса, оказали значительное влияние на производительность сети.
## Значимость
Результаты могут быть применены в сферах, где требуется прогноз временных рядов или классификация данных. Этот подход облегчает настройку ESN для новичков в этой области, давая им базовые правила для выбора значений параметров. Полученные знания могут способствовать развитию новых методов оптимизации и улучшения точности прогнозов.
## Выводы
Основным достижением является разработка руководств для настройки ESN, которые позволяют значительно сократить время подготовки для новичков. Будущие исследования будут направлены на усовершенствование алгоритмов настройки и расширение применений ESN в других проблемных областях.
Annotation:
This paper examines Echo State Network, a reservoir computer, performance
using four different benchmark problems, then proposes heuristics or rules of
thumb for configuring the architecture, as well as the selection of parameters
and their values, which are applicable to problems within the same domain, to
help serve to fill the experience gap needed by those entering this field of
study. The influence of various parameter selections and their value
adjustments, as well as architectural changes...
Авторы:
Bowen Zhang, Genan Dai, Hu Huang, Long Lan
## Контекст
Граф-структурированные данные широко распространены во многих областях, включая социальные сети, биологию и физику. Графы представляют собой мощный инструмент для представления и анализа таких структур. Графовые нейронные сети (GNNs) позволяют эффективно моделировать данные с такой структурой, однако многие из них оперируют в евклидовом пространстве и прибегают к фиксированным геометрическим предположениям. Эти ограничения порождают проблемы при моделировании графов с сложными структурами, такими как циклы и иерархии. Нейронные сети на основе спайков (SNNs), в свою очередь, обеспечивают высокую энергоэффективность за счет спарсинговой, событий-дривенной компьютеризации. Однако их способность работать с графами ограничена. Данный подход предлагает решение, которое объединяет преимущества GNNs и SNNs, адаптируясь к нейронным сетям сложной геометрии.
## Метод
Предложенный подход, Geometry-Aware Spiking Graph Neural Network (\method{}), является инновационным подходом к моделированию графов, комбинирующий нейронные сети на основе спайков с адаптивным обучением в окружении поверхностей невырожденной кривизны. Метод состоит из трех основных компонентов:
1. **Riemannian Embedding Layer**: эта слой адаптивно преобразует входные данные в пространство геометрических поверхностей с заданной кривизной, позволяя эффективно представлять нейронные сети, ориентированные на сложные структуры.
2. **Manifold Spiking Layer**: этот слой осуществляет спайковые вычисления в невырожденных пространствах, используя геометрически точные методы агрегации соседей и кривизны, гарантируя таким образом гибкость и точность моделирования.
3. **Manifold Learning Objective**: этот объектив обеспечивает настройку геометрии для каждого примера, объединяя классификацию и прогнозирование связей с помощью геодезических расстояний.
Training происходит с использованием Riemannian SGD, что позволяет избежать backpropagation через время, упрощая процесс обучения.
## Результаты
Эксперименты проводились на нескольких бенчмарк-данных, включая сложные графы с иерархическими структурами. Результаты показали, что \method{} превосходит обычные GNNs и SNNs как по точности, так и по энергоэффективности. Адаптивность к кривизне позволила ему эффективно работать с нелинейными геометрическими структурами, что демонстрирует переломный характер в области граф-моделирования.
## Значимость
Данный подход может быть использован в некоторых критически важных областях, таких как моделирование биологических систем, паттернов в социальных сетях и анализ взаимосвязей в биомедицине. Он предоставляет высокую энер
Annotation:
Graph Neural Networks (GNNs) have demonstrated impressive capabilities in
modeling graph-structured data, while Spiking Neural Networks (SNNs) offer high
energy efficiency through sparse, event-driven computation. However, existing
spiking GNNs predominantly operate in Euclidean space and rely on fixed
geometric assumptions, limiting their capacity to model complex graph
structures such as hierarchies and cycles. To overcome these limitations, we
propose \method{}, a novel Geometry-Aware Spiking...
Авторы:
Michael R. Wartmann, B. Erik Ydstie
## КОНТЕКСТ И ПРОБЛЕМАТИКА
В последние годы машинное обучение и аналитика для управления процессами стали важной составляющей индустрии. Однако существует существенная проблема интеграции новых, данных-ориентированных методов с классическими моделями процессов и системами управления. Традиционные модели обычно основываются на физических законах и консервативных принципах, таких как законы сохранения массы и энергии, которые обеспечивают надежную и интерпретируемую основу для моделирования и управления процессами. Однако новые данные-ориентированные подходы, такие как нейронные сети, часто не имеют встроенных механизмов для соблюдения этих принципов, что может привести к неточным или нефизическим результатам.
Проблема состоит в том, как сочетать преимущества данных-ориентированных методов с классическими физическими моделями, обеспечивая согласованность и точность. Кроме того, необходимо разработать методологию, которая позволит эффективно интегрировать эти подходы для улучшения управления распределенными процессами. Мотивация заключается в том, что современные промышленные процессы становятся все более сложными и распределенными, требуя более точных и адаптивных моделей для управления.
В данной статье предлагается фреймворк для моделирования процессов, который позволяет интегрировать данные-ориентированные алгоритмы с классическими моделями процессов через согласованные топологические свойства и сохранение экстенсивных величин, таких как масса и энергия. Этот подход направлен на то, чтобы обеспечить согласованность между физическими законами и данными, полученными из реальных процессов.
## ПРЕДЛОЖЕННЫЙ МЕТОД
Предлагаемый метод основывается на использовании нейронных обычных дифференциальных уравнений (Neural Ordinary Differential Equations, Neural ODEs) для моделирования процессов. Он включает в себя представление взаимосвязей между единицами процессной сети через матрицы связей и графы сетей. Это позволяет моделировать динамику процессов с учетом топологических свойств и законов сохранения.
Основная идея заключается в том, чтобы использовать дифференциальные уравнения для описания динамики системы, где нейронные сети используются для обучения динамических отношений из данных. Алгоритм Neural ODEs позволяет моделировать процессы, где состояния системы описываются дифференциальными уравнениями, а нейронные сети обучаются на основе этих уравнений, используя метод адъюнктного градиента (adjoint method). Это позволяет получить модель в пространстве состояний, которая может быть использована для моделирования и управления процессами.
Для реализации этого подхода используются матрицы связей и графы, которые описывают топологию процессной сети. Эти матрицы позволяют моделировать взаимодействия между различными компонентами системы и обеспечивают согласованность между физическими законами и данными. Кроме того, в этом подходе используется метод конических условий (conic sector conditions) для описания условий потоков в системе, что обеспечивает соответствие физическим законам.
## ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ
Для демонстрации эффективности предлагаемого метода был проведен эксперимент на примере простой системы управления запасами. В этом эксперименте использовалась синтетическая временная ряд данных, которые были сгенерированы для моделирования динамики системы. Нейронная сеть была обучена на основе этих данных, используя алгоритм Neural ODEs в сочетании с адаптивным решителем дифференциальных уравнений.
Результаты эксперимента показали, что нейронная сеть успешно обучилась моделировать динамику системы, формируя модель в пространстве состояний. Эта модель была использована в алгоритме предсказательного управления (Model Predictive Control, MPC) для управления системой. Модель показала высокую точность в предсказании состояний системы и эффективность в управлении процессом.
## ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ
Практическая значение этого подхода заключается в том, что он позволяет интегрировать данные-ориентированные методы с классическими физическими моделями процессов. Это может быть использовано в различных областях, таких как производство, логистика, энергетика и другие сферы, где необходимо управление распределенными процессами.
Преимущества этого подхода включают в себя улучшенную точность моделей, интеграцию физических законов с данными, а также возможность адаптивного управления процессами. Это может привести к более эффективному и надежному управлению процессами в реальных условиях.
## ВЫВОДЫ И ПЕРСПЕКТИВЫ
В рамках данной статьи был предложен фреймворк для моделирования процессов, который интегрирует данные-ориентированные методы с классическими физическими моделями. Этот подход показал высокую эффективность на примере управления запасами. Будущие исследования могут быть направлены на дальнейшее улучшение этого метода, включая исследование его применения в более сложных процессах и системах управления. Кроме того, можно исследовать возможности использования этого подхода в реальных промышленных условиях для улучшения эффективности и надежности управления процессами.
Annotation:
Most recent advances in machine learning and analytics for process control
pose the question of how to naturally integrate new data-driven methods with
classical process models and control. We propose a process modeling framework
enabling integration of data-driven algorithms through consistent topological
properties and conservation of extensive quantities. Interconnections among
process network units are represented through connectivity matrices and network
graphs. We derive the system's natur...
Показано 11 -
15
из 15 записей