📊 Статистика дайджестов
Всего дайджестов: 34022 Добавлено сегодня: 82
Последнее обновление: сегодня
Авторы:
Beyazit Yalcinkaya, Marcell Vazquez-Chanlatte, Ameesh Shah, Hanna Krasowski, Sanjit A. Seshia
Саммари на русском не найдено
Доступные поля: ['id', 'arxiv_id', 'title', 'authors', 'abstract', 'summary_ru', 'categories', 'published_date', 'created_at']
Доступные поля: ['id', 'arxiv_id', 'title', 'authors', 'abstract', 'summary_ru', 'categories', 'published_date', 'created_at']
Annotation:
We study the problem of learning multi-task, multi-agent policies for
cooperative, temporal objectives, under centralized training, decentralized
execution. In this setting, using automata to represent tasks enables the
decomposition of complex tasks into simpler sub-tasks that can be assigned to
agents. However, existing approaches remain sample-inefficient and are limited
to the single-task case. In this work, we present Automata-Conditioned
Cooperative Multi-Agent Reinforcement Learning (ACC-...
Авторы:
Laura Ying Schulz, Daniel Mitropolsky, Tomaso Poggio
Саммари на русском не найдено
Доступные поля: ['id', 'arxiv_id', 'title', 'authors', 'abstract', 'summary_ru', 'categories', 'published_date', 'created_at']
Доступные поля: ['id', 'arxiv_id', 'title', 'authors', 'abstract', 'summary_ru', 'categories', 'published_date', 'created_at']
Annotation:
We introduce a new framework for understanding how language models acquire
syntax. While large models achieve impressive results, little is known about
their learning dynamics. Our approach starts with the observation that most
domains of interest, such as natural language syntax, coding languages,
arithmetic problems, are captured by probabilistic context-free grammars
(PCFGs). We study the learning dynamics of small models trained on synthetic
languages generated from PCFGs, enabling precise c...
📄 From Formal Language Theory to Statistical Learning: Finite Observability of Subregular Languages
2025-09-30Авторы:
Katsuhiko Hayashi, Hidetaka Kamigaito
## Контекст
Область исследования — теория языков, в частности, подрегулярные языки, которые широко применяются в лингвистике и языковых моделях. Одной из ключевых проблем является необходимость формального представления языковых структур, которые могут быть эффективно обучены и интерпретированы. Ограниченность доступных данных (финитность наблюдений) и необходимость простоты моделей становятся мотивацией для изучения того, насколько эффективно подрегулярные языки могут быть описаны и выучены в условиях финитности наблюдений.
## Метод
Исследование основано на математической теории языков и машинного обучения. Методология основывается на доказательстве того, что подрегулярные языки могут быть представлены с помощью линейно разделимых моделей. Технические решения включают доказательство линейной разделимости для всех классов подрегулярных языков, использование принципов статистического обучения, а также архитектуру простой линейной модели для решения задачи. Архитектура основывается на отделении функций признаков от линейной модели, что гарантирует интерпретируемость и эффективность.
## Результаты
В ходе экспериментов было показано, что подрегулярные языки могут быть эффективно сегментированы и классифицированы с помощью линейных моделей. Использовались два типа данных: синтетические, подтверждающие теоретические выводы, и реальные данные на базе английского языка, подтверждающие теоретические предположения на практике. Результаты экспериментов показали, что модели не только эффективно классифицируют языковые данные, но и вырабатывают признаки, соответствующие известным лингвистическим соглашениям.
## Значимость
Результаты имеют значительное значение для области лингвистики и машинного обучения. Они позволяют использовать подрегулярные языки в моделях, гарантирующих линейную разделимость и, следовательно, эффективность обучения. Приложения включают модели естественного языка, морфологическую обработку, интерпретируемую модель понимания языка. Преимущества заключаются в том, что модели на основе подрегулярных языков являются просто разбиваемыми и интерпретируемыми, что обеспечивает их применимость в реальных задачах.
## Выводы
Исследование успешно продемонстрировало, что подрегулярные языки могут быть представлены линейно разделимыми моделями, что обеспечивает их финитную наблюдаемость и обучаемость. Эти результаты открывают пути для дальнейшего исследования в области моделирования языковых структур с использованием теории языков
Annotation:
We prove that all standard subregular language classes are linearly separable
when represented by their deciding predicates. This establishes finite
observability and guarantees learnability with simple linear models. Synthetic
experiments confirm perfect separability under noise-free conditions, while
real-data experiments on English morphology show that learned features align
with well-known linguistic constraints. These results demonstrate that the
subregular hierarchy provides a rigorous and...
Авторы:
Konstantinos Voudouris, Andrew Barron, Marta Halina, Colin Klein, Matishalin Patel
## Контекст
Область исследования связана с теориями транзишнских систем, которые изучают как механизмы формирования новых структур в жизненных системах. Настоящее исследование фокусируется на проблеме транзишнских изменений в биологической когниции. Ее мотивация заключается в том, чтобы разобраться, как возникают преобразования в системах обработки информации, что влияет на их эволюционное развитие. Здесь исследуется, как могут измениться структуры обработки информации в нейронных сетях, и какие эффекты это имеет на уровень когнитивных процессов.
## Метод
Для изучения проблемы были использованы идеализированные модели информационного потока — искусственные нейронные сети (ANN). Эти сети были проектированы с различными топологиями: полносвязные, реCURRENTные и слоистые (laminated) топологии. Эксперименты проводились на обучении этих сетей к различным сложностям грамматик, контролируя размер сети и используемые ресурсы. Архитектура ANN была модифицирована, чтобы проверить как различные топологии влияют на усложнение задач обучения и на результаты полученных решений.
## Результаты
В результате экспериментов было установлено, что реCURRENTные сети показали значительное улучшение в обучении сложных грамматик по сравнению с полносвязными сетями. Это улучшение было связано с тем, что реCURRENTные сети могли обрабатывать более широкий спектр входных данных. Однако laminated сети не показали преимуществ по сравнению с другими типами топологий. Было также выявлено, что трудности в обучении реCURRENTных сетей могут служить запасным механизмом для преодоления перехода, что вновь подчеркивает значение таких факторов, как сложность тренировки и образование новых структур.
## Значимость
Полученные результаты вносят вклад в область исследований по эволюции биологической когниции, показывая, как изменения в информационном потоке могут привести к значительным переходам в системах обучения. Эти переходы могут иметь практическое значение в разработке систем машинного обучения и искусственного интеллекта, улучшая их качество и эффективность. Также, описанные переходы помогают понять, как в кровной жизни выстраиваются новые системы обработки информации, что может быть применено в биологии и эволюционной теории.
## Выводы
На основе данных результатов, можно сделать вывод, что некоторые изменения в топологии нейронных сетей могут привести к транзишнским переходам в когнитивных процессах. Изучение таких переходов позволяет понять, какие факторы влияют на эволюцию систем обработки информации в биологических системах. Будущие исследования будут сос
Annotation:
Transitional accounts of evolution emphasise a few changes that shape what is
evolvable, with dramatic consequences for derived lineages. More recently it
has been proposed that cognition might also have evolved via a series of major
transitions that manipulate the structure of biological neural networks,
fundamentally changing the flow of information. We used idealised models of
information flow, artificial neural networks (ANNs), to evaluate whether
changes in information flow in a network can...