📊 Статистика дайджестов

Всего дайджестов: 34022 Добавлено сегодня: 82

Последнее обновление: сегодня
Авторы:

Beyazit Yalcinkaya, Marcell Vazquez-Chanlatte, Ameesh Shah, Hanna Krasowski, Sanjit A. Seshia

Саммари на русском не найдено
Доступные поля: ['id', 'arxiv_id', 'title', 'authors', 'abstract', 'summary_ru', 'categories', 'published_date', 'created_at']
Annotation:
We study the problem of learning multi-task, multi-agent policies for cooperative, temporal objectives, under centralized training, decentralized execution. In this setting, using automata to represent tasks enables the decomposition of complex tasks into simpler sub-tasks that can be assigned to agents. However, existing approaches remain sample-inefficient and are limited to the single-task case. In this work, we present Automata-Conditioned Cooperative Multi-Agent Reinforcement Learning (ACC-...
ID: 2511.02304v1 cs.MA, cs.AI, cs.CL, cs.FL, cs.LG
Авторы:

Laura Ying Schulz, Daniel Mitropolsky, Tomaso Poggio

Саммари на русском не найдено
Доступные поля: ['id', 'arxiv_id', 'title', 'authors', 'abstract', 'summary_ru', 'categories', 'published_date', 'created_at']
Annotation:
We introduce a new framework for understanding how language models acquire syntax. While large models achieve impressive results, little is known about their learning dynamics. Our approach starts with the observation that most domains of interest, such as natural language syntax, coding languages, arithmetic problems, are captured by probabilistic context-free grammars (PCFGs). We study the learning dynamics of small models trained on synthetic languages generated from PCFGs, enabling precise c...
ID: 2510.02524v1 cs.CL, cs.FL, cs.LG
Авторы:

Katsuhiko Hayashi, Hidetaka Kamigaito

## Контекст Область исследования — теория языков, в частности, подрегулярные языки, которые широко применяются в лингвистике и языковых моделях. Одной из ключевых проблем является необходимость формального представления языковых структур, которые могут быть эффективно обучены и интерпретированы. Ограниченность доступных данных (финитность наблюдений) и необходимость простоты моделей становятся мотивацией для изучения того, насколько эффективно подрегулярные языки могут быть описаны и выучены в условиях финитности наблюдений. ## Метод Исследование основано на математической теории языков и машинного обучения. Методология основывается на доказательстве того, что подрегулярные языки могут быть представлены с помощью линейно разделимых моделей. Технические решения включают доказательство линейной разделимости для всех классов подрегулярных языков, использование принципов статистического обучения, а также архитектуру простой линейной модели для решения задачи. Архитектура основывается на отделении функций признаков от линейной модели, что гарантирует интерпретируемость и эффективность. ## Результаты В ходе экспериментов было показано, что подрегулярные языки могут быть эффективно сегментированы и классифицированы с помощью линейных моделей. Использовались два типа данных: синтетические, подтверждающие теоретические выводы, и реальные данные на базе английского языка, подтверждающие теоретические предположения на практике. Результаты экспериментов показали, что модели не только эффективно классифицируют языковые данные, но и вырабатывают признаки, соответствующие известным лингвистическим соглашениям. ## Значимость Результаты имеют значительное значение для области лингвистики и машинного обучения. Они позволяют использовать подрегулярные языки в моделях, гарантирующих линейную разделимость и, следовательно, эффективность обучения. Приложения включают модели естественного языка, морфологическую обработку, интерпретируемую модель понимания языка. Преимущества заключаются в том, что модели на основе подрегулярных языков являются просто разбиваемыми и интерпретируемыми, что обеспечивает их применимость в реальных задачах. ## Выводы Исследование успешно продемонстрировало, что подрегулярные языки могут быть представлены линейно разделимыми моделями, что обеспечивает их финитную наблюдаемость и обучаемость. Эти результаты открывают пути для дальнейшего исследования в области моделирования языковых структур с использованием теории языков
Annotation:
We prove that all standard subregular language classes are linearly separable when represented by their deciding predicates. This establishes finite observability and guarantees learnability with simple linear models. Synthetic experiments confirm perfect separability under noise-free conditions, while real-data experiments on English morphology show that learned features align with well-known linguistic constraints. These results demonstrate that the subregular hierarchy provides a rigorous and...
ID: 2509.22598v1 cs.CL, cs.FL, cs.LG
Авторы:

Konstantinos Voudouris, Andrew Barron, Marta Halina, Colin Klein, Matishalin Patel

## Контекст Область исследования связана с теориями транзишнских систем, которые изучают как механизмы формирования новых структур в жизненных системах. Настоящее исследование фокусируется на проблеме транзишнских изменений в биологической когниции. Ее мотивация заключается в том, чтобы разобраться, как возникают преобразования в системах обработки информации, что влияет на их эволюционное развитие. Здесь исследуется, как могут измениться структуры обработки информации в нейронных сетях, и какие эффекты это имеет на уровень когнитивных процессов. ## Метод Для изучения проблемы были использованы идеализированные модели информационного потока — искусственные нейронные сети (ANN). Эти сети были проектированы с различными топологиями: полносвязные, реCURRENTные и слоистые (laminated) топологии. Эксперименты проводились на обучении этих сетей к различным сложностям грамматик, контролируя размер сети и используемые ресурсы. Архитектура ANN была модифицирована, чтобы проверить как различные топологии влияют на усложнение задач обучения и на результаты полученных решений. ## Результаты В результате экспериментов было установлено, что реCURRENTные сети показали значительное улучшение в обучении сложных грамматик по сравнению с полносвязными сетями. Это улучшение было связано с тем, что реCURRENTные сети могли обрабатывать более широкий спектр входных данных. Однако laminated сети не показали преимуществ по сравнению с другими типами топологий. Было также выявлено, что трудности в обучении реCURRENTных сетей могут служить запасным механизмом для преодоления перехода, что вновь подчеркивает значение таких факторов, как сложность тренировки и образование новых структур. ## Значимость Полученные результаты вносят вклад в область исследований по эволюции биологической когниции, показывая, как изменения в информационном потоке могут привести к значительным переходам в системах обучения. Эти переходы могут иметь практическое значение в разработке систем машинного обучения и искусственного интеллекта, улучшая их качество и эффективность. Также, описанные переходы помогают понять, как в кровной жизни выстраиваются новые системы обработки информации, что может быть применено в биологии и эволюционной теории. ## Выводы На основе данных результатов, можно сделать вывод, что некоторые изменения в топологии нейронных сетей могут привести к транзишнским переходам в когнитивных процессах. Изучение таких переходов позволяет понять, какие факторы влияют на эволюцию систем обработки информации в биологических системах. Будущие исследования будут сос
Annotation:
Transitional accounts of evolution emphasise a few changes that shape what is evolvable, with dramatic consequences for derived lineages. More recently it has been proposed that cognition might also have evolved via a series of major transitions that manipulate the structure of biological neural networks, fundamentally changing the flow of information. We used idealised models of information flow, artificial neural networks (ANNs), to evaluate whether changes in information flow in a network can...
ID: 2509.13968v1 cs.AI, cs.CL, cs.FL, cs.LG