Далее приводится подробное резюме научной статьи под названием "Post-training for Efficient Communication via Convention Formation", написанной Yilun Hua, Evan Wang, Yoav Artzi. ## Контекст В современных текстовых генерирующих моделях, включая Large Language Models (LLMs), возникают сложности с адаптацией языка в процессе многократных взаимодействий. Хотя человеческие коммуникации становятся более эффективными в многократных интеракциях, LLMs не способны естественно показывать схожий подход. Наиболее заметным отличием является нехватка возможности участников взаимодействия договориться о ад-хок-конвенциях, которые помогают улучшить эффективность общения. Данный эффект часто наблюдается при работе с текстовыми моделями, которые выделяются нестандартным поведением в многотоновых ситуациях. Изучение этой проблемы может помочь в развитии моделей, которые лучше адаптируются к естественным коммуникационным ситуациям. ## Метод Авторы предлагают метод воспитания моделей, который использует эвристики, чтобы идентифицировать примеры конвенционального поведения в тексте. Метод включает в себя следующие этапы: 1. **Идентификация примеров**: Авторы используют инструменты для автоматической идентификации примеров конвенционального поведения в тексте. 2. **Изменение поведения моделей**: Для изменения поведения моделей во время выполнения, авторы применяют техники на основе обучения на примере (few-shot learning). 3. **Оценка поведения**: Результаты поведения модели оцениваются с помощью базового теста, который измеряет эффективность в текстовых взаимодействиях. Таким образом, авторы предлагают метод, который может быть применен к различным моделям, чтобы улучшить их способность договариваться о конвенциях в текстовых взаимодействиях. ## Результаты Авторы проводят эксперименты на двух новых бенчмарках для оценки способности моделей к конвенциональному поведению. Они используют две эвристически определенные методики: 1. **Набор тестов по интеракциям**: Авторы создали набор тестов, который позволяет исследовать способность моделей к конвенциональному поведению в текстовых интеракциях. Этот набор тестов включает в себя взаимодействия с различными уровнями сложности, чтобы протестировать способность моделей создавать и применять конвенции. 2. **Набор тестов по документ-ориентированному выводу**: Для оценки способности моделей применять конвенциональные подходы в реальных условиях, авторы проводят эксперименты на базе документ-ориентированного вывода, где модели должны делать выводы на основе документов. Эксперименты показали, что в последствии воспитания модели становятся более эффективными в создании и примен

## Контекст Абстрактная Модель Значений (AMR) — семантический формализм, который кодирует значение предложения в виде графов, ориентированных на рут-узел, с рутированными нодами, представляющими концепты, и ребрами, обозначающими семантические отношения. Развитие Легких Языковых Моделей (LLM) привносит новые возможности в область АМР-парсинга. В частности, оптимизация специализированных декодеров для парсинга АМР требует значительных вычислительных ресурсов и сложности в управлении. Файнтюнинг декодер-только LLM представляет более простой и эффективный подход. Несмотря на то, что LLM показывают успех в широком спектре задач, их применение к АМР-парсингу еще не тщательно изучено. Мы рассмотрим значимость файнтюнинга LLM для АМР-парсинга, а также проанализируем результаты по сравнению с имеющимися в науке решениями. ## Метод Мы использовали четыре декодер-только LLM: Phi 3.5, Gemma 2, LLaMA 3.2 и DeepSeek R1 LLaMA Distilled. Эти модели были файнтюнированы на LDC2020T02 Gold AMR3.0 тестовом наборе данных. Мы установили определенные гиперпараметры для каждой модели и тренировали их в тестовой среде. Эксперименты проводились с использованием различных метрик, включая SMATCH F1, для оценки производительности. Мы также провели анализ различных аспектов, таких как семантическая и структурная точность, чтобы понять, какие модели более эффективны в каких областях. ## Результаты Наша оценка показала, что файнтюнинг декодер-только LLM может достигать иногда значительной производительности в АМР-парсинге, которая сопоставима с текущими лучшими решениями. Модель LLaMA 3.2 показала самые высокие результаты в семантической точности, достигнув SMATCH F1: 0.804, что совпадает с результатами APT + Silver (IBM) и приближается к Graphene Smatch (MBSE). С другой стороны, Phi 3.5 демонстрировала наилучшие результаты в структурной точности. Это свидетельствует о том, что различные модели предлагают разные уровни эффективности в разных аспектах АМР-парсинга. ## Значимость Наше исследование показывает, что файнтюнинг LLM может стать эффективным инструментом для АМР-парсинга, даже не требуя такой сложной инфраструктуры, как в существующих комплексных решениях. Это может упростить развитие инструментов для семантического анализа текста. Результаты также указывают на то, что различные модели LLM предлагают разные преимущества в разных областях, что может помочь в выборе лучшей модели для определенных сценариев применения. ## Выводы Мы доказали, что файнтюнинг LLM может представлять собой достаточ

## Контекст В статье "MyCulture: Exploring Malaysia's Diverse Culture under Low-Resource Language Constraints" рассматривается проблема того, что Large Language Models (LLMs) часто имеют культурные базисы, полученные из тренировочных данных, где преобладают высокоресурсные языки, такие как английский и китайский. Это приводит к ограниченной точности при оценке языков с низким ресурсом и к нечесальному представлению культурных контекстов, особенно в контексте низкоресурсных языков. Для решения этой проблемы авторы предлагают MyCulture, новый бенчмарк, предназначенный для оценки LLMs на восприятии малайской культуры в шести областях: искусства, одежды, обычаи, развлечения, пища и религия, представленные на языке Бахаса Мелаю. Этот бенчмарк использует несколько новых подходов, включая открытые ответы в формате нескольких выборок без предварительно определенных вариантов ответов, чтобы избежать биаса, связанного с таким форматом. ## Метод Авторы разработали MyCulture, включающий шесть категорий культурных аспектов, каждая из которых содержит открытые вопросы с ответами в формате нескольких выборок. Методология включает описание подробной архитектуры, включающей не только технические решения, но и структуру вопросов, которая должна снизить влияние биаса формата. Метод также включает теоретическое обоснование, которое поддерживает эффективность открытого формата в повышении честности и отличительности моделей. Эталон охватывает как региональные, так и международные LLMs, чтобы проявить различия в понимании культуры. ## Результаты Результаты опробованы на различных региональных и международных LLMs. Было проанализировано, как эти модели справляются с оценкой шести различных культурных аспектов, которые были представлены в языке Бахаса Мелаю. Эксперименты показали, что существуют значительные различия в точности и честности моделей при обработке открытых ответов в сравнении с форматированными выходами. Также была проверена структурная биаса, сравнивая выводы моделей в структурированной форме и без структуры. ## Значимость Полученные результаты показывают, что MyCulture может быть применен в различных областях, включая культурные исследования, локализацию LLMs и развитие интеллектуальных систем, которые могут правильно оценивать индивидуальные культурные контексты. Этот исследовательский подход предоставляет более точное и честное представление культурных явлений и демонстрирует важность языковой и культурной включенности при развитии новых моделей языка. ## Выводы Выводы постоянной статьи могут сводяться

Текущая доступность данных в низкоресурсных языках, таких как тибетский, ограничивает развитие моделей естественного языка в этих регионах. В статье представлен TIBSTC-CoT, разработанный как крупномасштабный, многодоменный тибетский датасет, строительство которого основывается на цепных мыслей (chain-of-thought prompting) с использованием больших лингвистических моделей. Этот датасет позволяет создавать репрезентативные ресурсы для тибетского языка, открывая возможности для развития моделей с цепной мыслью. На основе этого датасета разработана серия моделей Sunshine-thinking, которые способны выполнять цепные мысли в тибетском языке и демонстрируют стойкий результат в решении задач, близкий к лучшим многоязыковым моделям. Этот проект является важной шагу к повышению доступности AI в недостаточно изученных языках.

Большие модели звука и языка (LALMs) достигли примерно человеческого уровня точности в задачах типа транскрипции и распознавания эмоций. Однако существующие оценки сконцентрированы на поверхностном восприятии, не содержат тестирования на контекстуальное и выводимое мышление при работе с речи. SpeechR — это новый бенчмарк для оценки реакции моделей на разговорную речь. Он охватывает три ключевых направления: фактическое восстановление, процедурный вывод и нормативное суждение. Тестирование проводится в трех форматах: выбор ответов, рассуждение по цепочке и анализ акцента и эмоций. Эксперименты с 11 моделями показали, что высокая точность транскрипции не означает сильных умений в выводе. SpeechR станет основой для более точного исследования моделей при разговорных и диалоговых задачах.

Большие языковые модели (LLMs) проявляют высокую эффективность в решении рассуждений, но часто страдают от падения качества при небольших изменениях входа. Это особенно заметно в Chain-of-Thought (CoT) решении, где спуражийные запоминания могут привести к ошибкам на промежуточных шагах, приводящим к неверному ответу. Для диагностики этой проблемы предлагается фреймворк STIM (Source-aware Token-level Identification of Memorization), который анализирует каждый токен рассуждения и присваивает его одной из трех категорий запоминания: локальное, среднестепенное или дальностепенное, определяясь по частоте встречаемости в корпусе предварительного тренирования. Исследования показали, что модели в трудных и редких случаях часто полагаются на локальные запоминания, что приводит к ошибкам в 67% токенов. Метрики STIM могут эффективно предсказывать неверные токены на неверных шагах. Таким образом, STIM предоставляет мощный инструмент для диагностики и улучшения логики моделей, применимость которого распространяется на другие задачи структурированного пошагового генерирования.

Многопараметрические языковые модели показали свою мощь в адаптации к различным задачах, но их обучение требует больших ресурсов. Работа рассматривает возможность использования методов мета-обучения для улучшения обучения небольших языковых моделей, делая этот процесс эффективнее и интерпретируемым. Авторы интегрировали первый порядок Метода Моментов Фибоначчи (MAML) с маскированным подмножеством обучения на основе сабсета (subset-masked LM pretraining), создав четыре модели стиля LLama с 11–570 млн параметров. Они проверили эти модели на задаче многоязычного распознавания названий сущностей (NER). Результаты показали, что модели не только достигают одинаковой точности за меньшее время, но и показывают лучший результат в многоязычной NER. Обучение моделей проходит в два этапа: распространение (размазывание) представлений, за которым следует сжатие (компрессия) в более узкое пространство, что отражается в изменении кривых эффективного ранга и энтропии внимания. Эти динамики дают компактный и легко читаемый обзор мета-адаптации модели.

Оценка математических способностей бо LLM-систем является ключевым, но сложным заданием, усложненным недостатком релевантных бенчмарков, особенно для задач с центральной ролью доказательств. Традиционное ручное создание таких бенчмарков несравненно трудоемко и дорогостояще. В статье предлагается Proof2Hybrid — первый автоматизированный фреймворк, конвертирующий натурные тексты в математические доказательства в высококачественные проблемы, легко проверяемые. Основа фреймворка — Proof2X, который предлагает перевод доказательств в новый вид вопросов — “$m$-из-$n$ множественных судьи”, улучшающий точность и устойчивость к тривиальным ответам. Авторы представили AlgGeoTest — бенчмарк в сложной области алгебраической геометрии с 456 вопросами. Исследования на новейших LLM-системах показали значительные пробелы в их математическом понимании. Этот подход открывает путь к развитию исследований в области AI-математического здравомыслия.

**Резюме** В современной искусственном интеллекте, reinforcement learning with verifiable rewards (RLVR) широко применяется для улучшения разума и реакции на какие-либо действия (данные) бо LLM. Однако, главную проблему системы RLVR заключается в том, что требуется сбалансировать взаимосвязанность системы между вероятностью получения результатов и качеством принятых решений (подробностей в тексте). В данной работе мы проводим систематический анализ работы этого механизма на разных уровнях гранулярности: со стадиями обучения (возрастания и плато), типами данных (примерами, сегментами и токенами), а также различными техниками вывода (регулирования сигнала). Основываясь на полученных результатах, мы предлагаем два новых метода, которые динамически корректируют вознаграждение, ориентируясь на только на те токены, которые могут сделать систему более эффективной. В результате, наши методы улучшают показатели на различных моделях языковых моделей, повышая их разумность и надежность.

**Резюме** В статье предлагается архитектура Dynaword, разработанная для создания больших, открытых языковых данных, которые могут быть постоянно обновляемыми благодаря участию сообщества. Основной проблемой, которую адресуется данный подход, является неэффективность и нестандартизация существующих методов создания и обновления данных. Эти проблемы включают зависимость от неясно указанных лицензий, статичность данных, которая мешает участию сообщества, и ограниченную возможность проверки качества данных. Dynaword предлагает создавать данные, основанные на открытой лицензии, с постоянным обновлением и способностью включать вклады сторонних участников. Таким образом, данные становятся более качественными, востребованными и сохраняются в динамичном виде. Проверена эффективность этого подхода на примере Danish Dynaword, который превзошёл по объёму и качеству других аналогичных ресурсов и подтвердил силу динамического подхода в создании и поддержании языковых данных.