## Контекст Моделирование тональных категорий в рамках неучительного обучения является одним из самых сложных заданий в области естественных языков. Говорение на мандарине, одним из китайских языков, представляет собой сложность из-за системы тонов, которые необходимо изучить. Тональные значения влияют на смысл слова, и их различия могут приводить к разным значениям. Настоящая статья предлагает метод, позволяющий моделировать тональные категории без использования меток, то есть на основе неучительного обучения. Эта задача важна, так как неучительное обучение позволяет создавать модели, близкие к естественному обучению, и позволяет изучить языковой квази-эксперимент. ## Метод Для разработки модели использовалось генеративное совмещенное искусственное нейронное сетевое устройство ciwGAN. Оно представляет собой систему, которая может генерировать звуки, синтезированные на основе данных. Модель была обучена на многоканальных аудиозаписях говорения на мандарине. Чтобы модель могла выделять тональные категории, необходимо было добавить механизмы внутреннего взаимодействия между слоями нейронной сети. Метод основывается на технических решениях, позволяющих связать звуки с тональными категориями. Архитектура сети реализует модель со слоями, позволяющими синтезировать и распознавать звуковые категории. ## Результаты Результаты экспериментов показывают, что модель сумела статистически значимо различать тональные категории. Особенно это заметно в случае модели, обученной только на голосах мужчин. Модели могут генерировать звуки, которые измеряются с помощью Ф0 (частота основного тона). Это подтверждает, что модель не только изучает тональные категории, но и учитывает систему, которая похожа на этапы постепенного изучения языка человеком. Также был разработан метод для анализа внутренних слоев сети, что позволяет проследить, как модель учится распознавать тональные категории. ## Значимость Модель, разработанная в рамках данной статьи, имеет широкие перспективы в области автоматического распознавания речи, генерации звуков, и моделирования естественных языков. Она может быть применена в синтезе речи, в обучении естественных языков, в исследованиях языковых систем. Также она может стать полезной для развития интеллектуальных систем, таких как chatbot’ы, которые должны понимать и генерировать звуки на разных языках. ## Выводы В результате данного исследования было показано, что генеративная нейронная сеть ciwGAN может учиться распознавать тональные категории на основе неучительного обучения. Эта модель может быть использована в различных областях, где т

## Контекст Многомодальные большие языковые модели (MLLMs) становятся все более популярными для выполнения задач, включая визуальную и аудиовыводную рассуждения. Однако их надежность и достоверность часто остаются недостаточно хорошо оцененными. Это приводит к усилиям развития методов для эффективного и точного ассимилирования их надежности. Такая необходимость возникает в различных практических областях, включая медицинское применение, финансовые системы и интеллектуальные системы управления. Без надежной оценки надежности, пользователи могут иметь трудности в различении правильных ответов от ошибочных, что снижает доверие к модели и ее применяемость в реальных сценариях. Наша мотивация заключается в разработке метода, который позволит обеспечить стабильность и достоверность MLLMs, чтобы пользователи могли быть уверены в корректности полученных ответов. ## Метод Мы предлагаем **Functionally Equivalent Sampling for Trust Assessment (FESTA)**, новую методику для оценки надежности многомодальных моделей. Метод основывается на выборке функционально эквивалентных и комплементарных входных данных для обогащения пространства входов и повышения удостоверенности модели. Мы применяем **безучилийный (black-box)** подход, что означает, что модель доступна только через входные данные и выходные результаты, без доступа к значениям правдивости. FESTA расширяет пространство возможных входов модели, решая проблему недостаточного включения потенциально важных сценариев для тестирования. Мы использовали **техники уровня машины (machine-in-the-loop)** для точного проверки уверенности модели в ситуациях риска. Наши эксперименты были проведены на различных моделях с разными видом входных данных, включая визуальные и аудиовыводные задачи. ## Результаты Мы проводили эксперименты с несколькими важными моделями многомодального вывода, включая обученные модели для рассуждения визуального и аудиовывода. Наши результаты показали, что FESTA позволяет значительно улучшить детекцию неверных ответов (mispredictions) в сравнении с другими методами. Мы измерили его эффективность с помощью метрики **Area Under Receiver Operating Characteristic Curve (AUROC)**, получив улучшение в **33.3% для визуальных моделей** и **29.6% для аудиовывода**. Эти результаты доказывают, что FESTA не только повышает надежность моделей, но и позволяет им более точно определять их ограничения. ## Значимость Метод FESTA может применяться во многих практических областях, где надежность и достоверность моделей являются критичными. Например, в сфере здравоохранения, модели могут использоваться для критически важных решений, в финансовых системах, для выявления мошенничества, и в интеллектуальных системах управления. Наше решение позволяет **улучшить пользо

## Контекст Область исследования связана с проблематикой ограничений последовательного рассуждения (sequential reasoning) в больших языковых моделях (LLMs). Несмотря на высокую точность LLMs в многих задачах, их последовательное рассуждение часто ограничено. Это приводит к необходимости разработки систематических тестов, которые позволяют проверить эти ограничения и изучить их причины. Изучение последовательного рассуждения важно для улучшения LLMs в сферах, где требуется сложная логическая интерпретация и координация последовательных действий. Кроме того, понимание границ LLMs помогает сформировать более реалистичные ожидания от их применения в реальном мире. ## Метод seqBench является параметризированной системой для оценки последовательного рассуждения в LLMs. Он позволяет контролировать несколько ключевых комплексностных аспектов задачи: 1. **Логическая глубина (logical depth)** — количество последовательных действий, необходимых для ее выполнения. 2. **Шаги возврата (backtracking steps)** — число возвратов к предыдущим состояниям для удовлетворения заданных условий. 3. **Шумность (noise ratio)** — отношение полезных и значимых фактов к ненужным или зашумленным входным данным. Эти параметры позволяют генерировать задачи с разными уровнями сложности, обеспечивая прецизионный контроль над условиями экспериментов. seqBench использует генеративные модели для создания задач, которые затем проверяются на готовых LLMs. Метрики оценки включают точность решения задач и время реагирования модели. ## Результаты В ходе экспериментов LLMs показали систематические неудачи на задачах с высоким уровнем логической глубины или широким диапазоном возможных шагов возврата. Даже модели с высокой точностью столкнулись с фактическим выходом за границы своих возможностей при увеличении логической глубины задачи. Это особенно заметно при повышении шумности данных, когда модели становятся более чувствительными к неточности входных данных. Результаты показали, что даже самые мощные модели сегодня сталкиваются с трудностями в последовательном рассуждении, несмотря на успех в большинстве более простых задач. ## Значимость Результаты seqBench могут быть применены в различных областях, где последовательное рассуждение является ключевым компонентом решения задач, таких как робототехника, управление процессами и системы рекомендаций. Этот подход позволяет выявить слабые места в LLM-моделях и развить методы, которые могут улучшить их поведение в ситуациях, требующих логического управления. Кроме того, полученные данные могут способствовать более точной оценке роста моделей с временем, необходимой для построения боле

## Контекст Systematic Literature Reviews (SLRs) являются ключевым элементом evidence-based research, но часто требуют больших усилий и являются уязвимыми для непоследовательности в различных дисциплинах. Эти проблемы вызывают нужду в эффективных инструментах для автоматизации процесса оценки SLR. Недостаток современных методов в том, что они либо слишком затратны, либо недостаточно точны. Мы предлагаем LLM-based SLR evaluation copilot, основанный на Multi-Agent System (MAS), для помощи исследователям в оценке качества SLR. MAS автоматизирует проверку протоколов, методологическую оценку и анализ тематической релевантности с использованием базы знаний. ## Метод Мы разработали Multi-Agent System (MAS) с использованием LLM, который работает на основе PRISMA-guidelines. Каждый агент отвечает за конкретную задачу: проверка протокола, методологическая оценка и тематический анализ. Архитектура MAS включает в себя специализированные модели, обученные на больших данных для точной аналитики. Метод предлагает структурированный подход к оценке SLR и позволяет сравнивать результаты с expert-annotated PRISMA scores. Мы использовали 5 SLRs из различных дисциплин для экспериментов, чтобы проверить эффективность нашего подхода. ## Результаты Мы провели эксперименты с 5 различными SLRs и сравнили наши результаты с PRISMA scores, полученными экспертами. Наша модель показала 84% согласованности с эталонными данными. Эти результаты показывают, что наше решение эффективно в автоматизации процесса SLR-оценки. Особенно заметен выигрыш в точности и структуре оценки в сравнении с традиционными методами. Это демонстрирует возможность нашей модели для точной и структурированной оценки SLR. ## Значимость Наше решение может быть применено во многих областях, где требуется оценка качества SLR, включая health sciences, social sciences и engineering. Оно обеспечивает более точный и эффективный подход к оценке SLR, снижая трудозатраты и улучшая единообразие оценок. Это может привести к более качественным и быстрейшим итогам в различных научных и практических задачах. ## Выводы Мы успешно продемонстрировали, что наш LLM-based MAS может существенно улучшить процесс оценки SLR. Наша работа открывает путь к будущим исследованиям в области NLP-driven automation для структурированной и точной оценки SLR, что может иметь широкое применение в различных дисциплинах. Будущие исследования будут направлены на улучшение точности, расширение набора данных и расширение применений системы в новых областях.

## Контекст В настоящее время Математическое Разумение (MR) представляет собой сложную проблему для больших языковых моделей (LLMs), так как эта задача требует многоступенчатого мышления и интеграции абстрактных понятий. Несмотря на то, что методы тестового масштабирования в последнее время получили признание, они полагаются на высококачественные, но редкие задачи, в том числе и Олимпиадные задачи по математике. Однако доступ к таким задачам ограничен, что ограничивает широкое использование таких моделей в области генерации задач. Мы предлагаем CogAtom - рамфрмуру, основанную на когнитивных атомах, для создания сложных, но структурно разнообразных математических задач. Общая идея заключается в моделировании проблемной структуры как сборки из базовых примитивов мышления - когнитивных атомов, извлеченных из ручных решений. Это подход, отличающийся от использования простых операторов или готовых данных. ## Метод Имеющиеся методы генерации задач часто ограничены в своей пластичности и не могут генерировать задачи, которые достаточно сложны и жизненно важны для Олимпиадных задач. Мы предлагаем использовать когнитивный атом (CogAtom) - маленький блок, который может быть использован для построения новых задач. Наша модель работает в два этапа: (1) Извлечение нескольких моделей мышления из множества ручных решений к задачам, которые далее являются когнитивными атомами; (2) Создание новых задач с помощью графа, состоящего из этих когнитивных атомов. Для построения проблемных структур мы используем случайный процесс типа случайного пути, который позволяет избегать локальных минимумов при построении проблем, при этом метод рекомбинации гарантирует логическую целостность и структурную целостность. Наконец, добавление дополнительных когнитивных атомов может увеличить сложность задачи, при этом позволяя управлять её сложностью. ## Результаты Мы провели эксперименты на множестве различных задач, включая задачи Олимпиады по математике, чтобы оценить способность CogAtom генерировать задачи. Мы сравнили нашу модель с другими подходами, использующими техники тестового масштабирования. Результаты показали, что модель CogAtom не только превосходит существующие методы по метрикам точности и глубины мышления, но и позволяет получить более разнообразные задачи. Например, CogAtom удалось сгенерировать задачи с уровнем сложности, совпадающим с задачами AIME, и в то же время добиться большей структурной разнообразности. Эти результаты подтверждают то, что CogAtom может стать мощным инструментом для генерации уровня задач, который близок к Олимпиадам.

## Контекст В последние несколько лет, большие языковые модели, ориентированные на аудио, становятся важной частью современных технологий, особенно в области распознавания речи и понимания объемного текста. Однако, несмотря на свою мощь, эти модели сталкиваются с трудностями при работе с ограниченным количеством говорящего языка. Ограниченность данных, особенно в языках с небольшим количеством ресурсов, остается основной проблемой. Эта проблема напрямую влияет на качество использования моделей для устных задач, таких как понимание естественного языка и транскрибирование речи. Наше исследование сосредоточено на изучении эффективных способов тюнинга больших аудио-языковых моделей (LALMs) для решения этих проблемы, применяя методики тюнинга, включая text-only, direct mixing, и curriculum learning. ## Метод Мы рассматриваем три основных методов тюнинга: text-only, direct mixing, и curriculum learning. **Text-only fine-tuning** заключается в обучении модели только на текстовых данных. **Direct mixing** состоит в смешивании текстовых и аудиовыводов модели. **Curriculum learning** предполагает постепенное увеличение сложности данных в процессе обучения. Мы также исследуем два сценария: обучение на больших данных и обучение с ограниченным количеством ресурсов. Для экспериментов мы используем корпусы данных, содержащие говорящий язык и текст, и определяем, насколько эффективны эти методы при разных объемах данных. Мы используем метрики, такие как F1-score и accuracy, для оценки качества распознавания речи и понимания языка. ## Результаты Наши эксперименты показали, что LALMs, даже при text-only fine-tuning, достигают высокой точности в ситуации, когда доступно большое количество текстовых данных. Например, при добавлении даже небольшого количества аудиоданных (2–5%) мы заметили значительное улучшение производительности. Метод curriculum learning дал самые высокие результаты при ограниченных ресурсах, позволяя модели сфокусироваться на сложности данных в зависимости от прогресса обучения. Также, в сценарии межязыкового тюнинга, когда доступны данные о говорящем языке в одном языке, а целевой язык имеет только текстовые данные, LALMs показали эффективность в адаптации к новому языку. ## Значимость Проанализированные методы имеют практическое значение для области тюнинга моделей АСТ, особенно в ситуациях, когда ресурсы данных ограничены. Эти подходы могут быть применены не только в распознавании речи, но и в других задачах, таких как транскрибирование речи и контекстное понимание естественного языка. Они позволяют значительно увеличить точность работы моделей, даже при доступе к минимальным объемам реч

## Контекст В последние годы искусственные нейронные сети, в частности большие языковые модели (LLM), показали сильные результаты в области вопроса-ответа (QA). Однако, несмотря на их высокую точность, эти модели часто остаются необъяснимыми для пользователей, что порождает трудности в их применении в критических областях, таких как медицина и финансы. Для улучшения понимания пользователями происходящего внутри моделей, развивалось расширенное исследование способов объяснения поведения LLM. Методы, основанные на естественном языке, стали частью этого исследования, так как они могут объяснять модели самостоятельно и помогают пользователям понять их работу, даже если модель закрыта. Однако, несмотря на наличие подходов для объяснения, нет еще работ, которые бы охватили задачу вычисления достоверных оценок неопределенности для таких естественно-языковых объяснений. Это важно, поскольку понимание уверенности в этих объяснениях критично для доверия к модели и принятия решений на ее основе. В данной работе мы сосредоточиваемся на построении фреймворка для вычисления такой неопределенности, который будет модельно-агностичным и работать в пост-хокке процессе. ## Метод Мы предлагаем развитие фреймворка для вычисления неопределенности в естественно-языковых объяснениях, построенной на работе с автокорреляцией и многоклассовой классификацией. Основная идея заключается в том, чтобы использовать множество метрик взаимосвязи для оценки уверенности в объяснении. Мы делим объяснение на фрагменты и моделируем каждый фрагмент как вектор-столбец в матрице. Затем, мы запускаем несколько моделей сбора уверенности, в том числе методы Монте-Карло, чтобы оценить температурное распределение, относительно которого можно вычислять достоверные метрики уверенности. Методы не только определяются для вычисления неопределенности, но и работают в тестовых условиях с шумом, гарантируя точность решений в модели, которые могут находиться в медицинской области с различными шумовыми условиями. ## Результаты Мы проводили эксперименты на нескольких датасетах в области вопроса-ответа, в том числе SQuAD, HotpotQA и MedQA. Мы сравнивали наши результаты с существующими методами, такими как BERT-based approaches, LSTM-based approaches и другими. Наши методы показали лучшие результаты в плане оценки неопределенности, когда применялись к естественно-языковым объяснениям. Мы также проверили способность нашего фреймворка поддерживать достоверность в условиях шума, чтобы убедиться в его надёжности при работе с задачами в медицинской сфере. Результаты демонстрируют, что наша архитектура не только выдает более точные

## Контекст Область исследования связана с анализом пост-тренировочной речи, которая содержит богатые физиологические и языковые сигналы. Эти сигналы отражают различные аспекты физиологического состояния человека, включая темп восстановления, функцию легких и уровень утомления. Одним из ключевых аспектов является выявление и различение различных типов пауз в речи - семантических, дыхательных и комбинированных. Эти паузы могут свидетельствовать о различных физиологических процессах и их отклонениях. Несмотря на важность этого вопроса, существующие работы на этой теме остаются ограниченными, особенно в контексте использования современных методов анализа данных. Мотивация для этого исследования основывается на необходимости создания более точных и надежных систем, которые могут анализировать пост-тренировочную речь и давать быстрые выводы о состоянии здоровья человека. ## Метод Для решения поставленных задач использована систематическая методология, включающая несколько этапов. В качестве исходных данных использовался специально созданный датасет, содержащий синхронизированные аудио- и респираторные сигналы. Для распознавания пауз использовались модели глубокого обучения, такие как GRU, 1D CNN-LSTM, AlexNet и VGG16, а также различные акустические признаки, такие как MFCC и MFB. Также были рассмотрены представления слоёв Wav2Vec2. Методы включили как классификационные, так и регрессионные подходы. Для лучшей точности и объёмности выявления различных типов пауз была разработана двухступенчатая модель - сначала происходит детекция, затем классификация. ## Результаты В ходе экспериментов было получено несколько важных результатов. Для распознавания семантических пауз была достигнута точность до 89%. Для дыхательных пауз - до 55%, а для комбинированных - до 86%. Общая точность распознавания пауз составила 73%. Для классификации уровня утомления после тренировки была достигнута точность 90.5%. Эти результаты превышают показатели предыдущих исследований, что демонстрирует эффективность предложенной модели. ## Значимость Предложенная модель может применяться в различных областях, включая медицину, спорт, исследования физиологических процессов. Она обладает высокой точностью и может быть использована для мониторинга здоровья и оценки уровня утомления после физической нагрузки. Наиболее значимыми преимуществами являются точность распознавания различных типов пауз и возможность интеграции с другими системами мониторинга здоровья. Это может повлиять на развитие

## Контекст Машинное неузнавание (Machine Unlearning, MU) в последнее время привлекло внимание как подход для решения проблем с приватностью и авторскими правами в больших языковых моделях (LLM). Традиционные методы MU нацелены на удаление конкретных концептов (например, фраз или предложений) из модели, сохраняя непосредственно связанный знаниями база. Однако они не обладают возможностью удаления более широких концепций, таких как личности или события, которые могут иметь многочисленные аспекты. Данная статья предлагает расширение концепции неузнавания до концептуального уровня, учитывая, что такие концепции могут быть выражены через знания, содержащиеся в модели. Этот подход может способствовать более точному и эффективному удалению ненужных данных. ## Метод Метод проводит неузнавание на уровне концепций (Concept Unlearning, CU), используя графовую модель для представления внутренних знаний модели. Знания представляются в виде значимых троек: субъект-предикат-объект. Для удаления концепции, например личности, необходимо удалить все отношения, связанные с этой личностью. Для этого метод прикладывает триплеты (предложения), которые объясняют необходимость удаления, и применяет построенные сети знаний для удаления всех связей, которые указывают на этот концепт. Этот подход позволяет более точно контролировать процесс удаления и сохранять другие знания, не связанные с целевым концептом. ## Результаты Результаты экспериментов основываются на синтетических и реальных данных. В тестировании на реальных данных показано, что метод может удалять концепции без значительного потери данных из модели, которые не связаны с целевым концептом. На синтетических данных показано, что процесс удаления осуществляется более точно, чем при использовании традиционных методов. Это указывает на то, что предложенный подход может быть эффективнее при удалении не только фрагментов текста, но и концептуальных сущностей, таких как личности или события. ## Значимость Предлагаемый подход может быть применен в различных сценариях, таких как защита персональных данных, контроль авторских прав и удаление нежелательных концепций в тексте. Он предоставляет более точное управление и удаление связанных с конкретными личностями или событиями данных, не требуя информации о конкретных фразах. Это может быть ключевым инструментом для обеспечения более гибкой и эффективной модели неузнавания, способной работать с более широким классом задач. ## Выводы Предложенный подход доказал свою эффективность в удалении концепций на уровне знаний, а не только тек

## Контекст Современные большие языковые модели (LLMs) находят широкое применение в различных областях, но при этом сталкиваются с значительными проблемами с точки зрения конфиденциальности и авторских прав. Одна из основных проблем заключается в том, что LLMs могут сохранять внутренние представления, которые могут быть использованы для восстановления конфиденциальной информации. Это вызывает необходимость в разработке эффективных методов "учтения" (unlearning), которые позволят удалить упоминания конкретных целевых сущностей из модели без существенного ущерба для остальных знаний. Несмотря на наличие многих методов знаний о сущностях, большинство из них стремятся уменьшить вероятность появления ненужных ответов, а не удалить конкретные знания. Это приводит к проблеме "спонтанного возникновения" (model collapse) и неверной подавленности знаний. ## Метод Мы предлагаем новую методологию "учтения", основанную на использовании запароленного автокодировщика (sparse autoencoder). Целью этой методики является изменение внутренних активаций модели таким образом, чтобы активации целевой сущности стали неотличимыми от активаций неизвестных сущностей. Мы определяем "учтение" как состояние, в котором модель не может отличить данную сущность от неизвестного. Данный подход предлагает прямое воздействие на внутренние представления модели, а не только подавление вывода. Мы строим целевую функцию, целью которой является минимизация различия внутренних активаций целевой сущности от неизвестных, а также максимизация различий от других известных сущностей. Это позволяет достичь желаемого эффекта "учтения" без потери других знаний. ## Результаты Мы проверили нашу методику на нескольких тестовых наборах данных и показали, что она эффективно удаляет знания о конкретных сущностях из модели без привлечения дополнительных данных или дополнительной обучающей стадии. Мы измерили эффективность наших результатов на показателе удаления знаний и показали, что наш подход позволяет избежать модели collapse, который часто возникает при других методах. Кроме того, мы проанализировали навыки модели в задачах вопроса-ответа и показали, что наш подход эффективно снижает вероятность появления нежелательных ответов без существенной потери невинных знаний. ## Значимость Наш подход может быть применен в различных областях, где требуется удаление конфиденциальных данных из моделей, например, в сфере здравоохранения, финансов или правосудия. Он обеспечивает более надежное удаление знаний по сравнению с другими методами, а также уменьшает вероятность модели collapse. Благодаря тому, что метод оптимизирует внутренние