## Контекст В настоящее время большие языковые модели (LLMs) широко используются в различных областях, включая здравоохранение, где точность и качество генерируемого текста являются критически важными. Однако существуют различные стратегии декодирования, которые могут существенно сказаться на качестве генерируемого текста. Хотя существуют многочисленные исследования, посвященные сравнению моделей, менее узнаваемым темой является влияние стратегий декодирования на качество текста, особенно в контексте медицины. Многие модели, работающие в сфере здравоохранения, показывают некоторые ограничения в точности и качестве генерируемого текста, что может быть связано с выбором стратегии декодирования. Это привело к появлению интереса к тому, как различные стратегии декодирования влияют на качество текста в задачах, таких как перевод, суммаризация, вопрос-ответ, диалог и генерация контекстных образов в медицинской сфере. Данная работа призвана проанализировать эти вопросы и обеспечить подробное понимание влияния стратегии декодирования на качество текста в здравоохранении. ## Метод Для изучения влияния стратегий декодирования были выбраны пять открытых медицинских задач: перевод, суммаризация, вопрос-ответ, диалог и генерация контекстных образов. В качестве моделей использовались 11 стратегий декодирования, включая детерминированные (например, beam search) и стохастические (например, top-k sampling). Использовались два типа языковых моделей: специализированные для медицины и общеграфические. Данные, использованные в экспериментах, были получены из открытых баз данных, аналогичных MedQA и MIMIC-III. Эксперименты проводились с разными размерами моделей, чтобы оценить влияние модели на вывод. Были использованы несколько метрик, включая BERTScore, ROUGE и MAUVE, для оценки качества генерируемого текста. ## Результаты Результаты экспериментов показали, что детерминированные стратегии, такие как beam search, показали лучшие результаты по всем задачам, в то время как стохастические стратегии, такие как top-k sampling, демонстрировали худшие результаты. Было также обнаружено, что более быстрые стратегии декодирования, такие как top-k sampling, дают худший текст, в то время как медленные стратегии, такие как beam search, дают лучший. Большие модели показали лучшие результаты в целом, однако имели дольшее время вывода. Несмотря на то, что специализированные модели медицины становятся более точными в некоторых задачах, статистический анализ не показал значительного преимущества в общем качестве. Важно отметить, что decoding strategy может оказаться более важной для качества текста

## Контекст Современные текстовые Large Language Models (LLMs) проявляют выдающиеся способности, такие как контекстная понимание и генерация содержательных реплик. Speech-LLMs, использующие аудиосигналы для генерации речи, показывают аналогичные способности, включая контекстно-зависимую генерацию речи. Однако неясно, добираются ли эти модели до такого же уровня гендерного баланса или существуют ли в них склонности к гендерному баию. Speech-LLMs отличаются тем, что необходимо выбирать голос, что делает их способность влиять на гендерные соотношения явной. Данное исследование исследует влияние гендерного контекста на Speech-LLM, используя методологию, основанную на анализе систематического выбора голоса в зависимости от пола профессии или слова. Это позволяет выявить возможные тенденции к гендерному предрассудку в модели. ## Метод Исследование основывается на использовании метода экспериментального анализа. Модель Bark, применяемая для текста-to-speech, используется для генерирования речи в условиях разных входных текстов. Для анализа выбраны два типа данных: (i) **Professions**, содержащий профессии с гендерными стереотипами, и (ii) **Gender-Colored Words**, содержащий слова с гендерными коннотациями. Эти данные позволяют проверить, систематически ли Bark выбирает голос в зависимости от гендерных ассоциаций в данных. Методология включает оценку того, является ли выбор голоса случайным или связанным с гендерными стереотипами, что дает возможность оценить гендерные настройки модели. ## Результаты Анализ показал, что Bark не проявляет систематического гендерного баланса в выборе голоса. Несмотря на это, модель проявляет некоторые гендерные предрассудки, демонстрируя тенденции выделять конкретные голоса в зависимости от профессии или слова, имеющих гендерные коннотации. Таким образом, мы отмечаем, что у Bark есть возможность гендерной ассоциации, хотя она не всегда систематически выражена. Эти наблюдения относятся к используемым данным и могут отражать гендерные ассоциации, заложенные в учебный набор модели. ## Значимость Результаты имеют значимость в области гендерного анализа технологий, особенно в контексте развития Speech-LLMs. Данное исследование показывает, что Speech-LLMs могут иметь небольшие гендерные предрассудки, нежели текстовые LLMs, которые более скрыты. Это открывает новые возможности для дальнейшего исследования гендерных стереотипов в речи и моделях, что может быть ключевым для создания более балансированных и политически нейтральных систем речи. ## Выводы Исследование продемонстрировало, что Bark может демонстрировать гендерные ассоциации

#################### ## Контекст #################### Область исследования фокусируется на исследовании возможностей бо LLM (Large Language Models) в области дефеасильного логического рассуждения, заключающегося в работе с генериками и умозрительными выводами. Генерики (например, "Птицы летают", "Черные вороны") широко исследуются в лингвистике, философии, логике и психологии. Эти утверждения характеризуются своей способностью допускать исключения, что делает их важной составляющей умозрительного рассуждения и понятийного приобщения. Несмотря на их центральность, дефеасильное рассуждение часто представляет собой сложную задачу для логических моделей. Особенностью работы является оценка возможности 28 LLMs осуществлять дефеасильное рассуждение с использованием 20 различных моделей немонотонной логики. Это направление исследований имеет практическое значение для развития интеллектуальных систем, где важна способность машин осуществлять умозрительные выводы на основе неполных или исключительных данных. #################### ## Метод #################### Использовались 28 LLMs, алгоритмы и методики дефеасильного рассуждения. Характеристики каждой модели включали в себя информацию о размере, архитектуре, обучении и возможности использования форматов подсказок (prompting). Набор используемых данных состоял из 20 моделей дефеасильного логического рассуждения, включая генерики и их исключения. Модели проверяли на способности различать дефеасильные и дедуктивные выводы, а также на точность в определении подходящих исключений. Для оценки производительности различные типы подсказок использовались: zero-shot, few-shot, chain-of-thought (CoT). Эксперименты проводились с различными уровнями температуры (temperature), чтобы изучить влияние случайности на результаты. Данные обрабатывались с помощью статистических методов для оценки точности, достоверности и качества выводов. #################### ## Результаты #################### Проведенные эксперименты показали, что некоторые модели LLMs демонстрируют высокую точность в дефеасильном логическом рассуждении, особенно при использовании стиля подсказок chain-of-thought (CoT). Однако полученные результаты очень сильно различаются между моделями и в зависимости от стиля подсказки. Заметно, что многие модели склонны интерпретировать генерики как универсальные утверждения, что приводит к ошибкам. Также, значительная часть моделей сталкивалась с трудностями при различении дефеасильных и дедуктивных выводов. Использование few-shot prompting по-прежнему давало незначительное повышение производительности, но chain-of-thought (CoT) prompting часто приводило к существенной деградации результатов (средняя ошиб

## Контекст Область исследования, связанная с пониманием представленного в глубоких нейронных сетях знаний, является одной из ключевых проблем в развитии интерпретируемых систем машинного обучения. Несмотря на то, что нейронные сети достигли высокого эффективности в решении различных задач, их внутренняя структура и инкапсулированные в ней знания часто остаются непонятными. Это снижает уровень доверия к AI-системам и ограничивает их применение в критически важных сферах. Глубокие нейронные сети, такие как Большие Лингвистические Модели (LLMs), основываются на эмбеддингах слов, которые представляют собой векторные представления лексико-семантических свойств слов. Одним из известных методов изучения этих представлений является поиск их семантических особенностей (feature norms), которые могут быть установлены через людей. Тем не менее, существуют значительные проблемы с точки зрения интерпретируемости и надежности этих методов. ## Метод В данной работе предлагается изучить методы, использующиеся для описания знаний, заключенных в эмбеддингах слов, с использованием наборов данных семантических особенностей (semantic feature norms). Обычно используется предположение, что если модель эффективно предсказывает эти семантические особенности из эмбеддингов, то это значит, что эмбеддинги содержат соответствующие знания. Однако, в данном исследовании проводится критический анализ этого предположения. Авторы используют методы глубокого обучения, включая методы регрессии, чтобы проверить предположения, связанные с интерпретируемостью эмбеддингов. Одной из главных тезисов является то, что точность предсказания не гарантирует наличия глубокого понимания семантической структуры в эмбеддингах. ## Результаты На основе целого ряда экспериментов, проводившихся на разных наборах данных, показано, что прогностическая модель может достигать высокой точности даже на вымышленных или случайных наборах данных, что снижает доверие к полученным результатам. В частности, выявлено, что некоторые методы семантического анализа эмбеддингов оказываются неустойчивыми в своих выводах. Модель может оптимизироваться для того, чтобы выглядеть как более интерпретируемая, но это не означает, что она действительно понимает значение своих представлений. На основе этих результатов авторы показывают, что методы маппинга эмбеддингов на семантические характеристики могут давать высокую точность, но это не является доказательством, что эмбеддинги действительно включают семантические знания. ## Значимость Результаты исследования по

## Контекст Контроль длины текста, генерируемого бо LARGE LANGUAGE MODELS (LLMs), остается сложной задачей. Несмотря на то, что пользователи могут указывать желаемую длину (например, число слов или символов), LLMs часто "перебираются" или "превышают" эти указания. Это происходит из-за невозможности надежно отслеживать внутренний счетчик токенов во время генерации. Эта проблема значительно сковывает применение LLMs в сценариях, требующих точного контроля длины, таких как генерирование откровенных текстов с заданной длиной, адаптация текстов под ограниченные целевые площади или создание синхронизированных текстов для живой трансляции. Наша работа нацелена на решение этой проблемы, обеспечивая точный контроль длины текста с помощью простой текстовой настройки без необходимости тюнинга моделей или использования многоэтапной генерации. ## Метод Мы предлагаем простую, но эффективную, промпт-базу стратегию, которая требует только одного вызова LLM. Ключевой идеей является добавление "счетчика токенов" в запрос, который обусловлен моделью для слежения за числом генерируемых токенов. Мы добавляем "счетчик" в виде шаблона, указывающего на желаемую длину текста и команду, следующую за каждым новым токеном, до тех пор, пока счет не достигнет нуля. Например, для генерации 10 слов на английском языке, счетчик будет таким: "Сгенерируйте слово. Осталось 9 слов. Сгенерируйте слово. Осталось 8..." и так далее. Для китайского языка, аналогичная стратегия использует символы вместо слов. Этот подход работает с любыми LLMs без дополнительной тюнинга или подготовки данных. ## Результаты Мы проверили нашу стратегию на четырех наборах задач: 1. **Откровенное генерирование**: генерирование текстов с длиной от 1 до 1000 токенов на английском языке. 2. **Краткое генерирование (XSUM)**: создание кратких сводных текстов с заданной длиной. 3. **Правило-следования (MT-Bench-LI)**: управление моделью для генерации текстов с определенной длиной и строгим соблюдением команд. 4. **Живая трансляция (LIFEBENCH)**: требуется, чтобы тексты генерировались с равной длиной, чтобы обеспечить синхронизацию текста с звуком. Наш подход показал существенные улучшения в сроках соблюдения длины в сравнении с базовым подходом "написать-и-редактировать". Например, в MT-Bench-LI, где GPT-4.1 подчинялся желаемой длине в менее чем 30% случаев при использовании базового подхода, наш подход повысил эту статистику до более чем 95%. Кроме того, качество ответов осталось сохраненны

#### Контекст Оценка языковой модели Natural Language Generation (NLG) является ключевым аспектом для практического применения искусственного интеллекта. Однако этот вопрос остается затруднительным и требует дополнительных исследований. Хотя человеческая оценка считается "золотым стандартом", она дорогостоящая и не масштабируема. Развитие технологий привело к созданию автоматических метрик, которые стремятся подставиться на место человеческого суждения. Изначально эти метрики основывались на лексических сходствах, затем перешли к семантическим похожестям, а сейчас часто используются Large Language Models (LLM) в качестве оценщиков. Тем не менее, показатели качества различных метрик отличаются, и пока не удалось создать метрику, которая была бы однозначно признана ведущей. Этот факт побудил авторов проанализировать основные проблемы и потенциальные пути решения в данной области. #### Метод Авторы описывают многочисленные автоматические метрики, развивавшиеся в течение многих лет. Они разделяют их на категории: лексические, семантические и LLM-based. Для каждой категории они предоставляют детальный обзор, описывая их принципы работы, достоинства и недостатки. Также рассматривается методология проведения экспериментов, в том члис с использованием разных датасетов и сравнением результатов с человеческими оценками. Особое внимание уделяется проблеме корреляции результатов с реальным человеческим суждением, которая остается нестабильной. #### Результаты На основе экспериментов, проведенных на различных датасетах и метриках, авторы показывают, что нет однозначной лидера среди метрик. Каждая из них обладает своими специфическими сильными сторонами и слабыми местами. Например, лексические метрики могут точно оценивать синтаксическую корректность, но не всегда коррелируют с семантическим смыслом. Аналогичным образом, LLM-based метрики демонстрируют высокую точность в некоторых задачах, но могут быть неэффективны в других. Также отмечается, что многие метрики дают разные результаты при разных датасетах и задачах, что снижает их универсальность. #### Значимость Результаты исследования показывают, что качество оценки NLG зависит от контекста и задачи. Например, для оценки генерируемого текста в сфере образования может быть более подходящей одна метрика, в то время как для оценки текста в новостной генерации — совсем другая. Авторы отмечают, что нет смысла искать "идеальный" метрику, которая бы покрывала все сферы применения. Они предлагают направить усилия на выбор метрик, подходящих для конкретных задач, и на развитие более структурированных методов валидации. #### Выводы Основ

## Контекст Область строительной индустрии стремится к оптимизации процессов, уменьшению ошибок и повышению эффективности. Одна из сложностей в этой области заключается в автоматизации извлечения структурированных спецификаций из неструктурированных технических документов в сфере зданий и сооружений. Эта проблема становится еще более актуальной при внедрении Building Information Modeling (BIM), требующего точных данных для моделирования и управления проектами. Несовместимость существующих автоматизированных методов с техническими особенностями французских технических спецификаций (BTS) делает их неэффективными. Этот аспект подчеркивает необходимость разработки специализированных технологий для решения этой задачи. ## Метод Для решения этой задачи разработана методология, основанная на подходах машинного обучения и естественного языка. Использована классификация Named Entity Recognition (NER) и Relation Extraction (RE) для извлечения информации из неструктурированных документов. Модель CamemBERT, трансформер-базированная, была применена с предварительно обученным языковым моделем Fr_core_news_lg на основе данных в общем французском домене. Для вариации и сравнения результатов разработаны дополнительные подходы, включая правила и глубокое обучение. Для Relation Extraction (RE) разработаны модели на основе Random Forest и других супервизированных техник, используя пользовательские векторы признаков. ## Результаты Эксперименты проводились на качественной (ручной) коллекции данных, подготовленной специально для этих целей. Модели CamemBERT и Fr_core_news_lg показали выдающиеся результаты в NER, с F1-метрикой выше 90%. Методы RE, в том числе Random Forest, показали F1-метрику выше 80%. Эти результаты демонстрируют эффективность трансформер-моделей в контексте технических спецификаций с низким контекстно-зависимым языком. ## Значимость Результаты имеют большое значение для автоматизации процессов в строительной индустрии. Они могут быть применимы для BIM-систем, чтобы сократить время на вручную производимые задачи и внести улучшения в качество моделирования. Например, полученные данные могут использоваться для создания графов знаний, улучшения автоматических процедур верификации, а также для поддержки процессов разработки и управления проектами. ## Выводы Разработанная методология демонстрирует высокую эффективность в извлечении структурированных спецификаций из неструктурированных документов. Она может быть расширена для создания графов знаний и использована в поддержке автоматических систем верификации. Будущие исследования будут ориентированы на улучшение точности моделей, расширение д

## Контекст Long-context modeling является ключевым для решения многих реальных задач, включая длинный-контекстный вопрос-ответ, сводление информации и сложные рассуждения. Несмотря на то, что гигантские языковые модели (LLM) демонстрируют невероятную мощь в обработке коротких контекстов, их эффективность в обработке длинных текстов ограничивается двумя основными проблемами: низкой информативностью и гомогенностью генерируемых данных. Эти проблемы приводят к фактическим неточностям и ограниченной разнообразию ответов. Необходимость развития методов, которые могут эффективно использовать длинные контексты, является мотивацией для этого исследования. ## Метод Мы предлагаем LongMab-PO, рамочный подход, который использует Multi-Armed Bandit (MAB) для оптимального выбора контекстных частей (част) для генерации ответов. MAB-роллаут позволяет решать проблему выбора наиболее перспективных частей контекста для генерации ответов с высоким качеством. Части контекста (част) рассматриваются как "кирпичи", а роллаут MAB позволяет итеративно оценивать их значимость. Мы используем эти выборки для создания преференциальных пар (преференциальных данных) и тренировки модели с помощью Direct Preference Optimization (DPO), чтобы оптимизировать LLM. Этот подход дает возможность эффективно использовать длинные контексты, уменьшая проблемы качества и разнообразия. ## Результаты Мы провели эксперименты на нескольких длинно-контекстных бенчмарках, включая длинные вопрос-ответ, сводление и рассуждения. Результаты показывают, что LongMab-PO значительно улучшает качество и разнообразие преференциальных данных. Это приводит к существенному повышению производительности LLM на длинных контекстах по многим метрикам. Мы также провели анализ, показав, что наш подход значительно превосходит существующие методы в генерации ответов и оптимизации преференций. ## Значимость Предлагаемый подход может быть применен в различных областях, включая длинный-контекстный вопрос-ответ, контекстные сводки и сложные рассуждения. Он позволяет улучшить качество и разнообразие генерируемых ответов, что делает его ценным для реальных задач. Долгосрочные преимущества LongMab-PO заключаются в том, что он может обеспечить более точные и разнообразные ответы, что в свою очередь будет улучшать качество решений в областях, где задействованы LLMs. ## Выводы Мы представили LongMab-PO, новый подход для оптимизации LLMs при работе с длинными контекстами. Наши эксперименты показали, что LongMab-PO значительно улучшает качество и разнообразие преференциальных данных, позволяя LLM работать эффективнее на длинных текстах. Мы

## Контекст В последнее время значительные улучшения в области бо LLM (large language models, большие языковые модели) открыли новые возможности для развития диалоговых систем. Несмотря на эти прогрессы, многие текущие подходы сталкиваются с проблемой недостаточной точности в определении темы обсуждения. Это возникает в ситуациях, когда пользователи имеют неполное понимание темы или столкнулись с непонятными концепциями. Нетрудно представить, что такая неточность может серьезно повлиять на качество диалога, снизив удовлетворенность пользователей и ухудшив результаты взаимодействия. В этой статье мы рассматриваем ограничения существующих подходов и предлагаем модель Ask-Good-Question (AGQ), призванную улучшить способность диалоговой системы разграничивать понятия и определять уровень понимания пользователя. Целью является создание удобоваримого и эффективного инструмента, который улучшит качество общения между пользователем и системой. ## Метод Методология Ask-Good-Question основывается на усовершенствованной модели Concept-Enhanced Item Response Theory (CEIRT), которая используется для эффективного определения уровня понимания пользователя. CEIRT модель обладает улучшенным механизмом, который анализирует текст и учитывает значимость концепций, извлекая главные идеи. Архитектура AGQ включает несколько ключевых этапов: 1. **Извлечение ключевых понятий** из текста пользователя с помощью CEIRT. 2. **Генерация направляющих вопросов** с помощью модели LLM, опираясь на извлеченные концепции. 3. **Оценка качества вопросов** с использованием метрик, таких как точность и осмысленность ответов. Эта структура позволяет CEIRT- модели и AGQ- фреймворку динамически реагировать на уровень понимания пользователя, адаптируясь к его нуждам в реальном времени. ## Результаты Для проверки эффективности AGQ- модели, мы проводили эксперименты с использованием различных данных, включая базы знаний и диалоговые контексты. Мы сравнивали результаты с тремя базовыми методами, опираясь на ключевые метрики, такие как точность вопросов, удовлетворенность пользователей и эффективность восстановления информации. Полученные результаты показывают, что AGQ- модель превосходит базовые методы на 15-20% по метрикам точности вопросов и удовлетворенности пользователей. Это демонстрирует ее значительный потенциал в улучшении диалоговых систем, обеспечивая более точное понимание темы и удобные направляющие вопросы. ## Значимость Наши результаты имеют большой потенциал в различных областях, включая образовательные системы, помощники знаний и системы поддержки клиентов

#### Контекст Large Language Models (LLMs) превратились с простых систем генерации текста в сложные агентские системы, способные планировать и взаимодействовать с внешними инструментами для решения комплексных задач. Эта эволюция часто включает в себя fine-tuning LLMs на конкретные агентские задачи для улучшения их производительности. Тем не менее, при этом часто игнорируются вопросы безопасности. Несмотря на то, что отлично протестированные модели могут выполнять свои задачи довольно эффективно, возникают риски того, что они могут непреднамеренно отказаться от исполнения полезных задач (десанктализация) или, что гораздо проблематичнее, отказаться от исполнения вредоносных задач. Этот аспект безопасности является ключевым для обеспечения безопасного использования LLMs в реальном мире. #### Метод Мы предлагаем Prefix INjection Guard (PING), метод, который представляет собой простой, но эффективный подход к предотвращению непреднамеренного смены мотивации в LLM-агентах. PING вводит автоматически создаваемые признаки в начало ответов модели, которые направляют ее отказаться от вредоносных задач, сохранив эффективность при выполнении задач, не требующих вредоносности. Мы предлагаем циклический подход, который поочередно решает две задачи: (1) генерирование кандидатов признаков и (2) выбор признаков, оптимально сбалансированных между эффективностью и отказом от вредоносных задач. Эта техника используется для понимания и модификации поведения модели, обеспечивая безопасность без ущерба для производительности. #### Результаты Мы провели эксперименты на различных бенчмарках, включая задачи web navigation и code generation. Показано, что PING значительно повышает безопасность fine-tuned LLM-агентов, не влияя на их эффективность при выполнении невредоносных задач. Метод PING показал высокую эффективность в сравнении с другими способами подготовки наборов входных данных. Мы также провели анализ внутренних скрытых состояний модели с помощью линейных проверок, показав, что признаки PING играют ключевую роль в модификации поведения модели, объясняя ее высокую производительность. #### Значимость PING может быть применен в различных областях, где требуется безопасность и эффективность агентских систем на LLMs. Он предоставляет значительные преимущества, такие как уменьшение рисков смены мотивации без снижения производительности, а также может быть применен для снижения рисков во взаимодействии с системами на основе LLMs в различных секторах. Этот подход может иметь потенциал для расширения безопасного применения LLMs в реальном мире, обеспечивая баланс между производительностью и безопасностью. #### Выводы Мы показали, что непреднамеренная смена моти