#### Контекст Personalization является ключевым фактором, повышающим эффективность и удобство использования языковых технологий, особенно в задачах поиска информации, таких как вопрос-ответ. Однако, текущие подходы к персонализации больших языковых моделей (LLM) часто опираются на технологию получения информации (RAG), комбинированную с разностным обучением с подкреплением (RL) и скалярными сигналами обратной связи. Это может приводить к неэффективности, так как скалярные сигналы обратной связи могут быть слишком слабыми и неинформативными, что ограничивает качество и скорость обучения. Для решения этой проблемы мы предлагаем VAC, новую модель, которая использует богатый вид обратной связи в виде естественного языка (NLF), сгенерированного в зависимости от профилей пользователей и характера вопроса. Эта система не только улучшает качество ответов, но и обеспечивает системе более наглядную и полезную обратную связь для дальнейшего совершенствования. #### Метод Мы предлагаем VAC (Вопрос, Ответ, Наставление), новую модель, которая использует естественный язык в качестве сигнала обратной связи вместо скалярных показателей. Методология включает два основных этапа: генерацию наставления в виде естественного языка с учетом профиля пользователя и вопроса, а затем оптимизацию политики ответов на основе этого наставления. Мы используем RL для обучения модели политики, используя наставление в качестве награды. Такой подход позволяет модели более точно корректировать свои ответы, учитывая контекст и потребности пользователя. Эта модель может быть использована в различных сценариях, включая личное общение и техническую поддержку. #### Результаты Мы провели эксперименты на LaMP-QA, бенчмарк, состоящем из трех различных доменов. Результаты показали, что вариант с наставлением в виде естественного языка (NLF) показал значительные улучшения по сравнению с традиционными методами. Мы также провели людские оценки, которые подтвердили, что ответы, сформированные на основе NLF, являются более качественными и отвечают лучше потребностям пользователей. Это демонстрирует, что наш подход представляет собой эффективное решение для персонализированного вопроса-ответа. #### Значимость Наш подход может быть применен в различных областях, таких как личные помощники, техническая поддержка и системы бронирования. Он предлагает существенные преимущества перед существующими методами, включая более точную персонализацию и более качественные ответы. Мы считаем, что наш подход может существенно повлиять на область личных языковых моделей, улучш

#### Контекст Область исследования, связанная с применением больших языковых моделей (LLMs) в качестве агентов последовательного стратегического принятия решений, является относительно новой, но уже привлекла внимание благодаря возможности эффективного использования LLMs в таких задачах. Однако существуют значительные ограничения: LLMs часто требуют огромных ресурсов для выполнения хорошо, что делает их менее практичными в реальных сценариях. Большинство методов пост-тренировки LLMs, ориентированных на решение этой проблемы, разработаны для задач с одной итерацией и не спроектированы для решения задач с несколькими этапами, где кредитное назначение (credit assignment) для каждой стадии является ключевым. Данная работа адресует эти проблемы, предлагая новый подход для улучшения поведения LLMs в задачах последовательного принятия решений. #### Метод Методом решения является Multi-Step Group-Relative Policy Optimization (MS-GRPO), алгоритм, разработанный для последовательного улучшения поведения LLMs в задачах с несколькими этапами. Этот алгоритм основывается на формальных моделях Text-Mediated Stochastic Game (TSMG) и Language-Agent Policy (LAP), которые позволяют ему аккуратно назначать кредит за каждый шаг в последовательном решении. Наша модификация включает в себя поиск стратегии оптимальной оценки того, какой шаг в задаче с несколькими шагами вносит больший вклад в окончательный результат. Для этого мы внедрили абсолютно-преимущественную стратегию взвешивания, которая учитывает весь эпизод в качестве размера присуждаемого кредита. Эта стратегия улучшает темп обучения и позволяет лучше справляться с нетривиальными задачами. #### Результаты Мы проверили наш подход на двух задачах: Snake и Frozen Lake. Для экспериментов использовались две модели языковых моделей разных размеров: 3 миллиардов параметров и 72 миллиардов параметров. Улучшенная модель 3 миллиардов параметров, полученная с помощью MS-GRPO, показала значительное улучшение в производительности, превосходя базовую модель 72 миллиардов параметров на 50% в задаче Frozen Lake. Эти результаты показывают, что целевая пост-тренировка может быть эффективным способом улучшения поведения LLMs в задачах последовательного принятия решений, даже при малом размере модели. #### Значимость Методы, представленные в нашей работе, могут привести к значительным преимуществам в области искусственного интеллекта, особенно в тех случаях, когда необходимо использовать упрощенные модели с меньшим размером. Это может привести к экономии ресурсов и увеличению эффективности в сценариях, где требуется быстрое решение. Кроме того, наши результаты могут открыть пути для дальнейших исследований в области по

## Контекст Изучение языкового ремесла, в том числе интерпретации, является ключевым вопросом в области образования и специализированных коммуникаций. Однако успехи в автоматизированной оценке интерпретации часто ограничены проблемами, такими как неэффективное моделирование, безразмерные данные и необъяснимость результатов. Эти проблемы способствуют существующим "черным ящикам", которые не могут дать понятных рекомендаций для улучшения. Наша мотивация заключается в устранении этих недостатков, создав модель, которая обеспечивает понятные, легко интерпретируемые результаты и поддерживает саморегулируемые учебные процессы у студентов. ## Метод Мы предлагаем многомерный подход, объединяющий функциональное генерирование признаков, техники увеличения данных и исследования используемых машинных алгоритмов. Модель основывается на явной аналитической разработке признаков и интеграции глубоких сетей с техническими методами, такими как Shapley Value (SHAP). Это позволяет создавать понятные модели, которые могут объяснить свои решения. Мы применяем этот подход к англо-китайской последовательной интерпретации, используя большой датасет, чтобы проверить эффективность. ## Результаты Проведенные эксперименты показали, что наш подход выдает высокую точность в предсказании метрик качества интерпретации. Были выявлены сильные предикторы для каждого аспекта: BLEURT и COMETKiwi для фидлити, функции пауз для флюентности и метрики языкового разнообразия для языкового использования. Эти результаты подтверждают, что метод не только эффективен, но и обеспечивает прозрачность и понимание результатов. ## Значимость Наш подход может быть применен в обучении интерпретаторов, в том числе в саморегулируемых учебных процессах. Он предоставляет детальный диагностический отзыв, помогая ученикам понимать ошибки и улучшать свои навыки. Эта технология может быть использована в различных образовательных и профессиональных сферах, где языковая компетентность критически важна. ## Выводы Мы представили многомерную модель, которая преобразует "черную ящик" в прозрачность, обеспечивая уникальные выгоды в области обучения интерпретаторов. Наша работа открывает новые возможности для дальнейших исследований в области автоматизированной оценки языковых навыков и саморегулируемого обучения. Мы будем работать над улучшением этой модели, включая расширение датасетов и исследование других задач.

#### Контекст Diffusion Language Models (DLMs) представляют собой развивающуюся область исследований в области естественного языка, которая становится все более важной в свете нехватки широкого использования моделей с авторегрессионным (AR) подходом. Изначально, AR-модели широко применялись в NLP-задачах, но они имеют ограничения, такие как высокая задержка при работе в реальном времени и неэффективность при обработке больших контекстов. DLMs, в свою очередь, выполняют генерацию токенов параллельно с использованием итеративного процесса дезоидеризации, что позволяет уменьшить задержку и улучшить качество генерации текста. Несмотря на то, что DLMs еще не достигли того же уровня качества, что и AR-модели, но они уже показывают свои преимущества в ряде задач. В этой работе мы осмысляем текущий состояние исследований в области DLMs, сравниваем их с AR-моделями и другими парадигмами, а также изучаем самые перспективные методы их применения. #### Метод Методология, применяемая в DLMs, основывается на процессе дезоидеризации, который работает в двух этапах: "сигнализация" и "дезоидеризация". В первом этапе, модель вычисляет шум, добавленный к оригинальному тексту, и воссоздает его, генерируя новый токен. Этот процесс повторяется, пока не достигнем исходного токена. Архитектура DLMs включает нейронные сети с аугментацией, которая позволяет модели значительно повысить скорость работы. Основные этапы развития DLMs включают решение задач в чистом тексте, последовательное расширение моделей, которые используют несколько моделей в их работе, и, наконец, многомодальные модели, которые способны обрабатывать не только текст, но и видео, изображения и звук. Кроме того, DLMs используют новые методы оптимизации, такие как параллельное декодирование, кэширование и повышение эффективности в реальном времени. #### Результаты Мы провели эксперименты с несколькими моделями DLMs, сравнивая их с AR-моделями и другими моделями генерации текста. Данными для экспериментов были взяты из открытых источников, включая наборы данных для тренировки и тестирования. Результаты показали, что DLMs демонстрируют высокую скорость генерации текста, сопоставимую с AR-моделями, при этом показывая свои преимущества в обработке больших текстовых контекстов. Были изучены варианты использования DLMs в различных NLP-задачах, включая генерацию текста, вывод смысла, перевод и другие. Особенно заметны преимущества DLMs в тех случаях, когда нужно быстро сгенерировать текст, например в ситуациях, когда необходима реальная-времени генерация. #### Значимость DLMs могут быть применены во многих областях,

------------------------------------------- ## Контекст В последние годы Large Language Models (LLMs) проявляют особую эффективность в задачах несупервизированного обучения, в том числе информационного извлечения (Information Extraction, IE). Однако их работоспособность в подготовленных контекстах (few-shot learning) чрезвычайно зависит от выбора контекста (интроспективных примеров). Традиционные подходы, опирающиеся на линейное сравнение или случайный выбор, нередко недостаточно эффективны, поскольку не учитывают специфику подзадач информационного извлечения. Эти задачи часто связаны с дополнительной сложностью, связанной не только с пониманием смысла, но и с генерацией структурированных ответов в определенном формате. Мы предлагаем новую модель Active Prompting for Information Extraction (APIE), которая активно выбирает примеры для обучения, ориентируясь на новую метрику — **introspective confusion**. Эта метрика декомпозирует неоднородную неопределенность модели на две компоненты: **Format Uncertainty** (неуверенность в генерации синтаксически корректных ответов) и **Content Uncertainty** (неоднозначность семантики). ------------------------------------------- ## Метод Основополагающим элементом APIE является **introspective confusion metric**, которая оценивает неопределенность модели на двух уровнях: 1. **Format Uncertainty** измеряется как вероятность того, что модель сгенерирует ответ с неверной синтаксической структурой. 2. **Content Uncertainty** измеряется как вероятность несоответствия ответа семантическим требованиям задачи. Вычисление этих показателей осуществляется с помощью двух специальных моделей: - **Format Predictor**, оценивающий вероятность появления синтаксических ошибок. - **Content Predictor**, определяющий вероятность несоответствия ответа логическим требованиям. Полученные оценки используются для прямого сравнения и отбора данных, которые затем подаются на обучение в качестве примеров. Эта стратегия позволяет активно нацеливаться на самые сложности задач, улучшая вклад каждого выбранного элемента в обучение. ------------------------------------------- ## Результаты Мы проверили APIE на четырех открытых бенчмарках, сравнив её с тремя современными подходами. Эксперименты показали, что APIE показывает значительное превосходство в: - **Accuracy**: до 5%-го прироста в точности извлечения данных. - **Robustness**: намного меньшую волатильность результатов при изменении выборки. - **Efficiency**: APIE эффективнее традиционных подходов в выборе данных, сокращая время обучения. Эти результаты доказывают, что APIE не только повышает точность, но и увеличивает стабильность моделей информационного извлечения в условиях ограниченных данных. ------------------------------------------- ## Значимость Выгоды APIE заключаются в первоначальном фокусе на точном определении неопределенности модели на двух уровнях. Это позволяет: - Улучшить **применение в реальной жиз

## Контекст Область исследования, связанная с персонализированным генерированием заголовков, крайне важна для современных платформ, где пользователи получают новости и содержимое на основе своих предпочтений. Однако существуют значительные проблемы, такие как включение в данные нежелательного шума, вызванного кликами на несвязанные с интересами пользователя материалы. Этот шум может приводить к ошибочному профилированию и, в итоге, к получению неточных результатов. Эти проблемы мотивируют разработку методов, которые способны отфильтровать ненужный шум и улучшить точность персонализации. ## Метод Метод, предложенный в работе, включает несколько ключевых этапов. Вначале используется двойной этап фильтрации для идентификации шума в клик-стриме, заключающегося в кратких посещениях и аномальных клик-бурстах. Затем, данные пропускаются через модель, которая активно учитывает временные изменения в поведении пользователя. Это позволяет динамически профилировать интересы пользователя, учитывая их нескольких аспектов. Такая архитектура обеспечивает более точное и актуальное генерирование заголовков, соответствующих настоящим потребностям пользователя. ## Результаты На основе проведенных экспериментов был показан эффект работы подхода на реальных данных. Был выделен новый датасет DT-PENS, содержащий клик-поведение 1000 пользователей и почти 10000 персонализированных заголовков с аннотациями по времени просмотра. Эксперименты показали, что предложенная модель существенно улучшает качество генерирования заголовков, повышая точность и соответствие пользовательским интересам. Эти результаты не только подтверждают эффективность метода но и демонстрируют его преимущество перед другими подходами в области персонализации новостей. ## Значимость Предложенный подход имеет широкие перспективы применения в сферах, где требуется точное профилирование пользователей, такие как новостные платформы, рекламные системы и другие сервисы, ориентированные на пользовательские предпочтения. Он не только улучшает качество получаемой информации но и повышает удовлетворенность пользователей. Благодаря этому, предлагаемый метод может положительно сказаться на эффективности работы платформ, увеличив их конкурентность и пользовательскую активность. ## Выводы Исследования показали, что предложенный подход способен эффективно устранить шум в клик-стриме и улучшить качество генерирования заголовков. На основе этих результатов, будущие исследования будут сфокусированы на дополнительном оптимизации модели и расширении её возможностей для

#### Контекст С появлением Large Language Models (LLMs) в различных приложениях, важно обеспечить их справедливость и нейтральность во взаимодействии с различными пользователями. Однако, большинство LLMs разрабатываются и проверяются на данных, сфокусированных на западных стереотипах и языках, оставляя малозначимость для низкоресурсных языков и региональных контекстов. Это нарушает справедливость и эффективность моделей в региональном контексте. Работа PakBBQ, расширенного Bias Benchmark for Question Answering (BBQ), нацелена на решение этой проблемы. Она содержит более 214 шаблонов, 17180 QA-пар, охватывающих 8 категорий в 2 языках (английский и урду). В состав включено 8 стейт-биасов, включающих важные западные и региональные характеристики, такие как возраст, инвалидность, внешность, пол, социально-экономический статус, религиозные убеждения, региональная принадлежность и формальность языка. #### Метод Методология PakBBQ основывается на разработке шаблонов и QA-пар, отражающих региональные и культурные особенности. Множество нейтральных и негативно формулированных вопросов подвергались оценке в разных контекстах. Использовались несколько LLMs для оценки подвижности моделей по стейт-биасу. Эксперименты проводились с разными типами вопросов, чтобы изучить влияние фрейминга и нейтрализации стейт-биаса. Это дало возможность сравнить модели под влиянием неявной и явной дисамбигуации, чтобы продемонстрировать их устойчивость к различным формам вопросов. #### Результаты Опытные исследования показали следующие результаты: (i) увеличение точности в 12% при использовании дисамбигуации, (ii) наличие сильной биас-нейтрализации в урду по сравнению с английским, (iii) влияние на фрейминг, при котором отрицательно формулированные вопросы уменьшают стейт-биас. Эти результаты подтверждают важность разработки конкретных бенчмаров для региональных языков. Они также показывают, что простой фрейминг вопросов может сильно повлиять на результаты, помогая уменьшить биас в низкоресурсных языках. #### Значимость PakBBQ предлагает свой вклад в область создания справедливых и нейтральных моделей для низкоресурсных языков. Он может использоваться для тестирования LLMs на уровне биаса в региональных контекстах, таких как язык урду. Это решение может иметь значительный потенциал в области создания безопасных, справедливых и эффективных моделей для местных пользователей. Это также открывает пути для развития технологий повышения качества языковых моделей на уровне регионального образования. #### Выводы Работа

## Контекст Large Language Models (LLMs) становятся все более популярными в силу их возможности генерировать текст на основе качественных запросов. Однако одной из серьезных проблем является халлуцинация, т.е. генерация текста, который либо не соответствует фактическим данным, либо является несогласованным с контекстом запроса. Такие недостатки могут привести к ошибкам, когда модель производит неточные или недостоверные ответы, отвлекаясь от поставленных вопросов. Это может привести к значительным проблемам в различных областях, где нужен аккуратный и точный текст. Наша исследовательская цель — разработать систему, которая может диагностировать халлуцинации и определить наличие несогласованности в ответах модели. ## Метод Мы предлагаем Semantic Divergence Metrics (SDM), новую метрику для оценки согласованности ответов модели с запросом. Метод основывается на joint clustering с использованием различных тематических моделей, таких как Sentence-BERT. Мы используем этот подход для создания общей тематической модели для обработки запросов и ответов модели. Для оценки согласованности используются несколько информационно-теоретических метрик, таких как Jensen-Shannon Divergence и Wasserstein Distance, которые позволяют измерить расстояние между запросом и ответом. Мы также предлагаем Semantic Box, диагностическую систему для классификации типов ответов, включая рискованные и недостоверные ответы. ## Результаты Мы проверили наш метод на различных тестовых наборах данных, включая общие текстовые запросы и специализированные задачи. Наши результаты показали, что Semantic Divergence Metrics дают более точные оценки семантической разницы в ответах в сравнении с существующими методами. Мы также установили, что Semantic Box позволяет обнаруживать рисковые ситуации, когда модель использует неточные слова или фразы, что может привести к серьезным ошибкам. ## Значимость Наша работа открывает новые возможности для преодоления проблем халлуцинаций в LLMs. Мы предлагаем метод, который может быть использован в различных сферах, включая здравоохранение, финансы и юриспруденцию, где точность и достоверность ответов критично важны. Мы также показали, что наш метод может помочь разработчикам LLM улучшить модели, оправдав надежный и удобный инструмент для оценки и улучшения целостности и достоверности ответов. ## Выводы Мы представили Semantic Divergence Metrics, новую метрику для диагностики семантической разницы в ответах моделей LLM. Наша работа показала, что наш подход может быть использован для точного определения халлуцинаций в ответах, что позволяет улучшить достоверность и согласованность моделей. Мы также демонстрируем, как наша система может быть

## Контекст Large Language Models (LLMs) становятся все более популярными в различных областях применения, таких как поиск, генерация текста и диалоговые системы. Однако эти модели часто содержат нежелательные биазы и стереотипы, которые могут привести к нежелательным последствиям, таким как распространение предрассудков и дискриминации. Изучение и устранение этих биаз в весах LLMs крайне важно для развития эффективных стратегий минимизации их влияния. Несмотря на то, что существуют методы для эликвидации биаз в LLMs, они либо требуют дорогостоящих и сложных экспериментов, либо оказываются неэффективными для работы с непредсказуемыми или новыми формами биаз. Было предложено BiasGym — многоцелевой инструмент, который позволяет удобно инжектировать и изучать биазы в LLMs, а также использовать полученные сигналы для их устранения. ## Метод BiasGym представляет собой два основных компонента: BiasInject и BiasScope. **BiasInject** предназначен для точечного внедрения биаз в модель, используя токен-базуную тюнинг. Здесь модель остается замороженной, чтобы избежать полного переучивания. **BiasScope** использует созданные сигналы для того, чтобы идентифицировать и управлять слоями модели, ответственными за выражение биаз. Это позволяет создавать систематические эксперименты для изучения и устранения биаз в текстах, в то же время уменьшая затраты на экспериментирование. Метод BiasGym может применяться для разных типов биаз, в том числе и тех, которые не были видны во время токен-базной тюнинг. ## Результаты Исследования проводились на нескольких типах биаз, включая реальные тенденции (например, клише про драйверы из Италии) и фантастические (например, люди из фикциональной страны с голубым кожным цветом). BiasGym позволил не только идентифицировать эти биазы, но и устранить их, сохранив преемственность в плане качества решения задач. Эксперименты проводились на различных моделях, включая те, что являются открытым исходным кодом, и показали, что BiasGym обеспечивает значительную уменьшение биазных тенденций без существенного ухудшения производительности модели на реальных задачах. ## Значимость BiasGym представляет собой универсальный инструмент, который может быть использован для разных целей, включая стратегии минимизации предрассудков в моделях, проверку интерпретируемости текстов, и даже для экспериментов с фантастическими сценариями. Он позволяет снизить нежелательные последствия биаз в LLMs, улучшая их безопасность и этичность. Также, подход BiasGym может быть полезен для научных исследований в области механизмов обучения моделей и их влияния на рез

## Контекст В последние годы, большие языковые модели (LLMs) стали неотъемлемой частью многих технологий, от процессов принятия решений до работы с клиентами. Однако их инференсная скорость часто ограничивается последовательным характером следующего-токена-предсказания, который характеризует авторегрессионный декодинг. Это приводит к замедлению интерфейса и неэффективности в реальном времени, особенно для сложных задач. Однако изучение выходов этих моделей показало, что некоторые фрагменты ответов могут быть распараллелены. Это подходящая момент для оптимизации инференса. Мы предлагаем новый подход, который не только эффективно раскладывает исходный поток данных на параллельные потоки, но и сохраняет качество предсказаний. ## Метод Мы предлагаем **Adaptive Serial-Parallel Decoding (ASPD)**, которая автоматически определяет и эффективно использует разделяемую структуру в выходах LLMs. Наша методология включает два основных элемента: 1. **Построение параллельных структур**: Мы разработали нейронную сеть, которая автоматически определяет шаблоны в выходах модели, которые могут быть распараллелены. Эта сеть работает в режиме реального времени и не требует каких-либо внешних изменений в модели. 2. **Эффективный движок для сериально-параллельного декодирования**: Мы предлагаем гибридную систему, которая динамически переключается между сериальным и параллельным декодированием. Она также поддерживает кэш-сервис реинициализации, чтобы минимизировать накладные расходы на вычисления и увеличить эффективность. ## Результаты Мы провели эксперименты на широком спектре задач: **General Tasks**, **Retrieval-Augmented Generation**, и **Mathematical Reasoning**. На Vicuna Bench, ASPD показала до 3.19x прирост скорости без существенного снижения качества. На среднем, полученный был 1.85x. Мы также проверили нашу модель на структурированных данных (датасеты с высокой параллельностью) и смешанных задачах, где наблюдали получение скорости в 2-3 раза. ## Значимость ASPD может быть применена в различных областях, включая: - **AI-powered customer service bots**: Разработка систем с задержкой в реальном времени. - **Answer retrieval engines**: Ускорение поиска ответов в больших базах. - **Real-time decision-making systems**: Для моделей, требующих быстрого реагирования. ASPD предлагает первоначальный шаг к более эффективной инференсной работе LLMs, позволяя получать дополнительные выигрыши в скорости без ущерба качеству. ## Выводы Мы представили **Adaptive Serial-Parallel Decoding (ASPD)**, которая использует ранее незадействованные структуры в выходах LLMs для ускорения инференса. Мы показали, что наш подход эффективен на различных задачах и может построи