################################# ## Контекст ################################# Retrieval-augmented generation (RAG) является одной из наиболее популярных технологий в сфере генерируемых текстов, используемых в различных областях, таких как финансы, здравоохранение и безопасность информации. Эти системы объединяют модели генерируемого текста с возможностью взаимодействия с базами знаний, чтобы обеспечивать точные и согласованные ответы. Однако существуют многочисленные исследования, подтверждающие чувствительность RAG-систем к атакам, при которых злоумышленник может инъектировать в базу знаний злонамеренные данные, чтобы принудительно изменить вывод модели. Несмотря на это, большинство исследований сосредоточены на атаках на конкретные запросы или запросы, имеющие схожие тематики или ключевые слова. Мотивацией для настоящего исследования является разработка универсального метода атак, который может применяться против широкого круга запросов с разными темами и областями применения. ################################# ## Метод ################################# UniC-RAG (Universal Knowledge Corruption Attacks to Retrieval-Augmented Generation) представляет собой инновационный подход к атакам на базы знаний RAG-систем. Он оптимизирует количество заранее подготовленных злонамеренных текстов, чтобы они могли приводить к злонамеренным результатам в ответах модели для множества различных запросов. Чтобы увеличить эффективность атаки, мы предлагаем балансированный метод кластеризации на основе схожести, который позволяет гарантировать, что каждый класс запросов будет эффективно атакован. Эта архитектура включает в себя нейронную сеть, которая генерирует злонамеренные тексты с учетом приоритетов заданных целей (например, ориентированные на вредоносные сайты, команды или деньджинг). Разработанная методология позволяет взломщику применять одни и те же тексты для атаки на разные сценарии, что делает UniC-RAG универсальным и мощным инструментом для злоумышленников. ################################# ## Результаты ################################# Мы оценивали UniC-RAG на множестве экспериментов с различными базами знаний и запросами. В ходе экспериментов удалось достичь более 90% успешности атак при использовании всего 100 злонамеренных текстов, чтобы атаковать более 2000 различных запросов, охватывающих различные тематики и области применения. Например, в сценарии, где злоумышленник стремился подталкивать пользователей к посещению вредоносных ресурсов, UniC-RAG смог добиться того, чтобы более 90% пользователей после получения ответа системы переходили на указанные сайты. Также были проведены тесты на других целях, таких как выполнение вредоносных команд и создание деньджинга. В сравнении с имеющимися атаками UniC-RAG показал значительно лу

## Контекст Instruction tuning, или настройка инструкций, является ключевым подходом для выравнивания бо LLM (больших языковых моделей) с человеческими запросами, ограничениями безопасности и задачами на уровне отдельных доменов. Несмотря на успехи моделей, таких как InstructGPT и LLaMA, возникают проблемы в области языкового понимания, качества ответа и подготовки данных. Эти проблемы становятся все более актуальными при расширении моделей и задач. В этой статье рассматривается полный пайплайн для создания эффективных и адекватно настроенных LLMs, что может привести к улучшению их применения в реальной жизни. ## Метод Пайплайн настройки инструкций подразделяется на три основных части: (i) сбор данных, (ii) методы тюнинга параметров и (iii) протоколы оценки. За сбор данных отвечают три парадигмы: экспертная аннотация, классическая инструкция с помощью дистилляции из более крупных моделей и самоулучшение моделей. Методы тюнинга параметров включают методы, такие как переобучение (супервизированное обучение), низко-ранговая адаптация (LoRA) и префикс-тюнинг. Оценка производится с учетом многоязыковости, мультимодальности и детализированных бенчмарков в сферах, таких как медицина, закон и финансы, для гарантии надежности и безопасности. ## Результаты Эксперименты показывают, что лучшие результаты достигаются при сочетании экспертных аннотаций с классическими методами тюнинга, такими как LoRA. Оценка предоставляется по множеству показателей, включая точность, безопасность и полезность. Бенчмарки, особенно в нишах, таких как юридическая и финансовая сфера, показывают, что LLMs становятся более точными и полезными для специалистов в этих областях. Эти результаты подтверждают необходимость в дополнительных исследованиях по безопасности и доверию в широком спектре задач. ## Значимость LLMs, настроенные с помощью instruction tuning, применяются в различных сферах, включая медицину, закон, финансы и техническую поддержку. Они предоставляют более точные и адаптивные ответы, улучшая производительность и удовлетворение пользователей. Этот подход также снижает риски ошибок и специализируется на конкретных задачах. Таким образом, он может оказаться решающим для создания более безопасных и эффективных моделей в будущем. ## Выводы Это исследование подчеркивает важность сбалансированного подхода к созданию LLMs, включающему качественную подготовку данных, эффективные методы тюнинга и надежные протоколы оценки. Будущие исследования будут сконцентрированы на развитии автоматизированных методов подготовки данных, адаптив

## Контекст Оценка естественного языкового понимания (NLG) остается главной проблемой в области естественного языкового обработки (NLP). Эта проблема усложняется вследствие появления больших языковых моделей (LLMs), которые стремятся быть универсальными. В последнее время, LLMs, названные LLJs (LLMs as Judges, языковые модели в качестве оценщиков), представляют собой потенциальное альтернативное решение для традиционных метрик оценки. Однако их достоверность и валидность в качестве оценщиков до сих пор требуют глубокого исследования. Это работа подчеркивает, что нынешний энтузиазм вокруг LLJs может быть преждевременным, поскольку их использование продвинулось вперед без достаточного количества критических исследований по оценке их надежности и валидности. Используя теорию измерения из социальных наук, авторы проводят критическое исследование 4 основных предположений о том, как LLJs могут выступать в качестве прокси-оценщиков человеческого суждения, каким образом они могут оценивать результаты, насколько они масштабируемы, и как эффективны в своих затратах. ## Метод Авторы используют теорию измерения из социальных наук, чтобы рассмотреть 4 основных предположения о ЛЛМ-оценщиках. Они обобщают вопросы, связанные с возможностью ЛЛМ-оценщиков действовать в качестве прокси-инструментов для человеческих оценок, способностью оценивать результаты, масштабируемостью и экономичностью. Кроме того, они применяют эти подходы для оценки текстовой сводки, данных для аннотации и аспектов безопасности принятия решений. Авторы также приводят критическую интерпретацию, как эти технологии могут быть использованы для эффективной оценки языковых моделей. ## Результаты Авторы выполняют критический анализ каждого из предположений об LLJs. Они показывают, что, несмотря на то, что ЛЛМ-оценщики могут быть эффективными для определенных задач, они не всегда справляются с оценкой взаимосвязанных показателей, таких как безопасность и человечность. Эксперименты показывают, что ЛЛМ-оценщики могут иногда быть неточными в их оценках, особенно при работе с контекстуально-зависимыми задачами. Они также выявляют риски частичной зависимости от конкретных условий, которые могут вызвать недостоверность. ## Значимость Авторы подчеркивают, что ЛЛМ-оценщики могут быть полезны в некоторых ситуациях, но их возможности ограничены. Они желательны для задач, где требуется быстрая и удобная оценка, но могут не подходить для задач, требующих высокой точности и контекстуальной интерпретации. Это имеет зна

#### Контекст Обучение с помощью искусственного интеллекта (AI) adheres to the principles of human-centered design, ensuring that AI systems are aligned with human values and ethical standards. One of the critical areas of application is education, where AI systems are designed to emulate the roles of educators. However, existing approaches to simulating professional roles (Simulating Professions, SP) often lack comprehensive psychological and ethical evaluations. This creates a gap in understanding how AI systems, particularly Large Language Models (LLMs), perform in roles that require moral and normative decision-making. The Educator-role Moral and Normative LLMs Profiling (EMNLP) framework addresses this gap by providing a structured approach to profiling teacher-role LLMs, focusing on moral and ethical dimensions. #### Метод EMNLP is designed as a comprehensive framework for profiling teacher-role LLMs, encompassing three main components: personality profiling, moral development stage measurement, and ethical risk assessment under soft prompt injection. The framework extends existing psychological scales and constructs 88 teacher-specific moral dilemmas, enabling a profession-oriented comparison between AI systems and human teachers. To evaluate compliance and vulnerability, a targeted soft prompt injection set is introduced, simulating real-world scenarios where ethical and psychological alignment is crucial. This methodology allows for a detailed analysis of the strengths and limitations of teacher-role LLMs, providing insights into their performance and potential risks. #### Результаты Experiments conducted on 12 LLMs revealed that teacher-role LLMs tend to exhibit more idealized and polarized personalities compared to human teachers. They demonstrate strong abstract moral reasoning but struggle with emotionally complex situations. The study also identified a paradox: models with stronger reasoning capabilities are more vulnerable to harmful prompt injection, highlighting the trade-off between capability and safety. Hyperparameters such as model temperature had limited influence on these behaviors except in specific risk scenarios. These findings provide a nuanced understanding of the ethical and psychological alignment of teacher-role LLMs, offering valuable insights for the development of ethical AI systems in education. #### Значимость The EMNLP framework has significant implications for educational AI, offering a benchmark for assessing the ethical and psychological alignment of teacher-role LLMs. It enables educators and developers to evaluate the performance and safety of AI systems in educational settings, ensuring that these systems adhere to ethical standards and support effective learning environments. The resources and benchmarks developed through EMNLP provide a foundation for future research in the ethical profiling of AI systems across various professional roles, paving the way for safer and more effective AI integration in education. #### Выводы The EMNLP framework represents a groundbreaking approach to profiling teacher-role LLMs, offering a detailed analysis of their moral, ethical, and psychological alignment. The findings highlight the strengths and limitations of current AI systems in educational roles, providing actionable insights for future research and development. Future work should focus on addressing the identified limitations, particularly in emotional reasoning and vulnerability to prompt injection, to enhance the safety and effectiveness of AI systems in educational settings.

## Контекст С появлением больших языковых моделей (LLMs), таких как GPT-4 и другие, становится важной проблемой управления их знаниями. Особенно актуален вопрос о том, как можно удалить нежелательные знания из модели, не приводя к потере ее основных способностей. Эта проблема становится критичной в таких областях, как безопасность информации, а также при работе с конфиденциальными данными. Например, если модель "знает" что-то нежелательное или вредное, это может привести к катастрофическим последствиям. Однако существующие методы, такие как "параметрический отбор" или "замена параметров", либо неэффективны, либо не обеспечивают постоянные изменения в модели. Мы предлагаем метод CRISP, который адресует эту проблему, используя спарсные автокодировщики (SAEs) для постоянного удаления ненужных знаний. ## Метод Метод CRISP (Conceptual Retraining and Interpretable Suppression Protocol) основывается на использовании спарсных автокодировщиков, чтобы определить и подавить специфические значимые функции в модели языка. Мы используем сеть автокодировщика для определения значимых характеристик в каждом слое модели языка. Затем, в каждом слое, мы находим самые важные компоненты, которые связаны с нежелательными знаниями, и подавляем их активацию. Это позволяет выполнить постоянное удаление ненужных знаний без повреждения общих и задачных качеств модели. Ключевой инновацией является то, что CRISP работает не только на одном слое, но и по всему модели, что дает более широкий и точный эффект. ## Результаты Мы проверяли CRISP на двух LLMs, включая BERT и Roberta, используя бенчмарк WMDP для задач удаления нежелательных знаний. В результате, CRISP оказался более эффективен по сравнению с другими методами, такими как "zero-shot unlearning" и "finetuning with sparse autoencoders". Например, в сценарии удаления ненужного знания о политической предвзятости, мы удалили политическое знание без существенного влияния на возможность модели для других задач. Мы также проводили функциональный анализ, показав, что CRISP отлично отделяет нежелательные концепции от благожелательных, чтобы добиться более точного удаления. ## Значимость Метод CRISP может быть применен в многих областях, в том числе в безопасности информации, клинической практике, и в медиа-моделях, где необходимо удалить специфические ненужные знания. Одним из ключевых преимуществ является то, что CRISP обеспечивает постоянное и безопасное удаление знаний без негативного влияния на базовые способности модели. Это делает его более надежным по сравнению с другими методами, которые могут быть "переобучены" или "обойдены" злоумышленни

## Контекст Large language models (LLMs) широко используются в различных областях, но их культурные и этические предположения остаются мало исследованными. Эти модели обучаются на больших корпусах данных, которые отражают определенные культурные и ценностные ориентации. Это может привести к алгоритмической культурной гегемонии, если не учитываются культурные контексты при развертывании и оценке моделей. Мотивация для данного исследования заключается в изучении того, как культурные и этические ориентации LLMs влияют на их поведение и решения, а также в разработке подходов для более культурно осведомленного развертывания таких моделей. ## Метод Для изучения культурных ориентаций LLMs была разработана Cultural Probe Dataset (CPD), содержащая 200 заданий, охватывающих два ключевых кросс-культурных измерения: Individualism-Collectivism (IDV) и Power Distance (PDI). Эти измерения определены в рамках теории Гегельда о культурных значениях. Модели GPT-4 (Western-centric) и ERNIE Bot (Eastern-centric) были запущены с помощью стандартизированных zero-shot prompts. Для оценки выводов был применен гуманский анализ. Для измерения культурной алгоритмической аллигейшены (Cultural Alignment Index, CAI) использовались стандартные государственные показатели культурных значений, определенные Hofstedom. ## Результаты Эксперименты показали существенные различия в ценностных ориентациях LLMs. GPT-4 проявил индивидуалистические и низкопитанностные тенденции (IDV score ~1.21; PDI score ~-1.05), в то время как ERNIE Bot проявил коллективистские и высокопитанностные тенденции (IDV score ~-0.89; PDI score ~0.76). Эти различия были статистически значимы (p < 0.001). В CAI, GPT-4 ближе сходился к США (IDV CAI ~0.91; PDI CAI ~0.88), в то время как ERNIE Bot ближе сходился к Китаю (IDV CAI ~0.85; PDI CAI ~0.81). Квалитативный анализ указал на то, что эти ценностные ориентации отражаются в их резолюции дилемм и в отношении авторитета. ## Значимость Результаты имеют значительное значение для различных областей, включая культурную этику, международное развертывание AI, а также роль технологий в социальной справедливости. Наша работа подчеркивает необходимость развития культурно осведомленных подходов для разработки и развертывания LLMs, чтобы избежать алгоритмической культурной гегемонии и обеспечить более инклюзивное и культурно чувствительное применение технологий. ## Выводы Наше исследование подтверждает, что LLMs являются статистическими отражениями культурных корпусов, на которых они обучаются. Мы выделили существенные различия в культурных ориентациях GPT-4 и ERNIE Bot, которые отразились в их решения

## Контекст Данная работа основывается на области обработки естественного языка, а именно на задаче **Joint Entity-Relation Extraction (JERE)**, которая представляет собой идентификацию сущностей и их взаимосвязей в тексте. Несмотря на важность этой задачи в различных приложениях, таких как медицинская информатика, интернет-реклама и юридические приложения, создание эффективных систем JERE остается сложной задачей. Существующие подходы, основанные на машинном обучении, часто требуют больших объемов аннотированных данных и имеют ограниченную возможность интеграции доменной информации в модели. Это приводит к высокой сложности, дорогостоящему обучению и ограниченной гибкости. Исследователи призваны разработать более эффективный и гибкий подход к решению этой задачи. ## Метод Предлагаемый подход сочетает в себе мощь **generative pretrained large language models (LLMs)** и технологии **Answer Set Programming (ASP)**. Генерируемые LLMs обеспечивают мощь в разборе и понимании естественного языка, работая непосредственно с неаннотированным текстом. ASP, в свою очередь, предоставляет гибкие возможности знаний и разума, позволяя легко интегрировать доменные спецификации без внесения изменений в основной код. Разработанная рабочая схема JERE представляет собой гибкий инструмент, который может быть применен во всех доменах, не требуя изменений в основной логике ASP при расширении знаний. ## Результаты Эксперименты проводились на трех бенчмарках для JERE: **ACE2005**, **CoNLL-2004** и **SciERC**. Данные эксперименты были проведены с ограниченным количеством тренировочных данных, чтобы продемонстрировать выносливость и эффективность подхода. Результаты показали, что LLM + ASP-подход превосходит состояние технологий в нескольких аспектах. Особенно заметное улучшение было замечено в задаче **Relation Extraction** на корпусе **SciERC**, где LLM + ASP показал 2,5 раз более высокую точность (35% против 15%) при использовании только 10% обучающих данных в сравнении с состоянием технологий. ## Значимость Предложенный подход имеет широкие приложения во всех областях, где требуется выделение сущностей и их взаимосвязей, включая здравоохранение, юриспруденцию, интернет-рекламу и другие. Основные преимущества LLM + ASP заключаются в том, что он не требует больших объемов аннотированных данных, гибко интегрирует доменную информацию и показывает высокую эффективность даже при ограниченных ресурсах тренировочных данных. Это может привести к значительным экономиям времени и ресурсов в разработке моделей JERE. ## Выводы Основные достижения этой работы состоят в разработке универсальной рабочей схемы JERE, которая объединяет мощ

## Контекст AI-системы для с sup>офтарного разработки набирают все большую популярность, но вместе с этим увеличиваются и их риски. Одним из ключевых аспектов защищенного использования AI является обеспечение ее безопасности и надежности в процессе разработки программного обеспечения. Для решения этих проблем Amazon запустила Trusted AI track в рамках Amazon Nova AI Challenge — международного соревнования, в котором 10 университетов соревнуются в разработке безопасных AI-систем для разработки программного обеспечения. Соревнование позволяет глобальным экспертам демонстрировать свои технологии и проверить их на практике в живом режиме, а новые технологии позволяют трансформировать рынок. Цель соревнования — развитие технологий, обеспечивающих безопасность и надежность при разработке AI-систем. ## Метод В соревновании принимают участие 10 команд, разделенных на две категории: 5 команд разрабатывают red-teaming bots, а 5 команд — safe AI assistants. Участники имели доступ к высококачественной аннотированной выборке данных для обучения и тестирования своих моделей. Кроме того, был разработан custom baseline coding specialist model, а также созданы инструменты для турнирных процессов. Методы разработки AI-систем включали reasoning-based safety alignment, robust model guardrails, multi-turn jail-breaking и efficient probing of large language models (LLMs). Организация турниров позволила протестировать эти методы в условиях адверсарского соревнования. ## Результаты Участники соревнования достигли впечатляющих результатов на протяжении соревнования. Они разработали новые методы для обеспечения безопасности AI, в том числе научные разработки в области automated red teaming, safe AI assistants, и обеспечения гибкости моделей. В результате соревнования были достигнуты улучшения в области проблемы jail-breaking, проверки моделей и использования специализированных моделей. Также было разработано новый подход к обеспечению безопасности AI в рамках соревнований. ## Значимость Результаты соревнования имеют значительное значение для области AI в разработке программного обеспечения. Исследования, разработанные в рамках соревнования, могут быть перенесены на широкий спектр применений, включая безопасное использование AI в разработке программного обеспечения. Этот подход может быть использован в различных сферах, в том числе в сфере fintech, здравоохранения, а также в области разработки AI-систем для безопасности. Это соревнование имеет потенциал для повышения уровня безопасности AI в развитии программного обеспечения. ## Выводы В результате Amazon Nova AI Challenge были достигнуты впечатляющие достижения в области безопасности AI. Участники соревнования разработали новые технологии, которые могут быть использованы в будущем для с sup>офтарной разработ

#### Контекст Исследование посвящено изучению влияния кратковременной памяти на обучение языка с помощью трансформеров, а также на предсказание читательских времен. Трансформеры — мощные языковые модели, которые обладают выдающимися способностями обучения языку. Однако существуют теоретические работы, предполагающие, что кратковременная память, характерная для человеческого мозга, может улучшать обучение языку нейронными сетями, несмотря на отсутствие таковой в трансформерах. Этот эксперимент призван протестировать эту гипотезу и уточнить потенциальные преимущества кратковременной памяти в обучении языку. #### Метод Для исследования были созданы две модели трансформера: одна с возможностью использовать кратковременную память, а другая — без нее. Обучение производилось на реалистичном наборе данных, представляющих собой синтаксически и семантически сложные фразы. Модели оценивались с помощью традиционных метрик языковой моделирования и методов, оценивающих читательский сюрприз (surprisal). Для тестирования способности предсказать читательские времена использовались человеческие данные в качестве признаков. #### Результаты На экспериментальных данных кратковременная память подтвердилась как фактор, улучшающий обучение языка. Модели с кратковременной памятью показали лучшие результаты в общем языковом моделировании и на целевых тестах синтаксических сетей. Однако результаты чтения показали неожиданный эффект: модели с кратковременной памятью предсказывали читательские времена хуже, чем модели без нее. Это отличие не могло быть объяснено причинами, известными ранее, такими как различия в управлении вниманием или в кодировании частей речи. #### Значимость Результаты имеют значение как для практики обучения моделей языка, так и для теоретического понимания их работы. Изучение кратковременной памяти может привести к улучшению языковых моделей в области обучения и генерации текста. Тем не менее, результаты свидетельствуют о необходимости дополнительных исследований для точного понимания взаимосвязи между памятьными ограничениями и предсказанием читательских времен. #### Выводы Исследование подтвердило преимущество кратковременной памяти для обучения языка, но также открыло новую проблему — потенциальное несовпадение предсказаний читательских времен. Этот феномен может стать акцентом для будущих исследований, направленных на уточнение моделей языка и их взаимодействия с человеческим моделированием. Это демонстрирует, что нейронные сети могут иметь разные сильные стороны в

**Резюме** В статье предлагается контекстно ориентированный подход к решению задачи Product Question Answering (PQA) в e-commerce с использованием Retrieval Augmented Generation (RAG). Существующие системы PQA часто не учитывают контекст пользователя, такой как история общения, персональные предпочтения и региональные особенности, что приводит к неэффективности в обработке запросов. Разработанная система интегрирует данные из различных источников, включая спецификации товара, отзывы пользователей и контекстные элементы, чтобы обеспечивать персонализированные и точные ответы. Она эффективно работает с различными типами вопросов, включая объективные, субъективные и сложные запросы с несколькими намерениями. Кроме того, система может выявлять пробелы в каталоге товаров и предлагать их исправление, чтобы повысить качество содержимого. Оцениваются новые метрики для эффективной оценки RAG-систем. Этот подход демонстрирует высокую эффективность в обработке комплексных вопросов в e-commerce.