## Контекст Оценка генерирующих моделей с помощью бенчмарков стала обычной практикой, и их результаты значительно влияют на публичные и научные ожидания от AI. Однако возникают сомнения в надежности таких оценок. Насколько можно доверять полученным показателям? Оценка часто представляется как простая мера, но на самом деле это вывод: выбор бенчмарка подразумевает уже теорию о том, что такое качество и как оно выражается в тестируемой модели. Мы сделали это сделали явным, предлагая формальный фреймворк для оценки на основе теории: начиная с теории качества, разрабатываются методы ее оценки. Этот подход, широко распространенный в области психометрии, до сих пор не является общепринятым в AI-оценке. Мы демонстрируем его применимость, адресовав основную проблему, которая негативно сказывается на надежности: чувствительность к помехам. ## Метод Мы предлагаем фреймворк, включающий теорию способности, основанную на математической модели, и способы интерпретации результатов бенчмарка в этой теории. Основной аспект — учет неопределенности, вызванной чувствительностью к помехам и ограниченностью данных. Разработана методика, которая принимает во внимание эти факторы, включая адаптивный алгоритм, существенно сокращающий необходимую выборку для достижения заданной точности. Таким образом, мы построили фундамент для более достоверных и надежных оценок AI-способностей через бенчмарки. ## Результаты Проведенные эксперименты показали, что наш подход существенно улучшает надежность оценок. Использовались различные данные, включая стандартные бенчмарки и синтетические наборы. На основе этого показано, что адаптивный алгоритм значительно сокращает необходимую выборку без потери точности, что является ключевым преимуществом. Это позволяет меньше полагаться на дорогие и времязатратные эксперименты, повышая эффективность и надежность оценок AI-моделей. ## Значимость Наш фреймворк имеет широкие реализационные перспективы в различных областях, где оценка AI-моделей является критическим аспектом. Например, в области трансляции языков, распознавания речи, изображений и других критически важных технологий. Он обеспечивает более точную интерпретацию результатов, снижает уровень неопределенности, и может использоваться для более целеых и понятных сравнений AI-систем. Это дает возможность повысить доверие к AI-системам, улучшить их внедрение в реальные приложения и сделать оценку более объективной. ## Выводы Мы представили новый фреймворк для достоверных и надежных оценок AI-моделей через бенчмар

## Контекст Это исследование рассматривает роль больших языковых моделей (LLMs) во времена предстоящих выборов в США 2024 года. Это первый по сути выборный период, происходящий в условиях распространенности LLMs, что вызывает вопросы о потенциальной их влиянии на публичное мнение и политический дискурс. Даже несмотря на то, что платформы объявляют меры безопасности, их эффективность в реальной ситуации до сих пор неясна. Данное исследование является обширным и длительным, включая 12 моделей, которые подвергались тестированию при помощи 12,000+ как можно более структурированных вопросов, обновлявшихся почти ежедневно с июля по ноябрь 2024 года. Такой подход позволил охватить многообразные аспекты влияния LLMs на информационную среду во время выборов. ## Метод Исследование базируется на структурированном подходе, который включает в себя широкий спектр тестов и моделирования. 12 LLMs были изучены с помощью опросника с вопросами, разбитыми на категории для оценки различных аспектов поведения моделей. Эти модели проверялись почти ежедневно в течение более чем четырех месяцев. Ответы были систематически анализированы, чтобы понять, насколько LLMs отвечают на вопросы в зависимости от указаний, их эволюция во времени, а также влияние демографических факторов на свои ответы. Эта методология позволяет получить тщательное понимание функционирования LLMs в контексте выборов. ## Результаты Результаты исследования показывают, что LLMs подвержены существенным изменениям в поведении в процессе выборного периода. Например, они оказались чувствительны к тем стереотипам и предрассудкам, которые сопровождают политический дискурс. Кроме того, их ответы сильно зависили от демографических факторов, что могло влиять на политические предпочтения людей. Изученные модели также содержали неточности в своих представлениях о кандидатах и имели некоторые "убеждения" о результатах выборов. Эти результаты демонстрируют, насколько проблематичными могут быть LLMs в политическом контексте. ## Значимость Результаты имеют значительное значение для развития политической коммуникации и стратегий управления информацией в эпоху AI. Это исследование показывает, насколько LLMs могут стать фактором влияния на политические решения, что может повлиять на демократический процесс. Изучение поведения LLMs может помочь в разработке методов противодействия их влиянию, а также в оценке рисков, связанных с их использованием во время выборов. Это имеет перспективу для широкого круга приложений, от мониторин

## Контекст Care coordination и population health management (PHM) — направления, требующие эффективного управления большими группами пациентов, в основном среди Medicaid-пользователей и бездомных. Эти подходы должны быть надежными, аудируемыми и адаптивными. Несмотря на то, что клинический риск для реализации outreach-модификаций незначителен, временные и возможностные затраты существенно различаются в зависимости от способа коммуникации (текстовые сообщения, звонки, видео- или персональные визиты). Обычные методы, основанные на обучении ранее (offline reinforcement learning, O-RL), часто сталкиваются с проблемами, связанными с локальными данными и ограниченными отдаленными возможностями. Мы предлагаем новый подход, который учитывает эти проблемы, сочетающий тестирование за пределами тренировочного цикла и во время расчета. ## Метод Наш подход, Test-Time Learning и Inference-Time Deliberation (TTL+ITD), расширяет традиционные offline RL-модели. Он добавляет две основные функции: (i) test-time learning, которая использует локальные нейронные сети для калибровки политик на основе локальных данных, и (ii) inference-time deliberation, которая включает в себя Q-ensemble для моделирования неопределенности и расходов времени/усилий. TTL+ITD может использоваться в различных сценариях, включая работу с большими датасетами и моделирование сложных зависимостей в PHM. Эта модель гарантирует прозрачность за счет аудируемого процесса обучения и доступности параметров для оптимизации. ## Результаты Мы проверили TTL+ITD на де-идентифицированном действительном датасете, содержащим информацию о различных моделях outreach (телефонные звонки, видео-визиты и т. д.). Модель показала высокую точность в оценке значений и эффективность в воздействии на разных подгруппах. Например, в сценарии с телефонными звонками, мы получили 95% точности в прогнозировании времени назначенных визитов, при этом сохранив гибкость в параметрах для каждой отдельной подгруппы. TTL+ITD также удалось существенно сократить временные затраты на оценку в 20% по сравнению с базовыми offline RL-подходами. ## Значимость Наш подход может быть применен в различных сферах, включая здравоохранение и PHM. Он предоставляет возможность сделать процессы более эффективными и аудируемыми. Особым преимуществом является возможность гибкого управления с TRADE-OFFS между точностью и эффективностью. Это может способствовать увеличению качества услуг в больших региональных системах здравоохранения и повышению доступности для широкого круга пользователей. ## Выводы Мы представили новую модель TTL+ITD, которая объединяет тестирование за пределами обучения и решение во время выполнения. Мы продемонстрировали ее

################################# ## Контекст ################################# Large Language Models (LLMs) широко используются в различных областях, но при этом могут содержать систематические биазы, которые влияют на результаты задач на уровне пользователя. Эти биазы могут быть "внутренними" (intrinsic) — встроенными в модель при обучении, и "внешними" (extrinsic) — возникающими при их применении в реальной жизни. Биазы, особенно в области финансовой индустрии, могут привести к ущербному влиянию на ключевые решения, такие как работа, кредитоспособность и зарплата. Многие исследования поднимают вопрос о том, как эти биазы влияют на результаты задач, но мало четкого понимания того, как именно внутренние биазы связаны с задачами на уровне пользователя. Наша работа ориентирована на анализ и устранение этих биаз, чтобы сократить их негативное влияние на решения в различных сферах. ################################# ## Метод ################################# Мы предлагаем универсальный фреймворк для сравнения форм биаз-минимизации: "внутреннего" (intrinsic) через концептуальное неучение (concept unlearning) и "внешнего" (extrinsic) через применение данных для каунтерфактального дополнения (counterfactual data augmentation, CDA). Мы применяем этот подход к реальным задачам финансового классификации, таким как определение зарплаты, работоспособности и кредитоспособности. Модели тестируются как замороженные слои (frozen embedding extractors), так и тренируемые слои (fine-tuned classifiers). Это позволяет оценить не только эффективность биаз-минимизации, но и её влияние на качество задач. Мы использовали три открытых LLMs для того, чтобы проверить наш фреймворк на различных моделях и получить полное представление о результатах. ################################# ## Результаты ################################# Наши эксперименты показали, что метод концептуального неучения снижает внутреннюю биазность модели до 94.9%, когда она изучается на таких задачах, как кредитоспособность и зарплата. Это существенно повышает метрики справедливости, такие как демографическое равенство (demographic parity), на 82%. Эти результаты не вызывают ухудшения точности (accuracy) модели. Мы также проверили, насколько эффективен этот подход при использовании моделей как замороженных, так и тренируемых, и обнаружили, что качество задач в большинстве случаев улучшается более эффективно, когда минимизация биаз проводится на ранней стадии, до того, как модель будет применена на уровне пользователя. ################################# ## Значимость ################################# Наши результаты показывают, что биаз-минимизация не только улучшает справедливость в решениях, но и может быть применена в различных сферах, где существуют внутренние биазы, таких как финансы, здравоохранение и правосудие. Наш фреймворк дает более чёткую инструкцию о том, как можно применять различные стратегии биаз-минимизации в зависимости от кон

#### Контекст Машинный перевод низкоресурсных языков, таких как бамбарский, представляет особые сложности из-за недостатка больших объемов текстовых данных и традиционного переводоманиала. Бамбарский — это язык, широко распространенный в Африке, но ему относится мало ресурсов и словарей. Это вызывает проблему перевода на него автоматически, так как модели, обученные на языках с большим количеством ресурсов, сталкиваются с трудностями при переносе на низкоресурсные языки. Целью данной работы является сравнение различных подходов к обучению моделей, основанных на трансформерах, для перевода с французского на бамбарский. #### Метод Работа представляет сравнение трех разных пайплайнов. **Первый пайплайн** обучает простой трансформер для перевода французских предложений на бамбарский. **Второй пайплайн** заключается в том, чтобы файн-тюнить модели LLaMA (3B-8B), используя декодер-только архитектуры, для перевода с французского на бамбарский. Также в этом пайплайне были использованы различные комбинации гиперпараметров для улучшения метрик BLEU и chrF. **Третий пайплайн** основан на языковой дистилляции и использует двойной нейронный сетевой архитектуру студент-учитель, интегрирующую бамбарский язык в предварительно обученную модель LaBSE. Этот подход использует языковое независимое представление, а затем BERT расширяет модель LaBSE для генерации перевода. Модели из этих пайплайнов были тестированы на двух датасетах: Dokotoro (медицинские тексты) и Bayelemagaba (различные регионы). #### Результаты Первый пайплайн демонстрирует лучшие результаты, особенно на менее стандартных датасетах. Он достиг 10% BLEU и 21% chrF на Bayelemagaba, а на Yiri-датасете — 33.81% BLEU и 41% chrF. Это указывает на то, что простой трансформер способен лучше адаптироваться к низкоресурсным языкам. Второй пайплайн, заключающийся в файн-тюнинге LLaMA-моделей, показывает лучшие результаты на отдельных датасетах, но менее эффективен при объединении нескольких датасетов. Третий пайплайн, использующий дистилляцию, достиг достаточно высоких результатов, но он не имеет важного преимущества перед двумя первыми подходами. #### Значимость Результаты показывают, что первый пайплайн, несмотря на свою простоту, показал себя как наиболее эффективный для низкоресурсных переводов с французского на бамбарский. Это может быть объяснено тем, что простой трансформер лучше адаптируется к низкоресурсным языкам, не привлекая сложности более сложных архи

## Контекст В последние годы появился значительный интерес к методам выравнивания (alignment) бо LLM (больших языковых моделей), которые играют ключевую роль в достижении пользовательских удовлетворительных выходных данных. Несмотря на это, существующие подходы к выравниванию LLM значительно сконцентрированы на значениях и предпочтениях узкой группы специалистов, что приводит к централизации контроля над производством знаний и губернанскими процессами в уже влиятельных институтах. Это приводит к выявлению проблемы централизации власти в области технологий и вызову предмета исследования в целом. Данная работа поднимает вопросы о том, как можно развивать методологии выравнивания, которые будут более открытыми, участвующими и контекстуальными, чтобы снизить риск централизации и сделать новые технологии более включающими и этичными. ## Метод Методология, представленная в этой работе, основывается на теории мощности и знания, которая позволяет проанализировать влияние существующих технологических систем на общественное управление и знания. Для решения проблемы централизации, работа предлагает использовать три основных принципа: контекст, плюрализм и участие. Эти принципы были применены в различных сценариях применения LLM, чтобы демонстрировать, как они могут помочь разнести контроль и создать более включающие системы. Детальный анализ был проведен с использованием конкретных примеров, в том числе сценариев с образовательными целями, государственного управления и культурной интеграции. Методология также охватывает технические решения для выравнивания LLM, включая параметры модели, процессы обучения и другие технические детали, необходимые для достижения более равнотерпимости и эффективности в различных контекстах. ## Результаты Результаты исследования демонстрируют, что применение контекстуальных, плюралистических и участвующих подходов к выравниванию LLM может значительно улучшить их эффективность и принимаемость в различных культурных и социальных контекстах. Данные эксперименты показали, что традиционные модели, ориентированные на однородные предпочтения, часто проваливаются в нестандартных сценариях, в то время как более гибкие и контекстуальные подходы показали значительно большую устойчивость и доступность. Например, применение LLM в образовательных сценариях демонстрирует, как контекстуально ориентированные модели могут быть более эффективными в генерировании учебных материалов, учитывая разнообразие студентов и их потребностей. Такие технологии также показали большую эффективность в сфере госуда

## Контекст Миграция является одной из кллючевых проблем в политических дебатах Германии, от десятков миллионов мигрантов в послевоенный период до рабочих миграций в 20-е годы XX века и недавних рефугеев. Исследование политического языка в этой области требовало широкого использования ручных аннотаций, что ограничивало объемы анализируемых данных. Возникшие недавно технологии Больших Лингвистических Моделей (LLMs) приглашаются как альтернатива для автоматизации таких задач. В настоящей статье описывается использование LLMs для анализа (анти-)солидарности в Германском бундестаге в течение последних 150 лет, с фокусом на последние 10 лет. Эта работа является одним из первых подробных исследований использования LLMs в этой области. ## Метод Для анализа были использованы данные из Германского бундестага за последние 150 лет, включая тексты дебатов, заседаний и вопросов. Для автоматизации аннотаций была использована Большая Лингвистическая Модель (LLM), которая ставилась в соответствие с ручным аннотированием, проведенным в течение года. Архитектура LLM была уточнена с помощью различных подходов, включая настройку (fine-tuning) и изменение команд (prompting). Были проведены эксперименты с разной модельной архитектурой, размером модели и уровнем предобучения. Также были исследованы систематические ошибки и ограничения моделей. ## Результаты Анализ показывает, что миграционные дебаты в послевоенном периоде характеризовались высоким уровнем солидарности с мигрантами. Однако в последних 10 лет, особенно после 2015 года, произошел поворот в сторону анти-солидарности. Эти изменения могут быть связаны с увеличением числа мигрантов, политическими изменениями и социальными динамиками. Лингвистические модели показали высокую точность в определении (анти-)солидарности, но имели систематические ошибки, особенно в контексте исторических данных. ## Значимость Результаты имеют важное значение для политических и социальных исследований. Они подчеркивают важность темы миграции в Германии, от компенсационной солидарности в послевоенном периоде до недавних политических изменений. Эти находки могут помочь понять динамику политических отношений в Германии и во всем мире. Большие Лингвистические Модели демонстрируют возможность автоматизации анализа политической речи, что открывает новые возможности для исследований в области политологии и нейротекстологии. ## Выводы В ходе исследования было установлено, что Большие Лингвистические Модели могут эффективно автоматизировать анно

## Контекст Advanced Persistent Threats (APTs) являются одной из наиболее опасных угроз в сфере кибербезопасности. Они характеризуются своим незаметным и продолжительным характером, что делает их сложнее обнаружить. Традиционные супервизированные методы обучения требуют больших объемов меток данных, что часто отсутствует в реальных условиях. Такая нехватка данных с метками препятствует эффективному обучению моделей и снижению затрат на ручную маркировку. Это ставит перед исследователями задачу создания методов, которые бы эффективно обучались с минимальным количеством меток. Наша работа призвана решить эту проблему, объединяя технологии автокодирования и активного обучения для улучшения обнаружения APT. ## Метод Мы предлагаем архитектуру Attention Adversarial Dual AutoEncoder (AAD-AE) для аномалийного обнаружения, которая использует активное обучение для постоянного улучшения модели. Автокодировщик с аттенцией обнаруживает аномалии, а активное обучение создает запросы по меткам только для неоднозначных примеров. Это позволяет сократить затраты на метки, не ухудшая качество обучения. Мы также вводим технику адверсарского аугментации, которая генерирует поддельные примеры, чтобы лучше обучить модель к различным сценариям атак. Модель обучается по нескольким системным данным (Linux, Android, BSD, Windows), что позволяет обрабатывать разнообразные APT-атаки. ## Результаты Метод был проверен на реальных данных DARPA Transparent Computing program, где APT-атаки составляют всего 0.004% от общего объема данных. Мы проводили эксперименты в двух сценариях атак и сравнивали результаты с тремя современными аналогами. Активное обучение показало значительные улучшения в обнаружении APT по сравнению с другими методами. Мы также показали, что адверсарская аугментация существенно повышает точность обнаружения, даже при нехватке данных. ## Значимость Наш подход может быть применен в различных ситуациях, где данные меток ограниченны, но необходимо обнаруживать редкие и сложные аномалии. Он эффективен для различных системных платформ и может быть использован для расширения существующих методов кибербезопасности. Это включает в себя наблюдение за системным поведением, обнаружение вредоносной активности малого размера и повышение уровня общей кибербезопасности. ## Выводы Мы доказали, что наш подход не только эффективно улучшает обнаружение APT, но и экономит ресурсы на ручной маркировке данных. Будущие исследования будут сконцентрированы на расширении модели на другие виды аномального поведения и улучшении ее точности на более больших данных.

## Контекст Персональность, как набор характеристик и поведенческих тенденций, широко исследована в контексте человеческого поведения. Она используется для прогнозирования поведения, принятия решений и взаимодействия в различных сферах. В последние годы, с развитием бо LLM, возникло интересное взаимосвязи между личностью и их поведением. Однако, существуют значительные проблемы в изучении этого взаимодействия. Люди часто оценивают свою личность с помощью самооценочных методов, которые могут быть неточными. Боты LLM также могут отображать личностную иллюзию, где их самосвертка не точно отражает свой поведенческий вывод. Это наблюдение поднимает вопросы о точности и надежности использования личностных характеристик для предсказания поведения в LLMs. ## Метод Для изучения этой проблемы была разработана систематическая методология, состоящая из трех основных этапов: 1) характеристика личностных характеристик в разные стадии тренировки LLM; 2) проверка того, насколько самооценка личности соответствует фактическому поведению в задачах; 3) изучение эффекта целенаправленных вмешательств, таких как персонализация, на самосвертку и поведение. Данные для экспериментов были получены с помощью различных моделей LLM, включая обученные с использованием методов руководящего ожидания (RLHF) и инструкционной тюнинг. Модели были протестированы на поведенческих задачах, связанных с саморегуляцией и согласованностью. Это позволило изучить, насколько личностная самосвертка влияет на поведение и насколько точно она может предсказывать реальное поведение. ## Результаты Из исследования выяснилось, что инструкционное рвение (RLHF) и инструкционная тюнинг стабилизируют выражение личности в LLM и усиливают корреляции между самосверткой и поведением. Однако самосвертка не точно предсказывает поведение, и наблюдаемые связи часто отличаются от тех, которые встречаются в человеческих данных. При этом персонализация эффективно управляет самосверткой в нужном направлении, но оказывает мало или непоследовательное влияние на самосвертку и поведение. Эти результаты показывают, что личность в LLMs может быть отображена на поверхности, но не всегда отражает реальное поведение. ## Значимость Полученные результаты имеют значимость в нескольких областях. Во-первых, они могут быть использованы для улучшения методов оценки индивидуальных личностных характеристик в LLMs, чтобы более точно предсказывать поведение. Во-вторых, они могут применяться в области разработки более согласованных и предсказуемых личностных моделе

## Контекст Уже имеющиеся текстовые модели могут недостаточно точно распознавать эмоции в текстах, особенно когда речь идет о поэзии, где язык часто выражается с помощью символизма, аллюзий и культурно специфических структур. Это особенно актуально для культурно уникальной китайской поэзии. Отсутствие достоверных данных и специализированных моделей для распознавания эмоций в текстах мотивирует нас к разработке подхода, который мог бы сочетать компьютерные методы с квалифицированным литературным анализом. ## Метод Команда разработала датасет с именем KPoEM (Korean Poetry Emotion Mapping), включающий 7,662 эмоциональных записей, полученных из 483 поэм, написанных 4 известными китайскими поэтами. Записи были проанализированы и помечены 44 конкретными культурно-зависимыми эмоциональными категориями. Для обучения использовались веб-скарпинговые технологии для сбора текстов, а для разметки данных привлекались эксперты, которые проводили культурную и литературную экспертизу. ## Результаты На основании этих данных была обучена модель текстового анализа, которая показала значительное улучшение в точности распознавания эмоций в сравнении с общей моделью, которая была обучена на общем текстовом корпусе. Точность новой модели достигла 0.60 F1-micro, в то время как модель общего текста достигла только 0.34. Это указывает на успешное сочетание технических техник с культурным контекстом. ## Значимость Разработанный подход может быть применен для досконального изучения эмоционального контента в тексте, особенно в поэзии. Он обладает потенциалом для улучшения текстовой классификации в традиционной китайской поэзии. Это может открыть новые горизонты для квантитативного анализа литературы, позволяя детально изучать эмоциональную структуру текста. ## Выводы Результаты демонстрируют эффективность использования специализированных датасетов для обучения моделей текстового анализа в контексте культурно-зависимых языковых экспрессий. Будущие исследования будут стремиться улучшить модель, расширив ее на другие культуры и языки, а также использовать эти технологии для других текстовых анализов, таких как анализ новостей или социальных медиа.