## Контекст Ин-контекстное обучение (ICL) является мощным подходом к адаптации больших языковых моделей (LLM) к новым и данным-нехватке задачам, используя только несколько тщательно выбранных примеров, представленных в запросе. Однако существует основная проблема: какие примеры следует выбрать, чтобы максимально увеличить производительность на определенном запросе пользователя? Данный вопрос становится ключевым из-за ограниченного контекста LLMs. Ранее рассматривался подход KATE, основанный на ближайших соседях, но у него есть известные проблемы, включая малое универсальность при работе в высокомерных пространствах признаков и недостаток разнообразия выбранных примеров. В настоящей работе мы принимаем новый, принципиальный подход, основываясь на информационной теории, чтобы оптимизировать выбор примеров. ## Метод Мы рассматриваем LLM как линейную модель, работающую над входными признаками, и преобразуем задачу выбора примеров в задачу оптимизации запроса-специфической: выбор подмножества примеров из большого банка примеров, которое минимизирует ошибку предсказания для конкретного запроса. Этот подход отличается от традиционных теоретико-обоснованных подходов к обучению, нацеленных на обеспечение общей точности, и сконцентрирован на достижении точного предсказания для конкретного запроса. Мы даем принципиальные обоснования для суррогатной функции, которая приближенно является подмодулярной, что позволяет применять жадный алгоритм с гарантией приближения. Для улучшения метода мы (i) вводим трюк кернела, чтобы работать в высокомерных пространствах признаков без непосредственной линейной маппинга, и (ii) добавляем оптимальный дизайн-регуляризатор, стимулирующий разнообразие выбранных примеров. ## Результаты Мы проводим эксперименты на нескольких классификационных задачах и сравниваем наши результаты с существующими методами. Наши результаты показывают значительные улучшения по отношению к стандартным методам восстановления, в том числе повышение точности предсказаний и увеличение разнообразия выбранных примеров. Эти результаты подтверждают преимущества структурно-ориентированного, разнообразного выбора примеров для ICL в реальных, данным-нехватке сценариях. ## Значимость Наш подход может быть применен в различных областях, где требуется эффективное использование ограниченных данных, такие как научная интерпретация, биология, интеллектуальные технологии. Основные преимущества заключаются в улучшении точности предсказаний, увеличении разнообразия выбранных примеров и эффективности применения в технических задачах. Б

## Контекст Эмоциональное благополучие является ключевым аспектом качества жизни, но многие цифровые инструменты для улучшения ментального здоровья остаются статичными и не учитывают тонкие оттенки эмоциональных состояний. Например, предпредплясное тревожиться, которое страдает более чем 1,5 миллиарда человек по всему миру, часто обрабатывается однотипными, "одноразмерными" подходами, не учитывающими индивидуальные особенности. EmoHeal, представленный в этой работе, представляет собой комплексную систему для персонализированного восстановления терапевтической музыки, которая учитывает тонкие различия эмоциональных состояний и предлагает индивидуальный подход к терапевтическому восстановлению. ## Метод Systsem EmoHeal представляет собой инновационный подход к терапевтической музыке с помощью трех этапов: детектирование, сопоставление и воспроизведение. Для детектирования эмоций используется модель XLM-RoBERTa, которая обучена распознавать 27 тонких эмоциональных состояний. Эти эмоции сопоставляются с музыкальными параметрами через знание о музыке-терапии (GEMS, iso-principle), предоставленным в виде знания. Для обнаружения содержимого видео и аудио используется CLAMP3-модель, которая делает предложения подходящего материала на основе текущего эмоционального состояния пользователя. ## Результаты EmoHeal протестирован на 40 участниках в рамках внутри-субъектного эксперимента. Участники сообщили значительное улучшение настроения (M=4.12, p<0.001) и высокую точность распознавания эмоций (M=4.05, p<0.001). Также была выявлена сильная корреляция между уровнем распознавания эмоций и терапевтическим эффектом (r=0.72, p<0.001), что подтверждает эффективность тонкой градации эмоциональных состояний. Эти результаты демонстрируют, что теория-ориентированный, эмоционально-сознательный подход может обеспечить эффективную цифровую поддержку для цифровых инструментов ментального здоровья. ## Значимость EmoHeal может применяться в различных сферах, в том числе в социальных и здравоохранных системах, для поддержки эмоционального здоровья. Его преимущество в том, что он использует терпимый подход для индивидуального улучшения эмоционального состояния на основе тонких эмоциональных состояний. Это делает EmoHeal выгодным для широкого круга пользователей, которые испытывают стресс и тревогу. Potentially, EmoHeal может влиять на отрасль цифровых инструментов для улучшения ментального здоровья, обеспечивая надежный и эффективный подход к терапии через музыку. ## Выводы Результаты эмпирически

## Контекст В ходе развития интеллектуальных систем, в частности, бо LARGE LANGUAGE MODELS (LLM), возникла необходимость в методах, позволяющих эффективно управлять реакцией таких моделей в задачах, требующих принятия решений и реального мышления. Это связано с особенностями работы LLM, которые часто стремятся к оптимальным решениям, игнорируя разнообразие возможных путей мышления. Это может привести к жесткости и недостатку разнообразия в решениях, которые могут быть важны в сложных задачах. Таким образом, проблема заключается в том, чтобы развить методы, позволяющие моделям не только достигать высокого уровня достоверности, но и сохранять разнообразие в решениях. ## Метод В статье предлагается FlowRL: метод, основанный на **flow balancing** (равновесии потоков), который превращает скалярные награды в нормализованное распределение наград с помощью обучаемого функционала. Вместо того, чтобы придерживаться методов максимизации награды (например, PPO или GRPO), FlowRL фокусируется на совпадении распределения награды, избегая чрезмерной оптимизации наиболее частых путей. Архитектура FlowRL включает в себя: 1. **Обучаемый партиционирующий функционал**, который преобразует награды в равновесие потоков. 2. **Метод оптимизации**, использующий **reverse KL divergence** для минимизации разницы между политикой и нормализованным распределением. Этот подход позволяет модели эффективно исследовать разнообразные пути, включая редкие, но важные для предсказания и разнообразия решений. ## Результаты Для оценки эффективности FlowRL проводились эксперименты на двух типах задач: **математических** и **кодовых**. На **математических задачах**, FlowRL достиг среднего улучшения в $10.0\%$ по сравнению с GRPO и $5.1\%$ по сравнению с PPO. Это свидетельствует о более эффективной и разнообразной исследовательской стратегии. На **задачах кодирования** показаны постоянные улучшения, что подтверждает универсальность и эффективность этого подхода. Эти результаты подчеркивают, что FlowRL представляет собой ключевой подход к повышению разнообразия и эффективности в LLM-решениях. ## Значимость Продемонстрированная методология FlowRL имеет широкие приложения в областях, где важно сохранение разнообразия решений, такие как **код-генерация**, **математическое моделирование**, и даже в **игровых сценариях**. Ее преимущества заключаются в том, что она позволяет LLM-моделям не только достигать высокой точности, но и расширять пределы их мышления в различных сценариях. В будущем, этот подход может быть расширен для решения задач, требующих более вы

## Контекст Маскированные диффузионные модели (Masked Diffusion Models, MDMs) — это мощный класс моделей для генерации данных, основывающийся на поэтапной генерации при помощи оператора диффузии. Эти модели применяются в различных областях, включая генерацию изображений, текста и звука. Однако существуют значительные проблемы в понимании математических принципов, основывающихся на этих моделях. Например, неясно, как модели MDM могут минимизировать различные виды энергии в процессе генерации, а также как можно эффективно оптимизировать стратегии генерации данных. Эти проблемы мотивируют создание новой теоретической модели для улучшения понимания и применения MDM. ## Метод Мы предлагаем новую теоретическую фреймворк, которая интерпретирует MDM в терминах минимизации энергии в контексте дискретного транспорта. Эта модель включает три основных методы минимизации энергии: кинетическая, условная кинетическая и геодезическая энергия. Мы доказываем, что эти формулы энергии интерпретируются как решения теории диффузии в контексте MDM. Более того, мы показываем, что MDM минимизируют эти три энергии при использовании оптимального расписания масок. Мы также предлагаем новую схему оптимизации взаимосвязей между маской и энергией, используя Бета-распределение для параметризации интерполяционного расписания. ## Результаты Мы проводим эксперименты на синтетических и реальных данных, оценивая модели MDM в условиях различных расписаний диффузии и маски. Мы проверяем, насколько эффективно работают новые стратегии минимизации энергии по сравнению с традиционными методами оптимизации. Наши эксперименты показывают, что стратегии, основанные на теории энергии, демонстрируют значительные улучшения в скорости генерации и качестве результатов, особенно в условиях низкого шага диффузии. ## Значимость Наша работа имеет значительное значение для разных областей, включая генерацию изображений, синтез звука и текста. Эта модель позволяет улучшить эффективность генерации данных, особенно в условиях ограниченных ресурсов. Наша модель также может быть применима для других задач, где необходимо минимизировать энергию в процессе генерации. Это дает новые возможности для развития систем глубокого обучения в целом. ## Выводы Мы предлагаем новую теоретическую модель, которая систематически интерпретирует MDM в терминах минимизации энергии. Наши эксперименты показывают, что новые стратегии оптимизации энергии дают значительные улучшения в скорости

#### Контекст Современные языковые модели (Language Models, LMs) являются мощными инструментами, применяемыми в различных областях, от глубокого обучения до прикладных задач. Одна из важных проблем в этой области — хранение и доступ к информации, полученной в процессе обучения. Особенно интересно понять, могут ли модели отличать информацию, полученную раньше от поздней, и как это может влиять на их поведение в задачах обработки естественного языка. Эта проблема становится актуальной в свет новых задач, таких как модификация знаний моделей, где необходимо управлять временным порядком данных. #### Метод Для исследования данной проблемы был разработан специальный подход, основанный на последовательном отображении модели Llama-3.2-1B на датасеты, отличающиеся только типом именных сущностей. Это позволило создать модель с известным порядком обучения. Для изучения взаимосвязи между порядком обучения и активациями модели, была проведена аналитическая обработка векторов активаций, включая их проекцию в 2D-пространство. Также были применены линейные пробы (linear probes) для оценки точности разделения "ранних" и "поздних" данных, включая те, которые не принимали участие в обучении пробы. #### Результаты Исследование показало, что вектора активаций модели линейно кодируют порядок обучения данных. Это особенно заметно при проекции на два измерения, где центроиды активаций для каждого датасета расположены в точности в порядке их обучения, образуя прямую линию. Кроме того, линейные пробы демонстрируют высокую точность (~90%) в различении "ранних" и "поздних" данных, даже при обучении на независимых датасетах. Модель также была успешно приведена к оценке технических признаков новых сущностей с учетом их временного порядка (~80% точность). Интересно, что эта возможность не связана с простыми изменениями магнитуды активаций или уровнями достоверности. #### Значимость Результаты этого исследования подтверждают возможность языковых моделей отличать данные по времени их получения. Это открывает пути к улучшению методов управления знаниями, включая модификацию знаний и решения конфликтов в данных. Полученные результаты могут быть применены в задачах адаптации знаний моделей, преодоления переносной неспецифичности и моделировании временных ситуаций. #### Выводы Исследование демонстрирует, что модели языкового моделирования способны отличать данные по времени их обучения, что может быть ключевым моментом для развития технологий управления знаниями. Будущие исследования должны сфокусироваться на углублении понимания этого явления, в том числе изучении структуры хранения временных признаков и раз

## Контекст Задачи понимания языка и анализа цифровых идентитетов возникают во многих приложениях, от социальных сетей до центров вызовов. Одна из сложных проблем в этой области — определение пола пользователя на основе его имени или других текстовых данных. Это особенно актуально для языков с уникальными транслитерационными и именновыми паттернами, таких как персидский. Существующие решения часто сталкиваются с ошибками, особенно при работе с нестандартными именами или недостаточно представительными данными. Это приводит к понижению качества услуг и недовольство пользователей. Мы предлагаем PNGT-26K — большую, представительную базу данных персидских имён, и два инструмента для её использования: Open Gender Detection и Nominalist. ## Метод PNGT-26K — это база данных, состоящая из примерно 26,000 записей, каждая содержащая персидское имя, его типичное полное склонение, английскую транслитерацию и связанное пол. Данные собраны с помощью статистического анализа и оптимизированы для применения в гендерном определении. Для вычислительного эффективности мы внедрили Open Gender Detection, использующий свёрточные нейронные сети для определения пола с использованием имени и фото. Для создания новых юзернеймов мы предложили Nominalist, основанный на агентном AI, который помогает пользователям найти новое имя, сочетая семантическую аналитику с творческим подходом. ## Результаты Мы провели обширные эксперименты для оценки качества PNGT-26K, Open Gender Detection и Nominalist. Для гендерного определения использовались тысячи изображений и имен, что позволило достичь высокой точности. Для Nominalist мы проверили генерацию юзернеймов на ряде пользовательских сценариев, установив его эффективность в генерировании новых идей. ## Значимость PNGT-26K, Open Gender Detection и Nominalist могут применяться в различных областях, таких как социальные сети, сервисы поддержки клиентов и платформы регистрации. Они обеспечивают более точное понимание пола пользователя и помогают создать более личностный и точный юзернейм. Эти инструменты также способствуют улучшению пользовательского опыта и уменьшению барьеров для новых пользователей в цифровых пространствах. ## Выводы Мы представили PNGT-26K, Open Gender Detection и Nominalist — инновационные решения для проблемы определения пола и генерирования юзернеймов в контексте персидских имен. Наши работы могут способствовать развитию методов анализа языка и поддержки цифровой идентитети в широких приложениях. Мы планируем расширить нашу работу на другие языки и приложения, а также создать более сложные модели для понимания цифровых идентитетов.

#### Контекст Large Language Models (LLMs) являются мощными инструментами для обработки естественного языка, но их развитие сталкивается с значимыми техническими вызовами. Одной из ключевых проблем является высокая сложность агрегации внимания (attention mechanism), которая растет в квадрате от числа токенов в контексте. Это приводит к большому потреблению вычислительных ресурсов и памяти, ограничивая возможности эффективного использования LLMs в реальном мире. Наличие такой барьера ставит под сомнение эффективность использования LLMs в сценариях, требующих большого контекста, таких как документный поиск, диалоговые системы и анализ больших документов. Наша мотивация заключается в разработке метода, способного эффективно решать эту проблему без существенной потери качества. #### Метод Мы предлагаем AQUA (Attention via QUery mAgnitudes) — новую стратегию, способную эффективно approximating attention. Метод работает в двух фазах. В первой фазе происходит оффлайн-подготовка, в ходе которой вычисляется универсальная, языконезависимая проекционная матрица с помощью SVD на калибровочной выборке. Во второй фазе — онлайн-инференсе — векторы запроса (query) и ключа (key) проецируются с помощью подготовленной матрицы, после чего выбирается спарседный набор дименсий, основываясь на мощности запроса (query magnitude). Это дает возможность существенно уменьшить вычислительную нагрузку при одновременном сохранении высокого качества результатов. Изучены аспекты теоретической обоснованности AQUA, в том числе точка переноса, при которой этот метод становится более эффективным, чем стандартная агрегация внимания. #### Результаты Мы проводили эксперименты на современных моделях, в том числе Llama-3.1-8B, используя различные бенчмарки. Наши результаты показали, что AQUA позволяет снизить затраты на вычисления внутри агрегации внимания на 25%, при этом не вызывая значительных потерь в качестве ответа. Были проанализированы преимущества с точки зрения уменьшения потребления памяти, включая H2O и KV-cache. Эти результаты подтверждают, что AQUA является эффективным инструментом для ускорения инференса в LLMs, сочетая в себе высокую точность и экономичность. #### Значимость AQUA может быть применен в различных сценариях, где требуется большой контекст для обработки языка, включая документный поиск, диалоговые системы и анализ больших данных. Он обеспечивает высокую эффективность с значительными экономиями в вычислительных ресурсах и памяти, без существенных потерь в качестве ответа. Это делает AQUA привлекательным для сценариев, где требуется максимальная производительность с ограниченными ре

## Контекст Область исследования заключается в развитии новых алгоритмов и подходов в области машинного обучения, особенно в реинфорсментном обучении с помощью человеческой поддержки (RLHF). Данная область имеет огромное значение, так как она позволяет создавать модели, которые могут учиться из интерактивного взаимодействия с пользователями. Несмотря на развитие технологий RLHF, существуют значительные проблемы, связанные с неоднородностью подходов и недостаточностью возможностей для переноса между различными методами. Одной из целей проекта Opal является упрощение и гармонизация набора подходов в RLHF, обеспечив более универсальную и эффективную архитектуру. ## Метод Основой работы является операторная алгебра, которая позволяет выражать объективные функции RLHF с помощью двух основных примитивов: аддитивных штрафов и мультипликативных весов парных предпочтений. Авторы предлагают стандартную схему GKPO (Generalized Kernel Preference Object), которая объединяет различные методы RLHF в единую структуру. Данная схема включает в себя механизмы сериализации в формате JSON, нормализацию, правила хэширования и определение флагов, которые обозначают условия, при которых реduction невозможен. Метод также включает гибкую архитектуру, позволяющую легко вносить изменения и расширения. ## Результаты В ходе работы проведены эксперименты с использованием разных методов RLHF, включая DPO, RRHF и ORPO. В результате была показана эффективность GKPO-схемы в представлении и преобразовании методов RLHF. А также были проведены тесты на простых примерах, показавшие устойчивость и гибкость схемы в случаях, когда некоторые предположения не выполняются (например, в случае сдвига референса или неуниверсальности весов). Также были разработаны инструменты для сериализации в формате JSON и адаптеров для DPO и RRHF, которые упрощают применение GKPO в различных приложениях. ## Значимость Предлагаемый подход имеет множество аспектов, которые могут быть использованы в различных областях применения. Одним из основных преимуществ является универсальность и доступность, что может улучшить работу других методов RLHF. Также GKPO может использоваться в адаптации RLHF-моделей к различным задачам и сценариям. Дополнительно, внедрение стандартной схемы и хэширования во все методы RLHF может положительно сказаться на интеграции и поддержке различных систем. ## Выводы Работа предлагает новый подход к оформлению целей RLHF через операторную алгебру и представления с помощью GKPO-схемы. Основные достижения включают в себя разработку универсальной схем

#### Контекст Существующие методы обучения безопасности и технологии удаления знаний (unlearning) сталкиваются с основной проблемой: не удается отказаться от данных или знаний без серьезного воздействия на общую модель. Это проблема наблюдается в области глубокого обучения, где модели могут случайно сохранять опасные или нежелательные знания, даже после попыток их удаления. Такой сценарий не только создает риск для безопасности, но и порождает вопросы относительно юридической аудитности и ответственности в широком количестве сценариев приложений. Мы рассматриваем эту проблему как задачу выбора и сокращения специфичных представлений модели, не влияя на общую модель. #### Метод Мы предлагаем Collapse of Irrelevant Representations (CIR), метод целевого удаления представлений. Он основывается на анализе взаимосвязей между входными данными и выходными модулями модели. Метод работает следующим образом: 1. **Определение ненужных представлений**: используя техники PCA (главных компонент), мы идентифицируем определенные подпространства в выходных модулях и входных слоях, которые содержат значимые характеристики для удаляемого знания. 2. **Схлопывание подпространств**: представления, которые необходимо удалить, сокращаются, но только в тех подпространствах, где они специфичны, без нарушения общих представлений модели. 3. **Обновление модели**: после выявления ненужных представлений, мы выполняем адаптивное обновление модели, которое удаляет только эти представления, оставляя остальные возможности модели неизменными. Эта методика позволяет применять удаление знаний с высокой точностью, сохраняя общую модель неизменной. #### Результаты Мы проверили CIR на Dataset WMDP с различными типами подсетей (biohazardous и cyberhazardous). Мы сравнили результаты с одним из лучших базисных методов — Circuit Breakers. Результаты показали следующее: - **Улучшение точности удаления**: CIR снизил точность модели на 80 раз больше при удалении biohazardous фактов и на 30 раз больше при удалении cyberhazardous фактов по сравнению с Circuit Breakers. - **Уменьшение влияния на общую модель**: CIR в 30 раз меньше повлиял на общую точность модели, где WikiText loss всего 0.1%. - **Эффективность вычислений**: CIR потребовал менее 3 GPU-секунд на удаление одного факта. Эти результаты показывают, что CIR эффективно удаляет ненужные знания, сохраняя общую функциональность модели. #### Значимость Мы предлагаем CIR как решение для широкого спектра задач, в которых необходимо удалить конкретные знания без влияния на общую модель. Это может быть применено в области безопасного обучения, где модели должны быть удалены без ущерба для безопасности или юридических т

#### Контекст С Large Language Models (LLMs) становится все более высоким требование к их удобству развертывания в реальном мире. Это связано с ограничениями памяти, затратными операциями и высокими требованиями к качеству моделей. Одним из ключевых подходов для решения этих проблем является **weight-only quantization**, позволяющий сократить объем памяти, необходимой для хранения моделей. Но этот подход также влечет за собой тонкий баланс между качеством модели и требуемым количеством памяти. Традиционные методы, такие как black-box optimization, неэффективны из-за огромного количества возможных комбинаций конфигураций. Мы представляем **AMQ (Automated Mixed-Precision Weight-Only Quantization)**, рам reconstruction работающую в необходимых ограничениях, используя эффективные техники оптимизации и поиска. #### Метод AMQ представляет собой автоматизированную систему построения слоев с неодинаковой точностью, при этом стараясь минимизировать затраты памяти и потери качества. Основные инновации: 1. **Search Space Pruning**: Использование предварительных знаний для исключения неподходящих конфигураций, что позволяет эффективно сократить комбинаторный поиск. 2. **Quantization Proxy**: Использование прокси-метрик для оценки модели без дорогостоящих форматных преобразований во время поиска. 3. **Quality Predictor**: Использование сверточных моделей, специализированных на прогнозировании качества, чтобы минимизировать накладные расходы на полноценные эксперименты. 4. **Iterative Search-and-Update Strategy**: Развитие последовательного подхода, который стремится к быстрому и стабильному достижению парето-оптимальных решений. Эта архитектура позволяет AMQ выполнить адаптивный поиск и быстро находить оптимальные конфигурации, которые достигают точного баланса качества и эффективности. #### Результаты Мы провели ряд экспериментов на различных Large Language Models (LLMs) с разным содержимым и ограничениями памяти. Использовались данные, включающие обучающие наборы, тестирующие наборы и предварительно обученные модели. Метод AMQ позволил достичь значительных улучшений в памяти и качестве моделей при ограниченных ресурсах. Например, для модели GPT-2, AMQ смог уменьшить размер модели на 30% при сохранении 98% точности. Это демонстрирует эффективность AMQ в достижении ключевых целей: сохранять качество в моделях с меньшим объемом памяти. #### Значимость AMQ обеспечивает значительные преимущества в сфере развертывания моделей глубокого обучения на ограниченных платформах. Он позволяет: - Увеличить удобство развертывания LLMs в реальном мире. - Оптимизировать затраты на память без существенных потерь качества. - Сделать модели доступнее для различных платформ, включая mobile и edge