## Контекст Современные машинное обучение и анализ данных часто сталкиваются с трудностями при настройке моделей и алгоритмов. Настройка конфигураций — это критический аспект, включающий в себя регулирование архитектуры модели, стратегии обучения, признаков и гиперпараметров. Традиционные подходы часто работают в рамках изолированного рассмотрения каждой из этих сфер, что приводит к неэффективности и недостатку понимания процесса. В то же время, автоматизированные методы, такие как grid search и random search, либо не могут адаптироваться динамически к изменениям, либо не обладают способностью семантического анализа. Мотивированы тем, что необходимо создать более интеллектуальный подход, мы предлагаем Language-Guided Tuning (LGT) — рамку работы, которая использует многоагентные Large Language Models для оптимизации конфигураций с использованием естественного языка. ## Метод LGT основывается на многоагентной модели, в которой каждый агент имеет свой специализированный роль. Этот подход включает Advisor, Evaluator и Optimizer. Advisor генерирует новые конфигурации на основе естественного языка и возможности понимания особенностей оптимизации. Evaluator оценивает эффективность новых конфигураций, используя текстовые сигналы (текстовые градиенты), которые позволяют понять динамику обучения и взаимосвязи между конфигурациями. Optimizer, в свою очередь, адаптирует стратегию оптимизации на основе результатов Evaluator. Этот цикл создает самоповышающуюся систему, где каждый агент способствует улучшению общей системы. ## Результаты Мы проводили современные эксперименты на шести различных наборах данных, используя различные модели и задачи. Результаты показывают, что LGT превосходит традиционные методы, такие как grid search и random search, в соотношении качества результатов к времени выполнения. Также мы обнаружили, что наша система обладает высокой интерпретируемостью, что позволяет пользователям лучше понять принципы принятых решений. Например, в задаче регрессии на основе датасета MNIST, LGT показал до 20% улучшения в точности в сравнении с традиционными подходами. ## Значимость LGT может иметь широкие применения в машинном обучении, в том числе для настройки моделей, оптимизации гиперпараметров и автоматизированного анализа данных. Его главные преимущества заключаются в высокой эффективности, меньшем потреблении ресурсов и возможности для широкого применения. Также, LGT может быть применен в области глубокого обучения, чтобы увеличить скорость и точность оптимизации моделей. Мы считаем, что наш подход может иметь будущее в развитии интеллектуальных систем, которые могут принимать решения на основе естественного яз

#### Контекст Diffusion-based Large Language Models (dLLMs) широко применяются для текстового генерирования, позволяя распараллелить процесс генерации. Однако они сталкиваются с высоким компьютерным накладным расходом, так как осуществляют декодирование путем предсказания всех будущих токенов (суффиксов) в каждом шаге, в то время как только малая часть этих токенов используется в итоговом результате. Эта проблема становится особенно заметной при работе с длинными последовательностями текста, где производительность становится критично важной. На основе этой мотивации была создана статья DPad: Efficient Diffusion Language Models with Suffix Dropout, которая предлагает рациональное решение для улучшения производительности движков dLLMs без ущерба для точности. #### Метод Предлагаемый подход, **Diffusion Scratchpad (DPad)**, стремится улучшить эффективность систем dLLMs, оптимизируя модель аддитивной экспоненциальной модели (AEDM). DPad использует два основных механизма: **строго ограниченный слайдинг-окно (sliding window)** и **определяемый дистанцией-затухание (distance-decay dropout)**. Оба эти механизма гарантируют, что модель будет обрабатывать только ближайшие позиции в суффиксе, удаляя ненужную информацию. Это значительно упрощает вычислительную нагрузку и сохраняет высокую точность. Более того, DPad легко интегрируется в существующие оптимизации, такие как префикс-кэширование, и может быть реализована с помощью нескольких строк кода. #### Результаты Результаты показали, что DPad эффективно увеличивает скорость работы моделей dLLMs, достигая скоростного подъема до **61.4×** в сравнении с базовыми dLLMs, при этом сохраняя высокую точность результатов. Оценки проводились на таких бенчмарках как LLaDA-1.5 и Dream, используя модель LLaMA-2. Набор данных в этих экспериментах включал длинные тексты, что позволило доказать высокую эффективность DPad в условиях реальных задач. Эти результаты указывают на потенциал DPad для оптимизации dLLMs в сценариях с большим объемом данных. #### Значимость DPad может применяться в различных областях, где необходима производительная обработка данных, например, в генерации текста, разработке систем диалоговых систем и анализе больших текстовых данных. Основные преимущества DPad заключаются в улучшении производительности (уменьшение времени вычислений и ресурсоемкости), сохранение высокой точности и простоте внедрения благодаря небольшому количеству изменений в коде. Это может стать ключевым решением для эффективного использования ресурсов в масштабируемых моделях dLLMs. #### Выводы Успех DPad подтверждает возможность улучшения динамической производительности dLLMs, при этом сохра

## Контекст Современные Large Language Models (LLMs), такие как GPT-4 и Llama, достигли впечатляющего уровня в создании натурального текста, однако приносят с собой задачи связанные с безопасностью и аутентичностью содержимого. Недостаток решений для распознавания LLM-генерируемого текста и авторства генерируемых текстов, особенно за пределами английского языка, становится все более заметным. В то же время, авторство генерируемых текстов является ключевым вопросом в форензическом анализе. Данное исследование выделяет необходимость в решении обоих этих проблем одновременно, чтобы улучшить понимание характера действий LLMs. ## Метод Предлагаемый подход, DA-MTL (Detection and Attribution via Multi-Task Learning), представляет собой модель multi-task learning, которая адресована задачей распознавания LLM-генерируемого текста и его авторства. Модель объединяет обучение на разных данных для каждой задачи, меняясь друг с другом, чтобы получать преимущества и делиться сведениями. Эта архитектура использует бэкбоны из нескольких моделей (например, RoBERTa, Llama, GPT-4) и применяет уникальные методы для каждого языка и генерирующей модели. Методология также включает анализ перекрестных модальностей и языков, чтобы стать более зернистой и устойчивой к атакам. ## Результаты Работа оценивалась на девяти датасетах и четырьмя моделях, включая GPT-4, Llama, RoBERTa и XLM-RoBERTa, покрывая русский, английский, французский и немецкий языки. Модель показала высокую точность в определении текста, генерируемого LLM, и в определении конкретной модели-автора. Особо подчеркивается эффективность DA-MTL при работе с множеством языков и моделей. Также проведен анализ противодействия атакам, которые пытаются подделать авторство. ## Значимость DA-MTL может использоваться в области безопасности, форензики и мониторинга авторства текстов. Он позволяет установить границы между генерируемым и ручным текстом, а также определять, какая модель сгенерировала текст. Это делает его применимым в анти-спам-системах, фальсификации-защите, а также в анализе отчетов и социальных тенденций. Улучшение в области авторства генерируемого текста может иметь значительное влияние на проверку источников информации. ## Выводы Данная работа устанавливает новый подход к обеим задачам распознавания LLM-текста и определения авторства. Она показывает, что объединение многозадачного обучения может улучшить результаты как в распознавании, так и в авторстве. Будущие исследования будут направлены на расширение поддерживаемых языков, улучшение методов противодействия атакам

#### Контекст Нейронные модели для производства жестов жестовой речи (Sign Language Production, SLP) сталкиваются со сложностью высокой внутриклассовой переменности. Это делается очевидным в голосовых системах, где различия в форме и стиле кинематических жестов сигнатиков (signers) могут привести к заметному снижению точности. Для улучшения этих моделей, проект предлагает инновационные решения для снижения шумов, связанных с сигнатком (signer noise) и скелетной морфологией (skeletal structure). Эти усовершенствования адресуют важные ограничения в существующих моделях, чтобы обеспечить более точное и понятное значение жестов. #### Метод В этом исследовании предлагается две новые модели, которые объединяют более точные техники позыва и семантического ландшафта. Во-первых, позыва кодируются в пространстве кватернионов (quaternion space) с использованием геодезического потери (geodesic loss), чтобы улучшить точность поворотов и кинематических движений. Во-вторых, контрастивное обучение (contrastive learning) применяется для структурирования декодерных векторов по значимости семантики, используя обобщенные критерии (gloss overlap) или статистические модели семантического схожести (SBERT-based sentence similarity). Эти улучшения внедрены в архитектуру Progressive Transformers (PT), чтобы улучшить обработку жестов и сократить шумные эффекты. #### Результаты Эксперименты проводились на датасете Phoenix14T, который включает более 14 часов звуковых и видеозаписей жестов. Модель с контрастивным обучением показала 16% улучшение в правильной определенности ключевых точек (Probability of Correct Keypoint, PCK). Добавление кватернионов в качестве позывов привело к снижению среднего углового ошибки костей (Mean Bone Angle Error) на 6%. Эти результаты указывают на позитивное влияние моделей, которые интегрируют моделирование скелета и семантическое учитывание в обучение преобраторов (Transformers) для производства жестов жестовой речи. #### Значимость Предложенные улучшения имеют широкие применения в области обучения машин и робототехники, где естественное взаимодействие человека-машина требует точного интерпретирования жестов. Модели показали своё потенциальное влияние на улучшение жестовых систем, активно используемых в системах управления, специальных технологиях и интерактивных приложениях. Эти достижения открывают новые возможности для улучшения понимания и взаимодействия между человеком и машиной. #### Выводы В результате исследования был показан положительный эффект интеграции кватернионов в модели производства жестов жестовой речи. Также была продемонстрирована эффективность семантических контрастивных целей в уменьшении шума. Будущие ис

#### Контекст В настоящее время большие языковые модели (LLMs) для арабского языка ориентированы на Модерн Стандартный Арабский (MSA), но поддержка диалектов, таких как Наджди и Хиджази, остается ограниченной. Это затрудняет достижение полной контрольности и точности генерируемого контента. Хотя существуют усилия по развитию моделей для диалектов, они сталкиваются с проблемами, такими как нехватка качественных данных и нарушение метаданных. Мы выделяем это проблему, сосредотачиваясь на Наджди и Хиджази, диалектах, широко говорящихся в Ар scholarship. В нашем исследовании мы стремимся упростить процесс генерирования текста в этих диалектах, улучшив контроль и точность текстов, что повысит качество интерактивных систем и снизит метаданные-эхо. #### Метод Мы использовали модель ALLaM-7B-Instruct-preview — первую фундаментальную модель, разработанную в Саудовской Аравии. Модель была прикручена к новой LoRA (Low-Rank Adaptation) для генерирования текста на Наджди и Хиджази. Мы изучили два подхода: (i) **Dialect-Token Training**, в котором для каждого запроса добавляется префиксный тег диалекта; и (ii) **No-Token Training**, в котором такой тег опускается. Мы тренировали модель на приватно скомпилированном Corpus Saudi Dialect Instruction (5,466 instruction-response pairs; 50/50 split) и оценивали её на запасном наборе данных средствами external dialect classifier (для контроля языка) и fidelity metrics (chrF++ и BERTScore). Наша модель была сравнена с другими инструктивными моделями, такими как Falcon-7B-Instruct, Llama-3.1-8B-Instruct, Qwen-2.5-7B-Instruct, AceGPT-v2-8B-Chat и JAIS-13B-Chat. #### Результаты Модель Dialect-Token показала значительные улучшения в контроле диалекта, увеличив процент генерируемых надждийских и хиджазийских текстов с 47.97% до 84.21% и снизив процент MSA-leakage с 32.63% до 6.21%. Это привело к повышению точности текстов с chrF++ +3.53 и BERTScore +0.059. No-Token Training также демонстрировал повышение, но в меньшей степени. Мы также сравнили нашу модель с другими инструктивными моделями, демонстрируя её превосходство в контроле диалекта и точности. Однако подобные модели часто сталкиваются с проблемой метаданных-эхо, которая отсутствует в нашей реализации. #### Значимость Наша модель демонстрирует повышенную контрольность и точность в генерировании текстов на Наджди и Хиджази. Это делает её применимой в системах разговорных помощников, генерации текстов для социальных сетей и других приложениях, где точность и контроль языка критически важны. Мы не выпускаем данные или модели в открытом доступе, но предоставляем код для обучения, оценки и интерпретации, чтобы поддержать проверяемо

## Контекст Современные глубокие нейронные сети (DNN) значительно улучшили результаты в области машинного обучения, но они требуют больших ресурсов для обучения и развертывания. Чтобы решить проблему ресурсоемкости, широко используются методы сжатия моделей, такие как пружинное склеивание, постепенное уменьшение размера сети или применение низкоранговых оптимизаций. Однако после сжатия модель может потерять качество или отличаться функциональностью, что негативно сказывается на доверии пользователей к сжатым моделям. Хотя имеется много исследований по измерению точности, скорости и эффективности сжатых моделей, недостаточно уделяется внимания аспекту доверия к результатам модели, который важен для решений в реальном мире. Мы предлагаем двухмерную рамку для оценки доверительности, которая исследует, в какой степени результаты сжатых моделей эквивалентны результатам больших моделей. ## Метод Мы разработали двухмерную рамку для оценки доверительности сжатых моделей. Первый аспект — **интерпретируемость** — измеряется с помощью LIME (Local Interpretable Model-agnostic Explanations) и SHAP (SHapley Additive exPlanations) для определения, на каких инпутных признаках основываются модели для своих прогнозов. Таким образом, можно сравнить, имеют ли модели одинаковые принципы принятия решений. Второй аспект — **калибровочная похожесть** — оценивается с помощью метрик, таких как ECE (Expected Calibration Error), MCE (Maximum Calibration Error), Brier Score и диаграммами надежности. Эти метрики показывают, насколько надежны прогнозы моделей в отношении уверенности в своих прогнозах. Мы применили эту рамку к модели BERT-base и ее сжатым вариантам для решения задач натурального языкового интерпретации (NLI) и парафразирования. ## Результаты Результаты экспериментов показали, что сжатые модели, хотя и демонстрируют почти одинаковую точность, значительно отличаются от больших моделей по интерпретируемости и калибровочной похожести. Интерпретируемость сжатых моделей была значительно ниже, потому что они основывались на других признаках инпута для принятия решений. Кроме того, прогнозы сжатых моделей были менее надежны, так как они показывали более существенные несоответствия между прогнозируемой уверенностью и фактическими результатами. Эти результаты демонстрируют, что сжатые модели не являются функционально эквивалентными большим моделям, даже когда их точность почти сходна. ## Значимость Наши находки имеют важное значение для области сжатых моделей, где требуется высокое доверие к результатам. Например, в системах принятия решений в области здравоохранения, финансов или юридических систем сжатые модели могут приводить к не

## Контекст Современные визуально-языковые модели (Vision Language Models, VLM) доказали свою эффективность на широком спектре визуально-языковых задач на английском языке. Тем не менее, их поведение на низкоресурсных языках, особенно в контексте реальных многомодальных образовательных задач, остается неизвестным. Это создает вопрос о том, возможно ли эти модели эффективно использоваться в этих областях. Для заполнения этого пробела мы проводим исследование уровня производительности VLM на визуально-языковых задачах в конкретной низкоресурсной языковой среде — вьетнамском. Это является первым подробным экспериментом, посвященным оценке возможностей VLM в решении образовательных задач на вьетнамском языке. ## Метод Для изучения производительности VLM мы разработали ViExam — бенчмарк, содержащий 2 548 многомодальных вопросов из семи образовательных дисциплин: математика, физика, химия, биология, география, тесты на знание правил дорожного движения, а также ИК-тесты. Мы использовали три популярные Vision-Language Models (CLIP, ALIGN и ViLT), а также их расширенные версии, настроенные на вьетнамский язык. Оценка производительности проводилась с помощью кросс-лингвового подключения инструкций и с помощью взаимодействия с человеком в процессе решения задач. ## Результаты Наши эксперименты показали, что лучшие стандартные модели визуально-языкового моделирования достигли только 57,74% точности, в то время как открытые модели достигли только 27,70%. Только одна модель, ViLT, успешно превысила средний результат человеческого испытуемого (66,54%), набрав 74,07%. Однако она оставалась далеко за пределами идеального результата человека (99,60%). Мы также обнаружили, что кросс-лингвовая модификация с использованием английских инструкций негативно сказалось на производительности моделей, снижая точность на 1%, в то время как взаимодействие с человеком позволило повысить производительность на 5%. ## Значимость Наши результаты имеют значимый потенциал для развития многомодальных моделей для низкоресурсных языков, в том числе вьетнамского. Эти модели могут быть применены в образовательных системах, тестировании, и даже для развития умений человеческого розыгрыша. Мы также показали возможность значительного улучшения производительности, используя технологии взаимодействия с человеком. ## Выводы Мы установили, что текущие Vision Language Models становятся неэффективными в работе с вьетнамскими многомодальными образовательными задачами. Наша работа продемонстрировала необходимость развития национальных моделей, ориентированных на конкретные ре

## Контекст Интеллектуальные рекомендательные системы (IRS) широко используются для поиска и предоставления полезной информации пользователям на основе их предпочтений и поведенческих моделей. Одним из главных факторов успеха IRS является качественная система оценки рекомендаций, которая должна учитывать не только поведенческие сигналы, но и семантические свойства представленных итемов. Несмотря на развитие технологий для обработки текстовых данных, существующие решения для IRS часто сталкиваются с проблемами, такими как ограниченная способность понимать глубокие семантические отношения между товарами или учет контекста в пользовательских предпочтениях. Эти ограничения приводят к неточным рекомендациям и низкому удовлетворению пользователей. ## Метод Предлагаемый подход, L3AE (LLM-Enhanced Linear Autoencoders), представляет собой инновационное сочетание бо LLM и обычных линейных автокодировщиков. Метод состоит из двух этапов. В первой фазе L3AE использует модель LLM для построения семантического матрицы взаимосвязей между товарами на основе их текстовых описаний. Во второй фазе L3AE учитывает пользовательские интеракции с товарами, учитывая предыдущую семантическую информацию для оптимизации системы рекомендаций. Особенностью L3AE является то, что каждый из этих этапов оптимизируется с помощью замкнутых формул, что позволяет достичь глобальной оптимальности с минимальными вычислительными затратами. ## Результаты Эксперименты были проведены на трех различных бенчмарк-датасетах. Использовались метрики Recall@20 и NDCG@20 для оценки качества рекомендаций. Результаты показали, что L3AE показал значительное преимущество перед существующими моделями, с увеличением Recall@20 на 27.6% и NDCG@20 на 39.3%. Эти результаты демонстрируют эффективность L3AE в улучшении качества рекомендаций, особенно в задачах, требующих точного учета семантических отношений между товарами. ## Значимость L3AE может быть применен в различных областях, где необходимо учитывать текстовую информацию при рекомендациях, таких как электронная коммерция, медиасервисы и социальные сети. Особым преимуществом является его способность объединить семантическую информацию с пользовательскими интеракциями, что приводит к более точным и смысловым рекомендациям. Это может повысить удовлетворение пользователей и увеличить активность на платформах, где эти рекомендации используются. ## Выводы L3AE представляет собой новую платформу для повышения эффективности IRS, особенно в сферах, где текстовые данные играют ключевую роль. Он показал свою эффективность в улучшении качества

#### Контекст Детектирование генерируемых текстов вероятностными языковыми моделями (LLMs) становится все более важной проблемой в постепенном расширении их применения в реальной жизни. Одним из популярных способов обнаружения таких текстов является использование водяных знаков, но этот метод имеет определенные ограничения. Факторы, такие как ограниченная энтропия в моделях с постучиной обучением (например, RLHF), сокращают доступную информацию для детектирования. Таким образом, существует необходимость в развитии более эффективных способов обнаружения генерируемых текстов. В данной работе мы исследуем возможность улучшения детектирования с помощью комбинирования различных классов детекторов. #### Метод Мы обобщаем информацию, полученную из водяных знаков, интерполируя ее с данными, полученными с помощью неводяных детекторов. Проведенные эксперименты включают широкий класс моделей и наборов данных. Мы исследуем два класса метрик: одна опирается на характеристики генерируемого текста, а другая — на статистических характеристиках генератора. Кроме того, мы разрабатываем алгоритм, который учитывает вариации в энтропии моделей и их температуры генерации. Это позволяет регулировать точность и чувствительность детекторов в зависимости от условий. #### Результаты Мы провели ряд экспериментов на двух популярных моделях LLMs. Наши результаты показали, что гибридные схемы детектирования приводят к увеличению точности и менее чувствительности к изменениям в энтропии и температуре генерации. Например, одна из схем, включающая интерполяцию между водяными знаками и статистическими характеристиками, повысила точность с 75% до 85% при определенных условиях. Эти результаты демонстрируют, что комбинирование различных классов детекторов позволяет улучшить производительность даже в низкоэнтропийных условиях. #### Значимость Наши результаты имеют значительное значение для области машинного обучения и анализа текстов. Изменяющиеся требования к достоверности генерируемого текста, такие как в ситуациях, когда требуется обнаружение текстов, созданных моделями с низкой энтропией, могут быть удовлетворены с помощью данного подхода. Это также открывает новые возможности для улучшения технологий мониторинга генерируемого контента в Интернете, что может положительно сказаться на безопасности и честности цифровых интерфейсов. #### Выводы Наши исследования показали, что комбинирование различных классов детекторов является эффективным способом улучшения детектирова

#### Контекст Современные языковые модели трансформеров (LLMs) отличаются по способности к "мышлению" — то есть, к эффективному решению сложных задач. Мышление в LLMs позволяет им решать задачи, требующие высокого уровня рационального анализа, но при этом может привести к "перерасчету" (overthinking) на простых задачах, что увеличивает время обработки и затраты ресурсов. Невзирая на это, невзвешенные (non-thinking) модели, которые эффективно решают простые задачи, часто не могут справиться с более сложными задачами, требующими мышления. Это сужает подходы к использованию LLMs, так как разработка отдельных моделей для "мышления" и "немышления" создает сложности для пользователя, который должен выбирать подходящую модель для каждого запроса. Наша мотивация заключается в разработке б BENCHMARK, который бы оценивал значение "мышления" для объединения этих двух подходов в одном решении. #### Метод Мы предлагаем **OptimalThinkingBench**, многомерный бенчмарк, который учитывает оба аспекта — overthinking и underthinking. Он состоит из двух подмножеств: OverthinkingBench, которое оценивает простоту задач в 72 различных областях, и UnderthinkingBench, которое детализирует 11 сложных задач, требующих мышления. В качестве метрик используются новые методы, измеряющие "thinking-adjusted accuracy", которые учитывают вклад логического мышления в эффективность решения задач. Мы проводим эксперименты с 33 моделями, включая обычные (non-thinking) и мышлющие (thinking) варианты, для оценки их поведения в различных ситуациях. #### Результаты Исследования показали, что ни одна из изучаемых моделей не получает оптимальные результаты во всех условиях нашего бенчмарка. Мышлющие модели часто "перерасчитывают" (overthink) простые задачи, выделяя немеренное количество ресурсов без улучшения результатов. Невзвешенные модели, в свою очередь, не в состоянии решить трудные задачи, требующие мышления. Мы также проверяли несколько методов для повышения "оптимального мышления", но обнаружили, что эти методы часто улучшают результаты только на одном из подмножеств, без обеспечения оптимального решения в целом. #### Значимость Наша работа может быть применена во многих областях, где требуется компромисс между производительностью и эффективностью — например, в образовательных системах, здравоохранении и системах рекомендаций. Она демонстрирует важность создания моделей, которые могут принимать оптимальные решения, не перерасходя ресурсы в ненужных ситуациях. Благодаря OptimalThinkingBench, разработчики могут работать над моделями, которые бы оптимально сбалансировали "мышление" и "немышление", чтобы повысить эффективность и экономику ресурсов. #### Выводы Мы показали, что с