📊 Статистика дайджестов

Всего дайджестов: 34022 Добавлено сегодня: 82

Последнее обновление: сегодня
Авторы:

Zijiang Yang

#### Контекст В последние годы становится очевидным возрастание числа фишинговых атак в сети Интернет. Фишинг — это тип атаки, в ходе которой злоумышленник создает поддельный сайт, аналогичный настоящему, с целью подловить конфиденциальную информацию пользователей. Такая атака может привести к краже личных данных и финансовым потерям. Для предотвращения таких угроз ключевой задачей является раннее обнаружение фишинговых веб-сайтов. Несмотря на то, что ранее были предложены различные машинные обучаемые модели, которые способны различать легитимные сайты от фишинговых, недостаточное внимание было уделено выбору эффективных признаков. Мы предлагаем новый подход, включающий в эти модели дополнительные ключевые слова, что позволяет улучшить их работу. #### Метод Мы предлагаем интегрировать ключевые слова из URL-адресов в существующие машинные обучаемые модели. Для этого мы разрабатываем алгоритм, который извлекает ключевые слова из URL-адресов и объединяет их с традиционными признаками, такими как длина URL-адреса, частота символов, и т.д. Наша методика может быть использована для всех основных машинных обучаемых моделей, таких как линейный логистический регрессор, SVM и др. Мы приводим эксперименты с разными наборами данных и показываем, что наш подход снижает ошибку классификации на 30% для больших данных и даже более существенно — для малых наборов. Для получения результатов мы используем множество машинных обучаемых моделей, включая линейный регрессор, SVM и другие. #### Результаты Мы проводим эксперименты с разными машинными обучаемыми моделями, включая линейный логистический регрессор, SVM, рукописный регрессор и др. Эксперименты проводятся на разных наборах данных, включая большие и малые. Наши результаты показывают, что применение нашего метода может снизить ошибку классификации на 30% для больших наборов данных. Эффект значительнее для малых наборов данных. Мы получаем достижение точности 99,68% при использовании лучшей модели. Кроме того, наш алгоритм не требует дополнительных данных из сторонних источников, что делает его более универсальным. #### Значимость Метод, предложенный в нашей работе, может применяться в различных областях безопасности, в том числе для защиты пользователей от фишинга. Он показывает высокую точность, даже при работе с небольшими наборами данных. Важно отметить, что наша методика не зависит от сторонних сервисов и полагается только на данные, извлекаемые из URL-адреса. Это делает её эффективной и простую в реализации. Мы считаем, что наш подход может быть использован в дальнейшем для улучшения других алго
Annotation:
Recently, we can observe a significant increase of the phishing attacks in the Internet. In a typical phishing attack, the attacker sets up a malicious website that looks similar to the legitimate website in order to obtain the end-users' information. This may cause the leakage of the sensitive information and the financial loss for the end-users. To avoid such attacks, the early detection of these websites' URLs is vital and necessary. Previous researchers have proposed many machine learning al...
ID: 2508.09765v1 cs.CR, cs.AI, cs.LG, cs.NE
Авторы:

Soumia Mehimeh

#### Контекст Данная статья рассматривает проблему ускорения обучения в среде глубокого reinforcement learning (DRL) с использованием метода value function initialization (VFI). VFI позволяет эффективно использовать знания, полученные на предыдущих задачах, для быстрого старта в новых задачах. Это подходят для статических табулярных задач, но в DRL, где пространство действий и состояний является непрерывным, использование таких методов становится сложным. Ограничения таких подходов включают трудности с нелинейными нейронными сетями, нестабильностью значений при оценке и невозможность хранения всех предыдущих моделей. Тем не менее, решение этой проблемы может позволить эффективно использовать существующие знания в DRL, ускорив обучение и повысив качество решения задач. #### Метод Метод, предложенный в данной статье, называется DQInit. Он предлагает адаптировать VFI для DRL, используя компактные табулярные Q-значения, полученные из предыдущих задач. Внедрение этих значений во время обучения DRL осуществляется через "механизм значимости", который способствует мягкому интегрированию этих знаний в неизученные регионы пространства. Это позволяет избежать проблем, связанных с фиксированной схемой устаревания. DQInit эффективно комбинирует принципы jumpstart RL и policy distillation, используя значения вместо политик или демонстраций. Также он уменьшает влияние шума и неточностей нейронных сетей. #### Результаты Для проверки работы метода DQInit проведены эксперименты на нескольких задачах с непрерывным пространством действий. Результаты показывают, что DQInit позволяет сократить время обучения и улучшить качество решений в сравнении с традиционными методами инициализации. Особенно заметное улучшение происходит в случаях, когда новая задача имеет сходство с задачами, решенными ранее. Эксперименты также показали, что DQInit повышает стабильность обучения и уменьшает влияние шума в данных. #### Значимость DQInit может быть применен в различных областях, где используется DRL, например, в игровых средах, автоматизированных системах, промышленному управлению и роботизированных системах. Он предоставляет преимущества в виде эффективного обучения, уменьшения времени работы, увеличения устойчивости и повышения качества решений задач. В будущем, DQInit может быть расширен для работы с более сложными задачами и использоваться в сочетании с другими методами RL для достижения еще более высокой производительности. #### Выводы Данная работа предоставляет новый подход к значениям инициализации в DRL, используя compact Q-значения из предыдущих задач. Это позволяет эффективно использовать знания, полученные ранее, и ускоряет обучение в новых задачах.
Annotation:
Value function initialization (VFI) is an effective way to achieve a jumpstart in reinforcement learning (RL) by leveraging value estimates from prior tasks. While this approach is well established in tabular settings, extending it to deep reinforcement learning (DRL) poses challenges due to the continuous nature of the state-action space, the noisy approximations of neural networks, and the impracticality of storing all past models for reuse. In this work, we address these challenges and introd...
ID: 2508.09277v1 cs.AI, cs.LG, cs.LO
Авторы:

Alexandre Brown, Glen Berseth

## Контекст Visual reinforcement learning (RL) представляет собой сложную задачу, требующую эффективного уровня обучения как с точки зрения восприятия, так и с точки зрения принятия решений. Проблема заключается в том, что высокоразмерные входные данные, такие как изображения, требуют сложной обработки, а ненормализованные награды создают дополнительные сложности. До сих пор, несмотря на развитие моделей в области визуального распознавания, интеграция этих моделей в RL для улучшения общей точности и эффективности выбора остается неочевидной задачей. Мотивация для создания SegDAC (Segmentation-Driven Actor-Critic) заключается в том, чтобы решить эти проблемы, обеспечив улучшенную обработку визуальных данных и усиленный подход к обучению. ## Метод SegDAC основывается на интеграции двух моделей: Segment Anything (SAM) и YOLO-World. SAM используется для декомпозиции изображений на отдельные сегменты, которые затем становятся объектами действий в RL. YOLO-World позволяет трансформировать эти сегменты в семантически значимые элементы с помощью текстовых признаков. Для управления таким динамическим количеством сегментов SegDAC вводит новую архитектуру, основанную на трансформерной структуре. Эта архитектура адаптивна и позволяет RL-агенту динамически выбирать, какие сегменты должны быть особенно внимательно обработаны. Несмотря на это, SegDAC не требует каких-либо размеченных данных, чем упрощает процесс обучения и увеличивает применимость в реальных сценариях. ## Результаты Опытные исследования проводились на бенчмарке ManiSkill3, который представляет собой сложный набор задач манипуляции, включая разнообразные визуальные помехи. В тяжелой версии этого бенчмарка, SegDAC демонстрирует двойной прирост эффективности в обработке визуальных данных по сравнению с предыдущими методами. Также, SegDAC показал примерно одинаковую эффективность в обучении (sample efficiency) по сравнению с другими методами по всем задачам, протестированным в этом эксперименте. Эти результаты подтверждают улучшенную обработку визуальных сигналов и эффективность SegDAC в обучении визуальных RL-систем. ## Значимость SegDAC может быть применен в области визуальных RL для различных задач, таких как манипуляция, игровые сценарии и даже визуальное управление роботами. Основные преимущества SegDAC заключаются в улучшенной общей точности, более эффективном использовании данных и уменьшении потребности в разметке данных. Это также открывает путь к будущим исследованиям в области визуальных RL и взаимодействия роботов с визуальным миром. ## Выводы SegDAC достигает существенных улучшений в области визуального RL, используя дина
Annotation:
Visual reinforcement learning (RL) is challenging due to the need to learn both perception and actions from high-dimensional inputs and noisy rewards. Although large perception models exist, integrating them effectively into RL for visual generalization and improved sample efficiency remains unclear. We propose SegDAC, a Segmentation-Driven Actor-Critic method. SegDAC uses Segment Anything (SAM) for object-centric decomposition and YOLO-World to ground segments semantically via text prompts. It ...
ID: 2508.09325v1 cs.CV, cs.AI, cs.LG, cs.RO
Авторы:

Md. Milon Islam, Md Rezwanul Haque, S M Taslim Uddin Raju, Fakhri Karray

## Контекст Говорение и знаки, используемые в здравоохранении, требуют точного распознавания сложной многоmodal'ных жестов. Однако существующие методы часто сталкиваются с проблемами точности и стабильности, особенно при работе со синхронными данными. Из-за этого, разработка более эффективных методов распознавания знаков и жестов является ключевым мотивом для повышения доступности здравоохранения для людей с нарушениями речи или слуха. ## Метод FusionEnsemble-Net представляет собой набор двухmodal'ных сетей, объединенных в единую конфигурацию, чтобы улучшить их работу. В этой модели используется последовательное слияние данных с разных модалок, таких как RGB-видео и дальномерные карты. Эта модель состоит из четырех сетей с разными архитектурами, которые формируют разные способы обработки данных. Каждая сеть применяет модуль внимания, чтобы выделить имеющуюся важность каждого модала. Эти модели объединяются в одну систему, которая учитывает различные взгляды на данные. ## Результаты Эксперименты проводились на большом датасете MultiMeDaLIS, относящемся к знакам итальянского языка знаков. Модель FusionEnsemble-Net показала высокую точность распознавания - 99.44%. Это свидетельствует о том, что модель может синхронно использовать две модальности данных, а единая система внимания и классификации повышает ее точность. ## Значимость Результаты модели могут быть применены в различных областях, таких как здравоохранение, образование и социальные связи, чтобы обеспечить более доступное взаимодействие с людьми, использующими знаки. FusionEnsemble-Net является более точной и устойчивой альтернативой существующим решениям, что может повлиять на развитие технологий в области распознавания жестов и знаков. ## Выводы FusionEnsemble-Net доказала свою эффективность в распознавании знаков и жестов, благодаря использованию системы внимания и слияния данных. Будущие работы будут направлены на расширение модели для работы с другими языками знаков и улучшение ее универсальности.
Annotation:
Accurate recognition of sign language in healthcare communication poses a significant challenge, requiring frameworks that can accurately interpret complex multimodal gestures. To deal with this, we propose FusionEnsemble-Net, a novel attention-based ensemble of spatiotemporal networks that dynamically fuses visual and motion data to enhance recognition accuracy. The proposed approach processes RGB video and range Doppler map radar modalities synchronously through four different spatiotemporal n...
ID: 2508.09362v1 cs.CV, cs.AI, cs.LG
Авторы:

Kumar Abhishek, Jeremy Kawahara, Ghassan Hamarneh

## Контекст Исследование контрольной интерпретации данных в медицинской импликации сегментации кожных локализаций находится в центре внимания, так как вариативность понимания этих образов может повлиять на важность диагноза. В частности, локализации с неоднозначными границами, такими как спикулярные или инфильтративные нодулы, или резкие изменения внешнего вида, приводят к расхождениям в понимании, которые могут быть связаны с злокачественностью. Это создает проблемы в качестве диагноза и возможность значимых ошибок. Целью данного исследования является получение новых знаний о взаимосвязях между контрольной характеристикой данных и клиническими признаками, а также разработка новых методов для повышения точности и надежности предсказаний. ## Метод Для изучения вариативности разметки и интерпретации данных в рамках сегментации кожных локализаций был создан IMA++, крупнейший набор данных, включающий разметки из нескольких источников. Методология включает в себя использование метода множественных разметок, который позволяет изучить влияние аспектов, таких как злокачественность, способность оценщика, инструментальные ограничения и уровень технических навыков. Методы включали создание многозадачной модели, использующей в качестве признаков вариативность разметки, чтобы оптимизировать классификационные модели. Также был проведен эксперимент с оценкой точности предсказания возможности разметки и взаимосвязи с клиническими проявлениями. ## Результаты Изучение IMA++ показало, что степень согласия между разными разметками имеет статистически значимую (p < 0.001) корреляцию с злокачественностью кожных локализаций. Был доказан, что вариативность разметки может быть достаточно точно предсказана непосредственно из дерматоскопичных изображений, с малой ошибкой в предсказании. Было показано, что применение этой методики в сочетании с многозадачным обучением может улучшить балансированную точность классификации на 4.2%, что демонстрирует значительное потенциальное улучшение надежности диагноза. ## Значимость Результаты имеют практическое значение для медицинской практики, поскольку позволяют улучшить качество диагноза, учитывая клинические отклонения в интерпретации данных. Исследование также открывает пути для использования вариативности разметки в качестве дополнительного признака в нейросетевых моделях, что может повысить точность прогнозирования злокачественности. Данная работа может быть применима в разработке систем, оптимизирующих диагностические процессы при работе с клиническими изображениями. ## Выводы В результате данно
Annotation:
Medical image segmentation exhibits intra- and inter-annotator variability due to ambiguous object boundaries, annotator preferences, expertise, and tools, among other factors. Lesions with ambiguous boundaries, e.g., spiculated or infiltrative nodules, or irregular borders per the ABCD rule, are particularly prone to disagreement and are often associated with malignancy. In this work, we curate IMA++, the largest multi-annotator skin lesion segmentation dataset, on which we conduct an in-depth ...
ID: 2508.09381v1 cs.CV, cs.AI, cs.LG
Авторы:

Ajeet Kumar Yadav, Nishant Kumar, Rathna G N

## Контекст Знак язык, состоящий из руковыми движений, лицевых выражений и телесных позывов, является важной средой для общения с людьми с ограниченным слухом. Уверенно справляются с ним только те, кто хорошо знаком с знаковым языком, но те, кто не имеет такого опыта, сталкиваются с значительными трудностями. Распознавание и генерация знаков являются основными методами общения между слышащими и людьми с ограниченным слухом. Изучение генерации знаков языка в значительной мере остается недостаточно развитом по сравнению с распознаванием. Актуальной является задача генерировать высококачественные изображения знаков языка для повышения эффективности общения. ## Метод Мы развиваем новую модель, основанную на Варианте Генерирующей Адверсной Сети (GAN), которая объединяет лучшие качества двух моделей: Progressive Growing of Generative Adversarial Network (ProGAN) и Self-Attention Generative Adversarial Network (SAGAN). ProGAN известен своей способностью генерировать высококачественные изображения, в то время как SAGAN известен способностью генерировать изображения с богатыми деталями на средних разрешениях. Наша модель сочетает в себе эти достоинства, достигая высокого разрешения и высокого качества. Мы также развиваем модифицированную антенно-ориентированную модель, которая улучшает процесс генерирования изображений, ориентируясь на класс-условие. Данные для обучения модели собираются с помощью специальной системы сбора данных, состоящей из 100 участников, позволяющей получить качественные изображения знаков языка. ## Результаты Мы проводим эксперименты для оценки качества генерируемых изображений с помощью Inception Score (IS) и Fr\'echet Inception Distance (FID). Результаты показывают, что наша модель превосходит ProGAN по IS на 3.2 и по FID на 30.12. Это свидетельствует о высокой качественности изображений, генерируемых нашей моделью. Также мы разработали большую выборку данных, содержащую изображения знаков языка индийского языка, включая буквы, цифры и 129 слов. Эта выборка представляет собой ресурс для развития исследований в области генерации знаков языка. ## Значимость Наша работа имеет значительное значение для общения между слышащими и людьми с ограниченным слухом, а также для развития искусственного интеллекта в области знаковых языков. Мы предоставляем новую модель, которая превосходит существующие решения по качеству и разрешению. Наша модель имеет потенциал для широкого применения в области обучения знаковому языку, видеоперевода и синтеза речи. Это может способствовать более устойчивому и эффективному общению между разными социальными г
Annotation:
Sign language, which contains hand movements, facial expressions and bodily gestures, is a significant medium for communicating with hard-of-hearing people. A well-trained sign language community communicates easily, but those who don't know sign language face significant challenges. Recognition and generation are basic communication methods between hearing and hard-of-hearing individuals. Despite progress in recognition, sign language generation still needs to be explored. The Progressive Growi...
ID: 2508.09522v1 cs.CV, cs.AI, cs.LG
Авторы:

Yaoyu Zhu, Jintao Zhang, Guoliang Li, Jianhua Feng

## Контекст Cardinality estimation является важной задачей в системах управления базами данных, которая состоит в предсказании числа строк, возвращаемых запросом, без непосредственного выполнения запроса. Эта задача играет ключевую роль в оптимизации запросов, позволяя системе выбирать наиболее эффективный план выполнения. Однако существующие методы либо недостаточно точны, либо требуют высокой вычислительной сложности для достижения нужной точности. Поэтому становится критически важно разработать метод, который обеспечивал бы высокую точность и быстродействие одновременно. ## Метод Предлагаемый подход, CoDe (Covering with Decompositions), основывается на идее разбиения таблицы на несколько меньших, пересекающихся сегментов. Для каждого сегмента используется тензорное декомпозирование для точного моделирования распределения данных. Для выбора наиболее подходящих распределений для каждого запроса CoDe использует инновационные алгоритмы, которые объединяют несколько моделей для точного оценивания результата запроса. Этот подход позволяет эффективно моделировать дискретные распределения и обеспечивает высокую вычислительную эффективность. ## Результаты Эксперименты проводились на различных данных, включая реальные и синтетические базы данных. CoDe достигло стадии state-of-the-art в области cardinality estimation, обеспечивая высокую точность и быстродействие. Например, более 50% запросов были предсказаны с максимальной точностью. В сравнении с другими методами, CoDe показал существенное улучшение в скорости и точности, что делает его привлекательным для реального применения. ## Значимость CoDe может быть применено в системах управления базами данных для оптимизации запросов, в анализе данных для быстрого получения оценок числа строк, а также в исследованиях, требующих точного понимания распределения данных. Его преимущество заключается в сбалансированном сочетании высокой точности и быстродействия, что делает CoDe привлекательным для различных сценариев, где время выполнения и точность играют ключевую роль. ## Выводы CoDe достигает современных результатов в cardinality estimation, обеспечивая высокую точность и быстродействие. Будущие исследования будут направлены на улучшение алгоритмов выбора распределений и расширение применимости CoDe к более сложным запросам и большим базам данных.
Annotation:
Cardinality estimation is a fundamental task in database management systems, aiming to predict query results accurately without executing the queries. However, existing techniques either achieve low estimation accuracy or incur high inference latency. Simultaneously achieving high speed and accuracy becomes critical for the cardinality estimation problem. In this paper, we propose a novel data-driven approach called CoDe (Covering with Decompositions) to address this problem. CoDe employs the co...
ID: 2508.09602v1 cs.DB, cs.AI, cs.LG
Авторы:

Ingrid Maéva Chekam, Ines Pastor-Martinez, Ali Tourani, Jose Andres Millan-Romera, Laura Ribeiro, Pedro Miguel Bastos Soares, Holger Voos, Jose Luis Sanchez-Lopez

#### Контекст Возрастающее внедрение интеллектуальных роботов в человеческие окружения требует разработки интуитивных и надежных систем взаимодействия (Human-Robot Interaction, HRI), которые были бы модульными и естественными для взаимодействия. Традиционные методы управления роботами часто требуют от пользователей адаптироваться к различным интерфейсам или запоминать предварительно заданные команды. Это ограничивает эффективность роботов в динамичных и неструктурированных средах. Данная работа предлагает новую фреймворк, который объединяет технологии облачных языковых моделей с системами управления Behavior Trees (BTs). Эта интеграция позволяет роботам интерпретировать управляющие намерения, выраженные в натуральном языке, и конвертировать их в исполнимые действия с помощью специализированных модулей. Такая архитектура поддерживает простой и гибкий способ реализации перцепционных функций, таких как слежение за людьми и распознавание жестов рук. #### Метод Фреймворк основывается на взаимодействии двух основных компонентов. Во-первых, языковая модель (LLM) обеспечивает понимание и интерпретацию желаний пользователя, выраженных в естественном языке. Затем, данные понимания передаются в систему управления BT, где они преобразуются в выполнимые команды для отдельных модулей. Эти модули могут представлять собой различные функции, такие как распознавание лиц или обнаружение руковыдержанных предметов. Архитектура является модульной, что позволяет добавлять новые функции с помощью дополнительных плагинов. Таким образом, система может быть легко сконфигурирована для различных сценариев. Для обеспечения удобства использования, набор данных для обучения был подготовлен, и утилиты для моделирования сценариев были разработаны. #### Результаты Исследования были проведены в реальных условиях, используя различные среды и задачи. Результаты показали, что система обеспечивает высокую точность распознавания и интерпретации естественного языка, с фактическим успехом в 94%. Это показывает хорошую надёжность предложенного подхода в реальных условиях. Была продемонстрирована гибкость системы при внедрении различных модулей, включая плагины для слежения за людьми и распознавания жестов рук. В результате, разработанная система доказала свою эффективность в преодолении текущих ограничений в сфере HRI и может стать основой для будущих развитий. #### Значимость Предложенная система может быть применена в различных сферах, включая роботизированные дома, производственные цепочки и системы поддержки в сложных и непредсказуемых сценария
Annotation:
As intelligent robots become more integrated into human environments, there is a growing need for intuitive and reliable Human-Robot Interaction (HRI) interfaces that are adaptable and more natural to interact with. Traditional robot control methods often require users to adapt to interfaces or memorize predefined commands, limiting usability in dynamic, unstructured environments. This paper presents a novel framework that bridges natural language understanding and robotic execution by combining...
ID: 2508.09621v1 cs.RO, cs.AI, cs.LG
Авторы:

Jesus Omaña Iglesias, Carlos Segura Perales, Stefan Geißler, Diego Perino, Andra Lutu

## Контекст В условиях современного мира, где Интернет вещей (IoT) приобретает все больший роль, становится критически важно обеспечить надежную и доступную связь между устройствами. Однако, в рамках сложных систем, в которых участвуют множество операторов и инфраструктур, обеспечение отказоустойчивости и качества связи остается значительной проблемой. Операторы IoT часто прибегают к реактивной модели, реагируя на проблемы только после того, как они вызывают жалобы пользователей. Это приводит к потере качества сервиса и негативному воздействию на пользователей. Целью данной работы является разработка модели для аномалии детектинга в IoT-сервисе, которая позволит вновь привлечь внимание к проблемам до того, как они становятся критичными, и улучшить общую надежность системы. ## Метод Разработанная модель, известная как ANCHOR, является неучитывающей аномалию детектингом, основанной на пассивных сигнальных данных. Она использует различные статистические правила и машинно-обученные модели для анализа потока данных, определяя нестандартные модели поведения в связи IoT. Основной архитектурой является адаптивный подход, где модель анализирует многомерные данные, используя методы из разных областей, включая пространство-время анализ и нейронные сети. Эта модель адаптируется для различных IoT-вертикалей, таких как мобильные устройства, смарт-гаджеты и датчики. Также, ANCHOR нацелена на раннее выявление проблем связи, чтобы стратегический контроль и решение проблем можно было внести до того, как они окажутся критичными. ## Результаты В ходе экспериментов были применены фактические данные от оператора IoT, что позволило протестировать модель ANCHOR в реальных условиях. Результаты показали, что модель способна верно определять проблематические клиенты с аномальным поведением в сети, что позволяет предотвратить критические сбои в системе. Модель обнаружила и исключила нестандартные модели поведения связи, чтобы улучшить качество сервиса. Данные эксперименты продемонстрировали, что ANCHOR эффективно работает в реальных условиях, обеспечивая предупредительную модель для аномалии детектинга. ## Значимость ANCHOR может применяться в различных IoT-вертикалях, включая мобильные устройства, смарт-технологии, и управляемые гаджеты. Ее преимущество заключается в том, что она позволяет вновь проявлять внимание к конкретным клиентам с проблемами, до того, как они приведут к критическим поломкам. Это повышает надежность, уменьшает время реагирования и повышает качество сервиса. Потенциальное влияние модели заключается в том, что она может применяться как в телекоммуникационных компаниях, так и в различ
Annotation:
Internet of Things (IoT) application providers rely on Mobile Network Operators (MNOs) and roaming infrastructures to deliver their services globally. In this complex ecosystem, where the end-to-end communication path traverses multiple entities, it has become increasingly challenging to guarantee communication availability and reliability. Further, most platform operators use a reactive approach to communication issues, responding to user complaints only after incidents have become severe, comp...
ID: 2508.09660v1 cs.NI, cs.AI, cs.LG
Авторы:

Muneeza Azmat, Momin Abbas, Maysa Malfiza Garcia de Macedo, Marcelo Carpinette Grave, Luan Soares de Souza, Tiago Machado, Rogerio A de Paula, Raya Horesh, Yixin Chen, Heloisa Caroline de Souza Pereira Candello, Rebecka Nordenlow, Aminat Adebiyi

## Контекст Появление больших языковых моделей (LLMs) значительно изменило область ИИ, обеспечив широкий спектр приложений, включая работу с текстом, перевод, вопрос-ответ и творческие задачи. Однако их потенциал распространения ограничивается нехваткой системных методов для гарантии того, что их выходы соответствуют человеческим ценностям и безопасности. Несмотря на развитие многообразных подходов к выравниванию моделей (RLHF, instruction tuning, post-hoc correction, inference-time interventions), нет единого фреймворка для компаративного анализа их эффективности. Это создает проблемы для выбора и развертывания наиболее подходящих методов. Наша мотивация заключается в создании универсального, многомерного фреймворка для валидации выравнивания LLMs, чтобы улучшить понимание их производительности и ограничений. ## Метод Мы предлагаем многомерный фреймворк для оценки выравнивания LLMs, включающий четыре ключевые аспекта: (1) **Alignment Detection**: определение того, насколько модель понимает и выражает предпочтения пользователя; (2) **Alignment Quality**: оценка точности и соответствия выходов модели желаемым ценностям; (3) **Computational Efficiency**: рассмотрение скорости и ресурсоемкости процесса выравнивания; (4) **Robustness**: измерение устойчивости модели к различным входным данным и условиям. Наши эксперименты основываются на различных базовых моделях и методах выравнивания, используя стандартные датасеты и метрики для точного сравнения. ## Результаты Мы проверили наш фреймворк на нескольких моделях, включая эталонные тестовые датасеты. Результаты показали, что RLHF и instruction tuning обеспечивают высокую точность в выравнивании, но имеют высокую стоимость работы и требуют больших ресурсов. Post-hoc correction и inference-time interventions демонстрируют лучшую эффективность, но могут снизить качество выходов. Наши эксперименты также показали, что модели с высокой robustness часто имеют уменьшенную alignment quality. Эти результаты отражают сложности в достижении баланса между эффективностью, качеством и устойчивостью. ## Значимость Наш фреймворк может быть применен во многих областях, включая разработку систем защиты прав человека в ИИ, мониторинг соответствия моделей нормам и требованиям, а также в поддержку исследователей в выборе наиболее подходящих методов выравнивания. Он предоставляет ценный инструмент для анализа ограничений и сил моделей, упрощая принятие решений о развертывании. Мы видим потенциал в расширении нашего фреймворка для оценки дополнительных аспектов, таких как семантическое восприятие и эмоциональная корреляция. ## Выводы Мы представили первый комплексный фреймворк для оценки выравнивания LLMs, который позволяет ко
Annotation:
As Large Language Models (LLMs) become increasingly integrated into real-world applications, ensuring their outputs align with human values and safety standards has become critical. The field has developed diverse alignment approaches including traditional fine-tuning methods (RLHF, instruction tuning), post-hoc correction systems, and inference-time interventions, each with distinct advantages and limitations. However, the lack of unified evaluation frameworks makes it difficult to systematical...
ID: 2508.09937v1 cs.CL, cs.AI, cs.LG
Показано 1551 - 1560 из 1687 записей