## Контекст Игрокотеоретические взаимодействия между агентами с Large Language Models (LLMs) открыли новые возможности в области искусственного интеллекта, демонстрируя развитие новых языковых способностей. Однако эти взаимодействия характеризуются богатой лингвистической разнообразием, который до сих пор недостаточно оценен. Большинство метрик, используемых для оценки языковой производительности, не учитывают индивидуальные особенности игрокотеоретических взаимодействий. Целью данного исследования является разработка метрики, которая бы позволила эффективно измерить качество монологических и диалогических высказываний в различных игрокотеоретических сценариях. ## Метод Метрика CORE (Conversational Robustness Evaluation Score) основывается на измерении трех ключевых аспектов языкового поведения: кластеризации слов, лексической повторяемости и семантической схожести. Метод включает в себя анализ динамики распределения слов в диалоге, а также использует Zipf's и Heaps' Laws для описания распределения частот слов и роста словарного запаса. Для сравнения различных игрокотеоретических сценариев (конкурентные, сотрудничественные, нейтральные), CORE использует выборку диалогов между LLMs. Это позволяет углубленно изучить как эффективность языка, так и его адаптацию в различных социальных контекстах. ## Результаты Испытания показали, что в кооперативных сценариях Zipf's и Heaps' Laws демонстрируют стрелеующие распределения, что свидетельствует о более высокой репликации лексики и богатом росте лексикографического запаса. Напротив, в конкурентных сценариях эти законы отражают более ограниченную лексическую деятельность и меньшую репликацию. Эти результаты демонстрируют, как сильные социальные интриги влияют на адаптацию языка, а также подтверждают значимость CORE в качестве диагностического инструмента для измерения языковой производительности в многоагентных системах. ## Значимость CORE может использоваться в различных областях, где важно измерить качество монологических и диалогических языковых высказываний, включая обучение ЛСМ, анализ коммуникационных систем, игровые системы и даже психологическое исследование поведения в командных задачах. Одним из ключевых преимуществ CORE является его универсальность и точность, что позволяет создавать более надежные модели и тесты для измерения языкового взаимодействия. ## Выводы Результаты исследования показали, что CORE является эффективной метрикой для измерения языкового качества в игрокотеоретических системах. Будущие исследования будут сфокусированы на расширении CORE для дру

## Контекст Большие языковые модели (LLMs) доказали свою эффективность в решении различных задач, однако они снисходительны к ошибкам и часто переоценивают свою точность, присваивая высокую уверенность даже в случаях неверных предсказаний. Это ограничение снижает надежность и ответственность генерируемых текстов, особенно в критичных областях принятия решений. Актуальной проблемой является моделирование уверенности не только в завершенном результате, но и в процессе генерации. Недостаточность существующих подходов в точности и точности оценки уверенности в реальном времени приводит к необходимости разработки более тонких методов доверительных оценок. ## Метод Мы предлагаем FineCE (Fine-Grained Confidence Estimation), метод, который стремится улучшить уверенность во время генерации текста. Метод FineCE включает в себя создание обширной выборки данных для обучения, предназначенной для предсказания доверительных оценок в процессе генерации. Мы используем супервизированную модель, которая предсказывает доверительные оценки для произвольных последовательностей текста. Для повышения точности в процессе генерации мы предлагаем стратегию Backward Confidence Integration (BCI), которая использует информацию из последующих последовательностей для улучшения оценки доверительных показателей в текущей последовательности. Мы также предлагаем три стратегии, которые помогают определить оптимальные моменты для оценки доверительных показателей во время генерации. ## Результаты Мы проверили FineCE на нескольких бенчмарк-данными, сравнив его с классическими методами оценки доверительных показателей. Наши результаты показали, что FineCE постоянно демонстрирует более точные и тонкие оценки уверенности по сравнению с другими подходами. Наши эксперименты подтвердили, что FineCE может постоянно давать более точные и точные оценки доверительных показателей во время генерации, что улучшает надежность генерируемых текстов. ## Значимость Метод FineCE может применяться в различных областях, таких как генерация текста для критичных задач, контроль качества текстов, исправление ошибок в генерируемом тексте, и даже в системах, требующих высокой точности и доверительных оценок. Он предоставляет более достоверные и точные оценки уверенности, которые могут помочь улучшить взаимодействие с пользователем, защитить от недостоверных результатов и повысить надежность генерируемого текста. ## Выводы Мы представили FineCE, новый подход для точной и тонкой оценки доверительных показателей во время генерации текста LLMs. Метод FineCE предлагает более точные оценки уверенности, которые могут повысить надежность и верификацию генерируемых текстов.

## Контекст Одна из основных проблем в адаптации бо LLM (large language models) лежит в том, чтобы оптимизировать несколько целей, таких как улучшение фактичности (heat) и повышение уверенности (low entropy), при этом не ухудшая другие критерии. Эта задача становятся еще сложнее при учете того, что параметры промптов (например, вставки в скрытых слоях и модификации векторов) могут взаимодействовать друг с другом в нетривиальных способах. Традиционные многоцелевые оптимизационные подходы часто опираются на агрегирование градиентов по мере, чтобы выбрать наиболее приоритетную оптимизацию, не учитывая геометрический структурный смысл между целями и параметрами. В этом контексте возникает необходимость в более глубоком понимании интеракции между целями и параметрами для эффективного управления промптами в LLM. ## Метод Метод J6 (Jacobian-Driven Role Attribution) представляет собой новую модель оптимизации промптов, основанную на декомпозиции градиентного взаимодействия в шесть интерпретируемых компонент. Эти компоненты позволяют выявить взаимосвязи между целями и параметрами, анализировать их геометрическую структуру и динамически регулировать поток оптимизации. Метод включает в себя два режима действия: жесткий (hard), основанный на выборе наиболее приоритетного направления из шести возможных, и мягкий (soft), основанный на атансовском взвешивании вариантов. Это дает гибкость для адаптации к локальным конфликтам и синергиям между целями. Также J6 предоставляет интерпретируемую структуру, позволяющую расследовать вклад каждого параметра в задачу, отслеживать взаимодействия между задачами и применять геометрически управляемые методы адаптации. ## Результаты Эксперименты показали, что J6 эффективно справляется с многоцелевой оптимизацией промптов, предлагая более точный контроль за взаимодействиями между целями. Были проанализированы различные сценарии оптимизации, включая ситуации с значительными конфликтами между целями, и показано, что J6 может адаптироваться к ним, обеспечивая более сбалансированные результаты. Данные эксперименты были проведены на различных наборах данных и с различными видами задач, что демонстрирует широту применения метода. ## Значимость Метод J6 может быть применен в различных областях, где требуется многоцелевая оптимизация с разными типами задач и параметров. Он позволяет улучшить точность и уверенность результатов, а также обеспечить более глубокое понимание взаимодействий между параметрами. Этот подход открывает новую площадку для использования геометрической интерпретации в

#### Контекст Ларже лангуэйдж моделс (LLMs) становятся все более значимыми в системах AI за счет их увеличивающейся способности решать комплексные задачи. Однако, существуют значительные проблемы в их оценке. Начиная с высокого компьютерного воздействия полных оценок до широкого переобучения к общим бенчмаркам, оценка LLMs становится все более сложной. Особенно сложно выявить тонкие различия в поведении моделей при использовании традиционных методов. Это приводит к необходимости развития более эффективных, точных и стоимостно эффективных методов оценки LLMs. STEM (Structured Transition Evaluation Method) предлагается как инновационный подход для эффективной оценки LLMs, сосредоточенный на точной интерпретируемой оценке их реального воздействия. #### Метод STEM основывается на анализе изменения поведения LLMs в зависимости от их размера и архитектуры. Метод идентифицирует **significant transition samples (STS)** — ключевые сценарии, где LLMs с одинаковой архитектурой показывают значительные различия в поведении. Эти STS построены на основе широкого набора бенчмарков, охватывающих различные аспекты логического и реального мира. Фреймворк STEM использует эти STS для оценки того, как новая модель сравнивается с существующими. Эта методология является интерпретируемой, стоимостно эффективной и архитектурно-агностической, чтобы обеспечить точную оценку в реальном мире. #### Результаты Проведенные эксперименты показывают, что STEM сохраняет высокую точность при оценке моделей разных размеров. Используя Qwen3-фамлию моделей, STEM строит STS-sample на базе six современных бенчмарков. Оценки STEM соответствуют значительной части значений полных экспериментов, с моделями лучших результатов. Это подтверждает мощь метода в обеспечении точной оценки LLMs. Дополнительные эксперименты показали точность STEM в отношении точки сравнения разных моделей, как в малых, так и в больших подходах. #### Значимость STEM предлагает новый способ эффективной оценки LLMs, который может быть применен в различных областях, включая робототехнику, техническое письмо и языковую моделирование. STEM не требует высоких вычислительных затрат и позволяет тонкой оценке моделей. Этот подход улучшает способность AI-систем для решения реальных задач, сокращает время и стоимость оценки моделей, а также улучшает интерпретируемость результатов. #### Выводы STEM выявляет ключевые сценарии, которые эффективно оценивают LLMs, и демонстрирует возможность точных оценок в реальном мире. Дальнейшие исследования будут сосредотачиваться на расширении STS-sample на различные типы моделей и сценариев, а также на улучшении STEM для по

## Контекст Large language models (LLMs) становятся все более важной частью технологического ландшафта, применяясь в различных сферах, от поиска информации до создания текстов и даже программирования. Однако несмотря на их мощь, эти модели не могут выполнять сами себя. Они не в состоянии предсказать, какие ответы они дадут на заданные вопросы, или какие свойства их выхода могут возникнуть. Это ограничение в их возможностях становится видно, когда их судят по способности к самостоятельному управлению своим поведением во время работы. Мы исследуем возможность LLMs предсказать свои собственные ответы и выходы, чтобы протестировать их мощь и ограничения. ## Метод Мы предлагаем **Self-Execution Benchmark** (SEB), который оценивает способность моделей предсказать свои собственные ответы. Этот бенчмарк включает задачи, требующие моделей предсказать, например, будет ли ответ сложен для модели, она будет отвечать или отказаться, какие типы связей она может делать. Мы проводим эксперименты с различными моделями разных размеров и способностей, измеряя их возможности сравнивая их с результатами классических моделей. Мы также исследуем, насколько размер модели или её характеристики влияют на результаты. ## Результаты Мы проводили эксперименты с несколькими моделями разных размеров, протестировав их на SEB. Наши результаты показывают, что в большинстве случаев модели предсказывают свои ответы неточно или не очень точно. Мы также обнаружили, что увеличение размера модели не приводит к повышению точности предсказаний. Например, даже модели с большим количеством параметров не всегда способны точно предсказать, какие сложности они могут столкнуться с собой в процессе работы. ## Значимость Эта работа имеет важное значение для понимания ограничений LLMs в предсказании своих процессов работы. Это может привести к развитию новых методов, которые позволят моделям более точно представлять свой собственный поток работы. Эти результаты также могут быть полезны в области самостоятельного управления моделями, где необходимо глубокое понимание модели своих ограничений. ## Выводы Мы установили, что LLMs сейчас не могут точно представлять свои собственные ограничения и свое поведение в процессе работы. Это важное ограничение, которое необходимо устранить, чтобы модели могли более эффективно управлять своим поведением в задачах, требующих самостоятельности. Наша работа открывает путь к будущим исследованиям в области предсказания поведения моделей, где могут быть разработаны новые подходы к обучению и эволюции моделей.

#### Контекст В силу быстрого роста медицинской литературы становится все сложнее обеспечить эффективную структурированность и интеграцию биомедицинских знаний. Знанийсуществующий граф (KG) представляет собой законченное решение, позволяющее эффективно выполнять поиск, автоматическое вывод и открытие новых знаний. Однако существующие методы построения графа чаще всего опираются на управляемые подходы с ограниченными возможностями общей применимости, или же грубо агрегируют выводы из Больших Моделей Языка (LLM), считая биомедицинскую литературу статичной и невзирая на временную динамику и контекстуальную неопределенность развития знаний. Чтобы решить эти проблемы, мы предлагаем MedKGent — фреймворк на основе Большой Модели Языка, предназначенный для построения временно меняющихся биомедицинских графов знаний. #### Метод MedKGent использует две специализированные агенты, основанные на модели Qwen2.5-32B-Instruct. **Extractor Agent** идентифицирует значимые троицы знаний и присваивает им базовые степени достоверности, используя выборку для оценки. Эти оценки используются для отфильтрованных низкодостоверных троиц. **Constructor Agent**, в свою очередь, добавляет полученные троицы в временно меняющийся граф, рассчитывая на вклад дат и доверительных оценок для поддержания повторяющихся знаний и разрешения конфликтов. #### Результаты Мы провели тщательные эксперименты на базе 10 миллионов абстрактов из PubMed, охватывающих период с 1975 по 2023 год. Благодаря этой модели, мы получили граф с 156,275 сущностями и 2,971,384 перестановок. Экспертное оценивание показало высокую точность (приблизительно 90%), с отличным соответствием между оценками экспертов. Мы также проверили возможности MedKGent в области медицинского QA, используя RAG на семь медицинских бенчмарков. В результате, наблюдали значительные улучшения в сравнении с базовыми моделями. #### Значимость MedKGent имеет широкое применение в медицинских графах, включая литературно-ориентированную репуризацию, доступ к знаниям и поддержку принятия решений. Он предлагает выгоды в области точности, эффективности и гибкости, открывая пути к будущим исследованиям в области развития знаний в здравоохранении. #### Выводы MedKGent является первым подходом к построению временно меняющихся биомедицинских графов с использованием Большой Модели Языка. Он доказал высокую точность и практическую ценность в медицинской литературе. Будущие работы будут сосредоточены на

## Контекст Последствия COVID-19 (Post-Acute Sequelae of COVID-19, PASC), также известные как "лонг-КОВИ", представляют собой широкий спектр симптомов, возникающих после основного заболевания и продолжающихся долгосрочно. Известно, что PASC может повлиять на различные органы и системы тела, включая сердечную и nervous systems, а также может быть связано с ухудшением качества жизни и даже с повышенной частотой mortality. Однако подтверждение диагноза PASC сложно ввиду его сложной клинической картины, переменного течения симптомов и отсутствия единого gold standard для диагностики. Обработка clinical notes является ключевым инструментом для получения подробной информации о симптомах пациентов, но существуют значительные проблемы с эффективностью и точностью такого подхода. Поэтому, в такой ситуации, развитие и использование новых методологий, таких как natural language processing (NLP), может существенно повысить эффективность и точность диагностики PASC. ## Метод Для получения и анализа данных о симптомах PASC мы разработали hybrid NLP pipeline, которая объединила rule-based named entity recognition (NER) с BERT-based assertion detection modules. Мы разработали PASC lexicon в сотрудничестве с clinical specialists, чтобы обеспечить высокую точность в recognition симптомов PASC. Для моделирования и оценки точности pipeline мы использовали 160 intake progress notes, записанные в 11 health systems, входящих в RECOVER initiative network. Для подтверждения полученных результатов мы провели population-level prevalence study, в которой были собраны 47,654 progress notes. В процессе разработки и оценки мы использовали такие метрики как precision, recall и F1 score. Также, для оценки эффективности pipeline мы измерили время обработки отдельных clinical notes. ## Результаты В ходе внутренней валидации на одном сайте мы достигли F1 score в 0.82, а во внешней валидации на 10 сайтах — 0.76. При этом время обработки отдельных clinical notes составило $2.448 \pm 0.812$ секунд. Результаты Spearman correlation tests показали $\rho > 0.83$ для positive mentions и $\rho > 0.72$ для negative mentions, при $P < 0.0001$. Эти результаты свидетельствуют о высокой точности и эффективности нашего hybrid NLP pipeline в extraction и assertion detection PASC-симптомов из clinical notes. ## Значимость Наша hybrid NLP pipeline может быть применена в различных областях, включая clinical practice, health informatics и biomedical research. Одним из основных преимуществ является улучшение точности диагностики PASC, что может привести к более эффективному управлению пациентами и повышению качества здравоохранения. Также, наша модель может быть использована для повышения эффективности создания clinical datasets для PASC research. Будущие исследования будут направлены на повышение точности и скорости модели, а также на ее применение в real-time clinical settings. ## Выводы Мы разработали и оценили hybrid NLP pipeline для extraction и assertion detection PASC-симптомов из clinical notes. Наши результаты показали высокую точность и эффективность модели, свидетельствующие о ее потенциа

#### Контекст Knowledge graphs (KGs) являются важной структурой для представления информации, но их встроенная сложность и индивидуальные метками трудно интерпретировать. Это ограничивает их применение в реальных ситуациях, где понятные и наглядные описания являются ключевым фактором успешного использования. Авторы работы предлагают Rule2Text, фреймворк, который использует значительные языковые модели для генерирования естественных языковых описаний для логических правил, извлеченных из KGs. Это позволяет упростить интерпретацию логических правил и улучшить доступность и пользовательский опыт при работе с KGs. #### Метод Для генерирования естественных языковых описаний правил используется технология трансформации текста с помощью языковых моделей (LLMs). Основными этапами технологии являются: - **Подготовка данных**: логические правила извлекаются из KGs и преобразуются в входные данные для LLMs. - **Множественные стратегии тренировки**: модели тренируются с нулевым, несколькими и типами входных переменных, а также применяют цепочку рассуждений (Chain-of-Thought). - **Оценка качества**: результаты оцениваются через личность-в-кольце (human-in-the-loop) с учетом точности и понятности. - **Оптимизация модели**: лучшие результаты используются для оптимизации модели Zephyr, чтобы дать более точные и понятные выводы. - **Типизация правил**: для KGs без явных типов разрабатывается модуль для интерпретации типов правил. #### Результаты На различных датасетах (Freebase, ogbl-biokg) проводились эксперименты с различными LLM-моделями, включая Gemini 2.0 Flash и Zephyr. Оценка показала, что стратегия Chain-of-Thought оказалась самой эффективной для генерирования точных и ясных описаний. Личность-в-кольце-контроль показал высокую точность модели и согласие с личностью-в-кольце-оценкой. Оптимизированная модель Zephyr с типизацией правил демонстрирует значительный прогресс в качестве генерируемых описаний, особенно на доменных датасетах. #### Значимость Предложенный фреймворк Rule2Text имеет широкие применения в области упрощения интерпретации логических правил в KGs, что может повысить их применение в сквозных приложениях, включая интеллектуальный анализ данных и рекомендательные системы. Основные преимущества: - Улучшение доступности KGs для пользователей. - Увеличение точности и понятности выводов. - Расширение применения KGs в различных деловых и научных областях. #### Выводы Rule2Text демонстрирует значительные улучшения в генерации естественных языковых описаний для логических правил в KGs. Он показывает мощь трансформационных языковых моделей в упрощении слож

## Контекст Современные бо LLM (большие языковые модели) широко применяются в различных сферах, включая образование, развлечения и карьеру. Однако применение таких моделей для детей и подростков поднимает серьезные вопросы о безопасности и этичности. Дети и подростки отличаются от взрослых своими уникальными развитий на физическом, эмоциональном и социальном уровнях. На данный момент, большинство существующих бенчмарков безопасности бо для взрослых не учитывают эти различия. Это может привести к значительным рискам, таким как приведение к эмоциональной зависимости, повлечение частной информации, пропаганда опасных поведений. Разработанная работа адресована этим проблемам, предлагая новую методологию для оценки безопасности и этичности бо, ориентированных на детей и подростков. ## Метод Для выявления рисков, специфичных для детей и подростков, разработаны 1 283 тестовых запросов, ориентированные на развитие. Эти запросы разделены на три группы, соответствующие разным возрастным группам: раннее детство (0-6 лет), среднее детство (7-12 лет) и подростковое возраст (13-18 лет). Набор тестов включает в себя такие запросы, как вызовы к эмоциональной зависимости, вымогательство частной информации и мотивацию к опасным поведениям. Для разбиения на группы запросов использовалась теория развития детей и подростков. Набор тестов был протестирован на 47 различных моделях бо, включая широкий спектр технологий и конфигураций. Это позволило проверить их безопасность и этичность в контексте развития детей и подростков. ## Результаты Различные модели бо были тестированы на наборе тестов, и их безопасность и этичность были оценены в зависимости от развития. Оказалось, что многие модели имеют уязвимости, особенно в сфере эмоциональной зависимости и воздействия на поведение. Например, модели для подростков проявили большую уязвимость в отношении мотивации к опасным поведениям по сравнению с моделями для младших детей. Также были выявлены сильные корреляции между различными аспектами безопасности и этичности, например, между риском и безопасностью. Также была отмечена значимая проблема старших моделей, которые, несмотря на их высокую точность в общих задачах, часто не соответствуют развитию детей и подростков. ## Значимость Результаты исследования могут быть применены в различных сферах, включая разработку безопасных и этичных моделей для детей и подростков, а также в образовательных программах и карьерных трекинг-системах. Выявленные проблемы и рекомендации мог

#### Контекст Large language models (LLMs) часто сталкиваются с проблемами при переносе знаний между языками. Они могут "висеть" при выдаче ответов на вопросы, выраженные в одном языке, но основанных на фактах, описанных в другом языке. Эта проблема становится особенно важной при использовании LLMs в многоязычных задачах, где необходимо достоверно переносить знания из одного языка на другой. Одной из главных мотиваций для этого исследования является необходимость понять причины этого явления и разработать способы улучшить cross-lingual transfer. Эксперименты, проведенные на малых моделях Transformer, показали, что проблема кроется в том, как модели обрабатывают информацию во время обучения и как они устанавливают связи между фактами и их представлением на разных языках. #### Метод Для исследования этой проблемы был разработан контролируемый экспериментальный подход. Модели Transformer обучались с нуля на синтетических многоязычных данных, где каждый факт был выражен на нескольких языках. Модели были строительством трансформерных сетей с разным количеством слоёв и разным количеством параметров. Методология включала в себя мониторинг процесса обучения, анализ токенизации данных и исследование способов изменять степень "объединения" (unification) представлений между языками. Это дало возможность изучить, как различные факторы, такие как токенизация, объем данных и степень связанности фактов с языком, влияют на уровень cross-lingual transfer. #### Результаты Результаты исследования показали, что модели Transformer могут развивать так называемые "разделенные" или "объединенные" представления фактов на разных языках. Объединенные представления необходимы для эффективного cross-lingual transfer. Было выявлено, что степень объединения зависит от двух основных факторов: насколько легко извлекается язык из данных и насколько сильно факты связаны с конкретным языком. В рамках экспериментов были разработаны новые метрики и визуализации, позволяющие лучше понять, как уровень unification зависит от того, как модель обучается и какие данные используются. Эти метрики позволили отслеживать изменения в представлениях модели во время обучения и исследовать, какие методы могут повысить степень cross-lingual transfer. #### Значимость Полученные результаты имеют значительное значение для двух главных областей: многоязычных моделей и методологии их training. Они позволяют улучшить перенос знаний между языками, что имеет практическое значение для областей, где необходимо многоязычное понимание текста, таких как медицина, право и международные коммуникации. Кроме того, работа показывает, как модели могут быть модифицированы, чтобы улучшить cross-lingual transfer