## Контекст Одним из основных направлений развития искусственного интеллекта является развитие больших языковых моделей (LLM). Эти модели показали эффективность в решении различных задач, но их развитие связано с высокими затратами на обучение и использование. Размер языковых моделей постоянно растет, что приводит к увеличению вычислительных затрат. Это привело к появлению многочисленных усилий, направленных на оптимизацию процесса обучения и вычислительной эффективности. Одна из основных проблем заключается в том, что многие из текущих подходов к определению "масштабируемости" языковых моделей ограничены архитектурой (либо густая, либо разряженная). Эта работа адресует эту проблему, предлагая новую, универсальную модель масштабируемости, которая может быть применена как к густым, так и к разряженным LLM. ## Метод Мы предлагаем новую модель масштабируемости, которая учитывает особенности обучения густых и разряженных языковых моделей. Модель основывается на анализе существующих экспериментов и статистических моделей, оптимизируя параметры, такие как число слоев, число заголовков, число нейронов в каждом слое, и др. Она использует градиентный спуск для оптимизации и включает методы стохастического градиента, что позволяет ей быть более точной и надёжной. Мы также используем большой набор данных, включающий данные об обучении и тестировании для обучения нашей модели. ## Результаты Мы провели многочисленные эксперименты с различными типами языковых моделей, включая густые и разряженные, чтобы проверить эффективность нашей модели масштабируемости. Мы сравнили полученные результаты с текущими лучшими решениями и показали, что наш подход даёт более точные и надёжные прогнозы в сравнении с существующими методами. Кроме того, наши эксперименты показали, что наша модель может быть использована для эффективного распределения ресурсов при обучении языковых моделей, что приводит к снижению вычислительных затрат и улучшению качества результатов. ## Значимость Мы предлагаем новую общей модель масштабируемости, которая может быть применена также к густым, так и к разряженным языковым моделям, что упрощает процесс оптимизации и сокращает трудозатраты. Этот подход может быть применен в различных областях, таких как здравоохранение, финансы, производство, и др., где требуется эффективное обучение языковых моделей с ограниченным бюджетом. Наш подход также позволяет уменьшить трудозатраты и повысить точность моделей при их развёртывании в реальном мире. ## Выводы Мы установили, что наша модель масшта

## Контекст Панкреатический дуctal аденокарцинома (PDAC) является одной из самых смертоносных форм рака, с годовой продолжительностью жизни менее 5% после диагноза. Одной из ключевых проблем в этой области является затрудненность раннего выявления, в связи с отсутствием определенных симптомов на ранних стадиях заболевания и отсутствием надежных биомаркеров. Несмотря на развитие новых методов диагностики и лечения, PDAC часто выявляется в поздних стадиях, что существенно снижает возможности лечения. Многие исследования сосредоточились на развитии систем для раннего выявления PDAC, но до сих пор не было достигнуто решения, которое могло бы достаточно достоверно использоваться в клинической практике. Наша работа направлена на развитие метода, который может обнаружить PDAC до клинического диагноза на основе данных, доступных в любом клиническом учреждении. ## Метод Мы предлагаем метод, который объединяет несколько моделей машинного обучения, чтобы обнаруживать PDAC на основе данных, доступных в любой клинической системе. Мы использовали две основные модели: **нейронные уравнения различения (Neural Controlled Differential Equations)** для моделирования зависимости изменений значений лабораторных исследований во времени и **рекуррентные нейронные сети (Recurrent Neural Networks)** для обработки и понимания диагностических кодов. Эти две модели были объединены с помощью **кросс-аттенционных механизмов (Cross-Attention)** для учета взаимосвязей между двумя моделями. Мы также использовали предобученные модели текстовой обработки (Pretrained Language Models) для повышения точности распознавания диагностических кодов. Это позволило нам моделировать данные в их натуральной форме, чтобы обнаружить ранние признаки PDAC. ## Результаты Мы проверили наш метод на реальной базе данных, содержащей информацию о 4700 пациентов. Мы сравнили наш результат с тремя современными методами, используемыми для раннего выявления PDAC. Наш метод показал великие улучшения в **AUC (Area Under the Curve)**, которые варьировались от 6.5% до 15.5%, чтобы обнаруживать PDAC до клинического диагноза. Эти результаты показывают, что наш метод превосходит существующие методы в области раннего выявления PDAC. Более того, наша модель позволяет идентифицировать специфические диагностические коды и лабораторные исследования, связанные с высоким риском PDAC, включая как уже известные биомаркеры, так и новые. ## Значимость Наша работа имеет значительное значение для клинической практики, поскольку раннее выявление PDAC может существенно повысить шансы на лечение и улучшить прогноз для пациентов. Наш метод также может быть применен в других областях медицины, г

## Контекст Область исследования, связанная с использованием имеющихся данных в крупных моделях языка, набирает популярность в современных научных исследованиях. В частности, в рамках компьютерных и социальных наук, где данные часто ограничены, модели языка используются для генерирования данных и поддержки решения задач. Однако, генерируемые моделями данные могут иметь ошибки, что создает сложности для их использования в реальных приложениях. Более того, необходимо разрабатывать новые методы, которые позволят объединять имеющиеся данные с модельной синтетической информацией для получения точных выводов. Этот рабочей группой предлагается разработать универсальный метод, который позволит правильно объединять искусственные данные с реальными, несмотря на их неточности и различия. ## Метод Методология, разработанная в работе, основывается на новом подходе к решению задач учёта влияния искусственных данных на реальные. Основной инструмент, который используется в работе, является метод моментов, который позволяет объединить в единый процесс данные и модели. Разработчики предлагают также новую модель, которая не требует внесения гиперпараметров на этапе решения. Эта модель обладает теоретическими доказательствами, которые подтверждают, что она является эффективной для задач регрессии и других сложных моделей. Более того, авторы предлагают стратегию для оценки того, насколько модельная информация влияет на реальные данные и на итоговые выводы. ## Результаты Авторы проводили эксперименты на реальных данных, полученных в рамках различных социальных исследований. Использовались различные модели и методы, включая модели генерации текста и текстовой регрессии. Результаты показали, что комбинация модельной информации с реальными данными позволяет повысить точность регрессионных моделей и других моделей, которые используются в социальных исследованиях. Также были сравнены различные стратегии объединения данных и показано, что предлагаемый подход даёт значительный прирост в качестве решения задач. ## Значимость Результаты работы могут иметь значительное значение для различных областей, в том числе для компьютерных наук, социальных исследований и даже для бизнеса. Использование модельной информации, созданной технологиями генерации текста, может повысить точность выводов в ситуациях, когда реальные данные отсутствуют или ограничены. Более того, предлагаемый подход может повысить уровень достоверности результатов в области регрессии и других моделей. Этот подход также может быть применён для решения других задач, где необходимо интегрировать искусственные данные с реальными. ## Вывод

## Контекст Многочисленные области, такие как производство, информационные технологии и мониторинг инфраструктуры, сталкиваются с потребностью в эффективном аномалий-детектировании в условиях нестационарных системных изменений. Нестационарность возникает из-за режимных сдвигов, понятийного сдвига и многомерных изменений, которые чрезмерно усложняют распознавание аномалий. Традиционные достижения в этой области опираются на статические пороги, которые становятся неактуальными в результате этих изменений. Развитие адаптивных подходов, которые могут учитывать изменения этих свойств в реальном времени, является ключевым для поддержания высокой точности детектирования аномалий. ## Метод Для решения этой проблемы предложены два новых подхода: Segmented Confidence Sequences (SCS) и Multi-Scale Adaptive Confidence Segments (MACS). SCS работает на основе статистического онлайн-обучения и применяет визуальную интерпретацию для определения локальных пределов надёжности вокруг значения показателя. MACS, в свою очередь, расширяет SCS на многомерные сценарии, используя многомерные подходы для адаптивного установления порогов. Оба метода поддерживают гарантии ложнопозитивных срабатываний даже при изменении статистических свойств временных рядов. Эти подходы используют онлайн-обучение для актуализации порогов, что даёт возможность легко адаптироваться к изменению среды. ## Результаты Эксперименты проводились на датасете Wafer Manufacturing, который отражает реальные сценарии нестационарности в производственных процессах. Надёжность детектирования аномалий была оценена по метрикам F1-score, контрольу ложнопозитивных срабатываний и критерию определения реальных аномалий. Результаты показали, что SCS и MACS превосходят традиционные подходы статических порогов, такие как процентили и хронологическая группировка квантилей. Это особенно важно в условиях многомерного изменения, где традиционные подходы часто низкоточны. ## Значимость Предложенные подходы обладают широкими областями применения, включая производственный мониторинг, системы безопасности информационных сетей и мониторинг инфраструктуры. Они демонстрируют высокую адаптивность и точность, что делает их привлекательными для различных сценариев, где нестационарность является ключевой проблемой. Для будущих исследований планируется расширение этих подходов на многомерные области, включая комбинацию с другими методами машинного обучения, чтобы добиться ещё большей точности и универсальности. ## Выводы SCS и MACS демонстрируют потенциал для эффективного аномалий-детектирования в условиях нестационарности. Они предоставляют новый подход к управлению

## Контекст С Modern Language Models (MLMs), основанные на трансформерах, пользуются популярностью благодаря их универсальным возможностям в обработке символьных последовательностей. Тем не менее, для эффективного моделирования сложности текстов необходимы методы, позволяющие хранить информацию о последовательности символов в уникальном, компактном формате. Эта проблема называется **bijective encoding** и требует создания кодирований, которые сохраняют порядок и грамматические отношения между символами в последовательности, без потерь информации. Такие методы могут быть использованы для обработки текстов, генома и других последовательностей. Эти данные требуют новых подходов к кодированию, которые могут полностью сохранить информацию о последовательностях в матричном виде для моделирования. ## Метод **Universal Sequence Maps (USM)** — это биективный фрактальный кодирований, основанный на итерационных функциях, которые называются **Chaos Game Representations (CGR)**. Эти функции преобразуют символьные последовательности в координаты в пространстве чисел. Последовательность представляется как последовательность точек на плоскости, каждая точка выбирается случайным образом в соответствии с правилами CGR. Эти точки могут быть преобразованы в частотные представления (FCGR), что позволяет использовать метрики расстояний и анализировать последовательности. **USM** позволяет решать задачу кодирования последовательностей в числовые значения с помощью итерационного преобразования, которое сохраняет последовательность в уникальном формате, не зависящем от исходного порядка символов. ## Результаты В этом исследовании решены проблемы сейджинга в **USM**, которая влияла на точность и уникальность кодирования. Решение было получено в двух этапах: 1. **Полное согласование позиционирования с последовательностью**: **USM** был изменен таким образом, чтобы каждый символ в последовательности мог быть точно определен в конечной координате, не зависящей от начального набора данных. Это позволило достичь полного согласования между последовательностью и ее координатой. 2. **Понятие USM как эффективного численного процесса**: Было открыто, что **USM** эффективно сходится к численному решению, которое может быть представлено в виде стейт ембеддинга. Это решение позволило использовать **USM** для моделирования последовательностей в любой длине и с любым алфавитом. Было продемонстрировано, что **USM** эффективно работает с алфавитом из 4 символов (геном) и может быть расширен для алфавитов с более большим числом символов. ## Значимость Результаты этого исследования могут быть применены в различных об

## Контекст В области искусственного интеллекта (ИИ), решения задач вне зависимости от наличия обширных данных или тщательной оптимизации, является ключевым заданием. Одним из важных подходов является вне-контекстное обучение (off-context learning), которое обычно используется для обучения агентов в среде с постоянным взаимодействием и заданными целями. Однако, возникает проблема, что агенты не всегда могут перейти на новые задачи или условия без перестройки их политик и представлений. Есть необходимость развития методов, которые позволяют агентам обучаться в контексте и при этом успешно применяться в новых и неизвестных задачах. ## Метод Предлагаемый подход, названный CORAL (Communicative Representation for Adaptive RL), предлагает решение для вне-контекстного обучения (ICRL), используя технику эволюции мировых моделей (world models). На первом этапе развития CORAL, Информационный Агент (IA) обучается на разнообразных задачах и создает мировую модель, которая декодирует входные сигналы в контекстуальные сообщения. Эти сообщения генерируются с помощью конкретного принципа, основанного на коазиентности (causal influence), который определяет, как сообщение влияет на поведение агента в среде. На втором этапе, контрольный агент (CA) использует эти сообщения для решения новых задач, без необходимости повторного обучения. ## Результаты Авторы проводили эксперименты в различных контекстах, в том числе в неизвестных и спарсных средах. Использовались различные данные, в том числе задачи с переменной структурой и сеткой задач. Результаты показали, что CORAL позволяет существенно улучшить эффективность обучения (sample efficiency) и способствует успешному выполнению задач в новых условиях. Например, агент, использующий CORAL, может справиться с задачей в неизвестной среде с нулевым дозапросом (zero-shot), используя только предобученную мировую модель. ## Значимость Предлагаемый подход может быть применен в различных областях, в том числе в играх, в ситуациях с реальным взаимодействием с окружением, в системах с автоматизированным управлением. Он обеспечивает значительное улучшение эффективности обучения и может быть применен для решения проблем, связанных с ограниченным доступом к данным. Благодаря декомпозиции проблемы на две части — генерации контекста и его использования — CORAL упрощает процесс обучения и позволяет использовать решения для различных задач без копирования данных. ## Выводы В итоге, CORAL демонстрирует большую эффективность в решении задач вне-контекстного обучения. Он успешно решает проблему перехода к новым задачам без полного перестроения модели. Будущие исследования будут направлены на улучшение моделей контекста и выявление в

## Контекст Статья посвящена анализу метода Schedule-Free (SF) в области ненормальных оптимизационных задач. Область исследования включает в себя методы шаблона обучения с огромными данными, где классические гарантии точности первых порядков зависят от тщательной настройки шага стохастического градиента. Хотя такие методы эффективны, их работа сильно зависит от предварительного знания границ оптимизационного процесса. Метод SF предлагает альтернативу, обеспечивая значительное снижение зависимости от параметров настройки за счет интерполяции между двумя классическими методами: Polyak--Ruppert averaging и момент. Однако до этого момента анализ SF в ненормальных случаях ограничивался или требовал сильных глобальных предположений. ## Метод В статье предлагается новый лиапуновский кадр, который сводит анализ SF к одному шагу спуска. Этот подход позволяет избежать сложностей, связанных с использованием традиционных шаблонов, и упрощает анализ метода. Основные технические решения включают интеграцию понятий нижней границы и гладкости функции в модель, чтобы обеспечить гибкость и точность анализа. Эта методология открывает новые возможности для лучшего понимания и оптимизации SF в сложных оптимизационных задачах. ## Результаты На основе предложенного лиапуновского кадра были получены новые теоретические гарантии для SF в ненормальной оптимизации. Эксперименты показали, что метод может достигать линейных гарантий со скоростями: - $O(1/\log T)$ при постоянном шаге с нулевой отдаленностью, - $O(\log T/T)$ при пространственном нарастании шага, - $O(T^{-(1-\alpha)})$ при полиномиальном нарастании шага. Эти результаты были подтверждены экспериментами Performance Estimation Problem (PEP), которые показали, что $O(1/\log T)$ может быть сужен до $O(1/T)$. Эти достижения открывают новые пути для построения квази-оптимальных методов в ненормальной оптимизации. ## Значимость Предложенный подход имеет широкие применения в машинном обучении, нейронных сетях и других ненормальных задачах. Он позволяет избежать необходимости уточнять шаг стохастического градиента в зависимости от неизвестных границ процесса. Это приводит к более простой, универсальной и эффективной модели, с меньшей зависимостью от параметров настройки. Такой подход может существенно повысить эффективность и надежность методов оптимизации в реальных приложениях. ## Выводы Полученные результаты доказывают, что SF может добиться гораздо лучших гарантий эффективности в ненормальной оптимизации, чем предыдущие методы. Будущие исследования долж

## Контекст Digital Twins (DTs) представляют собой инновационную технологию, которая позволяет создавать цифровые модели реальных объектов и систем, обеспечивая плавное взаимодействие между физическими и цифровыми сферами. Они получили широкое распространение в различных отраслях, включая производство, транспорт, здравоохранение и инфраструктуру, превратившись в ключевой элемент следующего поколения технологий, таких как обеспеченный AI и сети семийной мощности. Однако, по мере увеличения масштаба роботизированных систем и автоматизированных систем, возникают сложности в обеспечении эффективного обмена данными и сотрудничества между узлами. Наиболее затруднительными в этой области являются проблемы мультиагентного путеискания (MAPF), требующие быстрого и точного решения в реальном времени. Эти проблемы мотивируют развитие новых алгоритмов, которые могут обеспечивать эффективное взаимодействие между сетями и агентами в сложных цифровых экосистемах. ## Метод Мы предлагаем PANAMA (Priority Asymmetry for Network Aware Multi-agent Reinforcement Learning), новую марковскую стратегию для мультиагентного марковского актор-критик (MA-MACK), основанную на алгоритме Централизованного Обучения с Децентрализованным Исполнением (CTDE). PANAMA использует асинхронный архитектурный подход, где каждый агент обучается независимо, но взаимодействует с другими агентами в режиме реального времени. Мы внедрили Priority Asymmetry, чтобы распределить приоритеты между агентами в зависимости от их важности для задачи, а также создали алгоритм, который учитывает ограничения сети и использует данные в реальном времени для более эффективного обновления стратегии. Эта архитектура обеспечивает быстрое обучение, высокую точность решений и способность адаптироваться к изменению условий в реальном времени. ## Результаты Мы проверили PANAMA на наборе симуляционных данных, где он был сравнен с другими методами MAPF, такими как A3C и MA-MACK. Наши результаты показали, что PANAMA превосходит другие методы по многим показателям, включая точность, скорость и масштабируемость. Например, в задаче путеискания на трехмерной сети с 100 агентами, PANAMA показал скорость выполнения задачи в 25% выше, чем A3C, и обеспечил более высокую точность стратегии. Мы также проверили свою методику в реальных условиях, используя виртуальную среду, где PANAMA продемонстрировал способность адаптироваться к изменению сетевых условий и обеспечить безупречную работу в задачах, требующих высокой точности и скорости. ## Значимость PANAMA может быть применен в различных сферах, где требуется эффективное мультиагентное взаимоде

## Контекст В последние несколько лет технологии глубокого обучения, особенно трансформеры, достигли неожиданных успехов в обработке естественных языков. Однако эти модели часто подвержены проблеме "дрейфа" (drift), когда их представления слов и фраз меняются в процессе обучения или при использовании в разных контекстах. Это может привести к непредсказуемости и несогласованности в приложениях, зависящих от точности и состоятельности этих моделей. Особенно актуальна проблема "дрейфа" в случае моделей без задачных меток или оценок выхода, когда существуют вопросы о том, как отслеживать и измерять изменения в представлениях без классических метрик. ## Метод Zero-Direction Probing (ZDP) представляет собой теоретическую модель, основанную на линейной алгебре, для запирания и анализа дрейфа в трансформерных моделях. Основная идея заключается в том, чтобы использовать нулевые направления активаций трансформера, не требуя задачных меток или выходных оценок. Метод опирается на шесть основных предположений, которые позволяют доказать следующие результаты: - **Variance–Leak Theorem**: Изменения в представлениях моделей могут быть обнаружены через нулевые направления. - **Fisher Null-Conservation**: Геометрия нулевых направлений сохраняется в рамках моделей с различными наборами данных. - **Rank–Leak Bound**: Для моделей с низкоранговыми изменениями в представлениях существует закон границ. - **Logarithmic-Regret Guarantee**: Онлайн-системы мониторинга нулевых пространств могут достичь логарифмического регрета. Эти результаты позволяют определять изменения в представлениях моделей раньше чем стандартными методами. ## Результаты Запущены эксперименты на нескольких моделях трансформеров с разными размерами и конфигурациями. Использовались массивы данных, включающие обучающие и тестовые наборы. Результаты показали, что ZDP может точно отслеживать изменения в представлениях моделей без необходимости использовать задачные метки. Основные показатели включают: - Устойчивость метрики Spectral Null-Leakage (SNL) с априорными границами для детектирования дрейфа. - Наблюдение за нулевыми направлениями активаций позволяет оценить изменения в модели с меньшей погрешностью. - Значимые повышения точности в сравнении с традиционными подходами. ## Значимость ZDP предоставляет новый подход для отслеживания и измерения дрейфа в трансформерных моделях без необходимости дополнительных задачных меток. Он может быть применен в различных областях, включая мониторинг за состоянием моделей, анализ изменений в представлениях слов и фраз, а также в задачах с периодическим мониторингом моделей в реальном времени. Зна

## Контекст В последние годы искусственные нейронные сети, особенно большие языковые модели (LLMs), получили широкое распространение в различных областях, от применений в бизнесе до образовательных систем. Однако развитие этих моделей часто зависит от корректного выравнивания поведения модели в соответствии с человеческими ценностями и общественными нормами. Это процесс, называемый "alignment", требует использования человеческого вклинения в форме отзывов и фидбека, чтобы обучить модель подходить к решениям в соответствии с этими нормами. Однако, существующие методы, такие как Differentially Private SGD (DP-SGD), стремятся защитить чувствительные данные индивидуальных лейблеров, но это может привести к значительному снижению моделируемой модели. Исследователи сталкиваются с мотивацией для более балансированных подходов, которые не только защищают чувствительные данные, но и сохраняют высокую модельную эффективность. ## Метод Мы предлагаем PROPS (PROgressively Private Self-alignment), многоступенчатый фреймворк, который обеспечивает высокую личностную конфиденциальность через применение прогрессивного алгоритма самоориентированного выравнивания. Этот метод использует модели, которые были выравнены в предыдущих этапах, в качестве новых данных для тренировки в последующих этапах. Это позволяет уменьшить необходимость в человеческом вклинении на последних этапах алгоритма. Мы также применяем техники, такие как градиентный шум и защищенные методы обучения, для обеспечения конфиденциальности на уровне предпочтений. Архитектура PROPS включает в себя несколько моделей, которые обучаются в закрытом режиме и обмениваются данными для улучшения качества и конфиденциальности в целом. ## Результаты Мы провели эксперименты с несколькими моделями, такими как Pythia и GPT, и использовали данные из баз данных, таких как AlpacaEval, Anthropic HH-RLHF, и truthy-dpo-v0.1. Наши результаты показали, что PROPS может достигать до 3 раза большей производительности в сравнении с DP-SGD и 2.5 раз большей производительности в сравнении с Randomized Response (RR) на одном и том же уровне конфиденциальности. Эти результаты подтверждают, что PROPS обеспечивает высокую конфиденциальность при улучшении моделируемой эффективности в сравнении с существующими методами. Мы также проверили, что PROPS сохраняет высокую точность в поддержке человеческих ценностей в диапазоне разных сценариев и задач. ## Значимость Предлагаемый подход PROPS имеет широкие области применения в области юмора, защиты частных данных и социальных сетей, где необходимо соблюдать чувствительную конфиденциальность. Он предлагает преимущества в повышении качества результатов модели, у