#### Контекст Fine-tuning предварительно обученных больших языковых моделей (LLM) для задач предсказания сложности и текста является ключевым элементом в процессе развертывания AI. Методы Машинного Обучения (ML), такие как Реинфорсмент Лёрнинг (RL), играли значительную роль в развитии современных LLMs. Однако, методы Эволюционных Эстиматоров (ES), которые ранее продемонстрировали свою эффективность в тюнинге моделей с миллионами параметров, были забыты в свете сложности их применения к более крупным моделям. #### Метод Мы предлагаем подход, основанный на Эволюционных Эстиматорах, для тюнинга полного набора параметров больших языковых моделей. Наша методология включает в себя разработку эффективных стратегий обновления для эвристики генетического алгоритма, а также использование многоуровневого улучшения для точного тюнинга модели. Мы использовали многоцелевую оптимизацию для минимизации потерь и улучшения качества предсказаний в разных сценариях. #### Результаты Мы провели эксперименты с двумя LLMs размером 1,3 млрд параметров и показали, что наш подход превосходит RL в нескольких аспектах. Мы использовали огромные данные, включая параллельные вычисления на 128 V100 GPU, и получили результаты, показавшие, что наш подход не только эффективней, но и менее уязвим к проблемам, таким как "reward hacking". #### Значимость Наш подход открывает новые возможности в области fine-tuning LLMs, идет дальше RL, и демонстрирует преимущества в области эффективности, устойчивости и применения к более крупным моделям. Помимо этого, этот подход может быть применен в различных областях, включая синтез текста, генерацию кода и трансляцию языков. Мы предоставили наш код для дальнейшего исследования и реализации. #### Выводы Мы успешно расширили границы методов тюнинга LLMs, показав, что Эволюционные Эстиматоры могут эффективно работать с моделями на миллиарды параметров. Наше исследование открывает новые инсайты в области AI и может стать основополагающим для будущих исследований в этой области.

## Контекст Одна из ключевых задач в области машинного обучения является обучение больших языковых моделей (LLM). Несмотря на их высокую точность и эффективность, эти модели требуют огромных ресурсов для обучения и инференса, что ограничивает их развертывание в устройствах с ограниченными ресурсами. Таким образом, существует необходимость в разработке методов, позволяющих сократить размер моделей без существенного ухудшения их качества. В этой статье предлагается фреймворк, основанный на эволюционной оптимизации, для эффективного обучения таких моделей. ## Метод Фреймворк предлагает разбить модель на несколько экземпляров (экспертов), которые имеют одинаковую архитектуру, но разные веса. На каждом шаге обучения обучается только один эксперт (sub-network). После классического обучения с помощью AdamW, веса экспертов модифицируются с помощью эволюционных операторов: скрещивания, мутации и оптимизации частичного селектора (PSO). Эти операторы позволяют текущему эксперту "унаследовать" знания лучшего эксперта, что ускоряет уменьшение потерь. Наконец, только веса лучшего эксперта сохраняются, что приводит к значительному сокращению размера модели. ## Результаты Эксперименты показали, что лучший эксперт показывает почти одинаковую точность, что и полная модель. Это существенно сокращает размер модели для инференса. Благодаря тому, что в каждом шаге обучения обучается только один эксперт, процесс требует меньшего объема памяти и обеспечивает более высокую пропускную способность. Таким образом, пропускная способность может увеличиваться на более чем десять раз по сравнению с необходимым для обучения полной модели. ## Значимость Предложенный подход может быть применен в области машинного обучения для создания эффективных моделей, подходящих для развертывания на устройствах с ограниченными ресурсами, таких как edge computing или мобильные устройства. Основные преимущества заключаются в сокращении размера моделей, повышении пропускной способности и сохранении высокой точности. Это открывает новые возможности для развития AI-решений в различных секторах, таких как мобильные приложения, IoT и медицина. ## Выводы Предложенный эволюционный фреймворк для обучения языковых моделей демонстрирует перспективу сокращения размера моделей и увеличения пропускной способности без потери точности. Будущие исследования будут сконцентрированы на улучшении эволюционных операторов, оптимизации процесса скрещивания и динамическому выбору экспертов в процессе обучения.

## Контекст В многозадачном обучении (multi-task learning) существуют ситуации, когда цели разных задач противоречат друг другу, что приводит к взаимому мешанию градиентов (gradient interference). Такое взаимодействие замедляет сходимость и ухудшает последствия обучения. Несмотря на значительные улучшения в многозадачном обучении, эффективные методы управления такими конфликтами остаются неисследоваными. Это приводит к предложению новых подходов, которые могут улучшить обучение, устранив проблему градиентного мешания. ## Метод Задача раскрашивания графа (graph coloring) представляет поток градиентов в виде взвешенного графа. Затем, метод использует жадный алгоритм раскраски графа, чтобы разделить задачи на группы, где градиенты будут совместимы. Этот алгоритм работает в реальном времени, пересчитывая раскраску при изменении взаимосвязей задач. В ходе обучения задачи в пределах одной группы (цвета) будут обновляться совместимо, чтобы не помешать друг другу. Это позволяет увеличить эффективность оптимизатора многозадачного обучения без дополнительных настроек. ## Результаты Результаты получены на шести разных датасетах, показавшими, что новый подход постоянно превосходит современные оптимизаторы многозадачного обучения. Эксперименты подтвердили, что использование раскраски графа с учетом интерференции градиентов способствует более стабильному и эффективному обучению. Обнаружено, что метод позволяет повысить точность и уменьшить число итераций обучения. ## Значимость Метод может применяться в любых ситуациях многозадачного обучения, где существуют конфликты между задачами. Он привносит выгоду в процессе обучения, уменьшая конфликт градиентов и повышая эффективность. Это делает его полезным для различных приложений, в том числе в области здравоохранения, автоматизации и машинного обучения. ## Выводы Предложенный метод показал свою эффективность в решении конфликтов градиентов в многозадачном обучении. Он открывает путь к дальнейшим исследованиям в области улучшения методов обучения с несколькими задачами, которые могут значительно улучшить результаты в задачах, где задачи конфликтуют. Будущие исследования могут сосредоточиться на улучшении алгоритмов раскраски графа и их применении в различных контекстах.

## Контекст В последние годы трансформеры и их механизм внимания стали одной из фундаментальных составляющих искусственного интеллекта. Оригинально разработанные для обработки текстовых данных, они быстро нашли применение в обработке изображений, видео, графов и других типов сигналов с разными геометриями. Однако широкое применение трансформеров к задачам, где данные представлены на разных уровнях детализации или из разных многомодальных источников, сталкивается с рядом проблем. Наиболее сложным показалось включение в модели естественного иерархического порядка данных и многомодальности. Эти проблемы часто решаются с помощью ад-хук оптимизаций, которые не всегда могут быть легко применены к похожим задачам. В данной работе мы принимаем другой подход, основываясь на формализации и математической модели, чтобы сделать вклад в общее понимание и решения таких проблем. ## Метод Мы предлагаем универсальный математический фреймворк для представления данных с множественными модальностями и уровнями детализации. Этот фреймворк основывается на принципе минимизации энтропии, что позволяет выразить внимание в трансформере с точки зрения оптимального распределения ресурсов. Мы также предложили эффективный алгоритм на основе динамического программирования для вычисления такого внимания. Далее мы интегрируем наш метод с трансформерами, обеспечивая способность обучать модели с многоуровневым вниманием с нуля, а также модифицировать уже готовые модели, добавляя в них иерархические свойства. ## Результаты Мы провели эксперименты на различных задачах, включая обработку текста, изображений и видео. Наши результаты показали, что иерархическое внимание не только демонстрирует высокую точность, но и эффективно работает при работе с многомодальными и многоуровневыми данными. Мы также проверили, как наш метод может быть использован для модификации уже обученных трансформеров, добавляя им новые индикутивные предрассудки, а также улучшая их работу на новых задачах. ## Значимость Наш подход может быть применен в различных областях, таких как обработка естественного языка, анализ изображений, видео и других сигналов. Он обеспечивает более точную обработку многомодальных данных и улучшает производительность трансформеров в сложных задачах. Мы увидели, что наш метод может стать инструментом для улучшения трансформеров в многомодальных и многоуровневых задачах, что может привести к более эффективным решениям в сферах, где данные имеют различные геометрии и сложности. ## Выводы Мы представили новую математическую модель для представления многомо

## Контекст Meta-Black-Box Optimization (MetaBBO) является перспективным подходом к автоматизации проектирования оптимизационных алгоритмов. Он использует силу общего применения мета-обучения для конструирования политик алгоритмов, которые могут адаптироваться к неизвестным задачам оптимизации без ручного вмешательства. Однако существующие MetaBBO-системы обучаются на ограниченных и недостаточно разнообразных наборах задач, что может привести к переобучению и низкой общей способности. Это ограничение становится критичным в ситуациях, когда MetaBBO применяется к реальным-мировым проблемам, где задачи часто отличаются в размерности, структуре и особенностях. Главная мотивация этой работы заключается в создании метода для сгенерирования разнообразных и представительных задач для обучения MetaBBO. ## Метод Метод, предложенный в данной работе, называется **Latent Space Reverse Engineering (LSRE)**. Он состоит из двух основных этапов: автокодирования и обратного инженеринга. В первой фазе автокодирователь, основанный на автоэнкодере, создает нейронную сеть, которая преобразует высокомерные признаки задачи в двумерное пространство латентного представления. Это пространство латентного представления структурируется с помощью универсальных шаблонов, чтобы обеспечить сгенерированные задачи представительность и разнообразие. Во второй фазе, генетический алгоритм используется для поиска формул, которые минимизируют расстояние L2 между латентными представлениями и функциями задач. Этот процесс создает новую выборку задач, которая называется **Diverse-BBO**, и предназначена для обучения MetaBBO. ## Результаты Для оценки эффективности **Diverse-BBO**, созданного при помощи LSRE, проводились ряд экспериментов. Метрики производительности опирались на метрики обобщающей способности MetaBBO на синтетических и реальных задачах оптимизации. Результаты показали, что MetaBBO, обученные на Diverse-BBO, превосходят по обобщающей способности точность и устойчивость в сравнении с MetaBBO, обученными на стандартных наборах задач (например, CoCo-BBOB). Эти результаты подтверждают, что Diverse-BBO дает MetaBBO более сильное понимание различных черт задач оптимизации. Дополнительные аблационные исследования показали, что разнообразие в задачах и их представительность являются ключевыми факторами для улучшения производительности MetaBBO. ## Значимость **Diverse-BBO**, созданный через LSRE, может применяться в различных областях, где необходимо адаптироваться к разнообразным задачам оптимизации, такие как робототехника, системы рекомендаций, инженерное проектирование. Он предлагает значительные преимущества по сравнению с существующими методами: расши

## Контекст Репрезентационные сходством метрики являются основными инструментами в науке о разуме и искусственном интеллекте. Они позволяют оценивать схожесть представлений внутри и между моделями, обнаруживая структуры и отношения между данными. Однако не существует систематических сравнений их дискриминативной силы по отношению к разным семействам моделей. Это сделало необходимым развитие методологии, позволяющей оценивать, насколько эффективно разные метрики отличают модели по их внутренним представлениям. Такой подход не только будет способствовать пониманию особенностей моделей, но и поможет выбору правильной метрики для конкретной задачи, когда сравниваются модели разных архитектур или обученные разными способами. ## Метод Мы предложили фреймворк, основанный на мере дискриминативности, которая измеряется с помощью трех разных критериев. В качестве базовых метрик использовались RSA (Representational Similarity Analysis), линейная прогностичность, метод Прокурстеса и мягкое сравнение. Мы применили эти метрики для сравнения моделей с различными архитектурами, такими как CNN (Convolutional Neural Networks), Vision Transformers, Swin Transformers и ConvNeXt. Также мы рассмотрели различные режимы обучения, включая супервизированное и самостоятельное обучение. Для оценки дискриминативности мы использовали три методы: d-prime (из сигнальной детекции), коэффициенты шейлов и ROC-AUC. Это позволило нам проанализировать, насколько эффективно разные метрики отличают модели в зависимости от их архитектуры и обучения. ## Результаты Мы провели подробные эксперименты, сравнив дискриминативность различных метрик на выборке данных, представляющей собой представления моделей с разными архитектурами и режимами обучения. Мы отметили, что дискриминативность растет с увеличением строгости внутренних ограничений, которые накладываются метриками. Например, метод "мягкое сравнение" показал самую высокую дискриминативность среди маппинг-метрик, а за ним следовали Procrustes и линейная прогностичность. Также мы отметили, что некоторые метрики, не использующие явное сравнение внутренних представлений (например, RSA), также демонстрировали высокую дискриминативность, хотя с точки зрения структуры они работают по-другому. ## Значимость Наши результаты имеют практическое значение для нескольких областей. В первую очередь, они помогают выбирать наиболее подходящую метрику для сравнения моделей и мозга, что важно для исследований в области глубокого обучения и мозговой динамики. Также, наш фреймворк позволяет выявлять слабые места в метриках, что может привести к развитию более эффективных методов. Э

## Контекст Моделирование интеллектуальных систем является ключевым направлением в развитии искусственного интеллекта. Одна из актуальных задач — объединение способностей нескольких моделей в единую мощную модель. Несмотря на потенциальные выгоды, этот процесс затрудняется двумя основными проблемами. Во-первых, многие существующие техники объединения моделей включают в себя гиперпараметры, которые оказывают существенное влияние на качество результатов. Во-вторых, оптимизация этих гиперпараметров требует больших вычислительных ресурсов, особенно при работе с тяжёлыми языковыми моделями (LLM). Для решения этих проблем необходимо разработать эффективные методы оптимизации гиперпараметров, чтобы повысить эффективность и снизить стоимость исследований в этой области. ## Метод Мы предлагаем систему суррогатных бенчмарков для оптимизации гиперпараметров объединения моделей. Методология основывается на сборе данных и разработке моделей предсказания. Два определённых пространства поиска (search spaces) содержат различные комбинации гиперпараметров, а данные для них собираются на основе результатов испытаний моделей. Эти данные используются для обучения суррогатной модели, которая может предсказывать качество результатов объединения моделей на основе выбранных гиперпараметров. Это позволяет эмулировать работу оптимизационных алгоритмов с минимальными вычислительными затратами. ## Результаты Наши суррогатные бенчмарки продемонстрировали высокую точность в предсказании качества результатов объединения моделей. Мы провели эксперименты с разными оптимизационными алгоритмами, используя наши модели для эмуляции их работы. Эксперименты показали, что суррогатные модели эффективно описывают зависимость между гиперпараметрами и качеством объединения. Кроме того, наши результаты позволяют сравнивать различные алгоритмы по их эффективности и экономичности, не требуя исполнения настоящих оптимизационных процессов. ## Значимость Наш подход открывает новые возможности для развития технологий объединения моделей. Он позволяет экономить вычислительные ресурсы и сократить время разработки над новыми оптимизационными методами. Бенчмарки могут применяться в разработке новых моделей, в анализе выполнения оптимизационных алгоритмов и в сравнительных исследованиях. Этот подход также имеет потенциал для распространения на другие задачи в области машинного обучения, где требуется эффективное оптимизационное решение. ## Выводы Мы разработали эффективные суррогатные бенчмарки для оптимизации гиперпараметров моделей объединения. Наши результаты подтверж