Surrogate Benchmarks for Model Merging Optimization

## Контекст Моделирование интеллектуальных систем является ключевым направлением в развитии искусственного интеллекта. Одна из актуальных задач — объединение способностей нескольких моделей в единую мощную модель. Несмотря на потенциальные выгоды, этот процесс затрудняется двумя основными проблемами. Во-первых, многие существующие техники объединения моделей включают в себя гиперпараметры, которые оказывают существенное влияние на качество результатов. Во-вторых, оптимизация этих гиперпараметров требует больших вычислительных ресурсов, особенно при работе с тяжёлыми языковыми моделями (LLM). Для решения этих проблем необходимо разработать эффективные методы оптимизации гиперпараметров, чтобы повысить эффективность и снизить стоимость исследований в этой области. ## Метод Мы предлагаем систему суррогатных бенчмарков для оптимизации гиперпараметров объединения моделей. Методология основывается на сборе данных и разработке моделей предсказания. Два определённых пространства поиска (search spaces) содержат различные комбинации гиперпараметров, а данные для них собираются на основе результатов испытаний моделей. Эти данные используются для обучения суррогатной модели, которая может предсказывать качество результатов объединения моделей на основе выбранных гиперпараметров. Это позволяет эмулировать работу оптимизационных алгоритмов с минимальными вычислительными затратами. ## Результаты Наши суррогатные бенчмарки продемонстрировали высокую точность в предсказании качества результатов объединения моделей. Мы провели эксперименты с разными оптимизационными алгоритмами, используя наши модели для эмуляции их работы. Эксперименты показали, что суррогатные модели эффективно описывают зависимость между гиперпараметрами и качеством объединения. Кроме того, наши результаты позволяют сравнивать различные алгоритмы по их эффективности и экономичности, не требуя исполнения настоящих оптимизационных процессов. ## Значимость Наш подход открывает новые возможности для развития технологий объединения моделей. Он позволяет экономить вычислительные ресурсы и сократить время разработки над новыми оптимизационными методами. Бенчмарки могут применяться в разработке новых моделей, в анализе выполнения оптимизационных алгоритмов и в сравнительных исследованиях. Этот подход также имеет потенциал для распространения на другие задачи в области машинного обучения, где требуется эффективное оптимизационное решение. ## Выводы Мы разработали эффективные суррогатные бенчмарки для оптимизации гиперпараметров моделей объединения. Наши результаты подтверж