## Контекст Глубокое обучение (deep learning) является одной из наиболее влиятельных и быстро развивающихся областей искусственного интеллекта. Основной причиной его успеха является возможность аппроксимировать сложные нелинейные зависимости в данных с помощью нейронных сетей. Несмотря на эту мощь, глубокое обучение не без проблем: оно часто сталкивается с неопределенностью в области оптимизации, а также с трудностями в обработке нелинейных, несгладких и даже катастрофически неуправляемых моделей. Одним из возможных решений этой проблемы является применение математических инструментов, таких как **тамая геометрия** (также известная как o-минимальность), для того, чтобы обеспечить более строгую формализацию и упрощение оптимизационных процессов. **Tame geometry** предлагает простой, но мощный фреймворк для понимания и решения сложных задач в области AI, в том числе в глубоком обучении. ## Метод В этой работе мы предлагаем использовать подход, основанный на **тамой геометрии**, для трактовки нейронных сетей как композиции функций в рамках математических ограничений. Методология включает в себя три основные этапы: 1. **Моделирование нейронных сетей в системах tame geometry**: Мы применяем методы тамой геометрии для формализации нейронных сетей, которые могут быть выражены в виде композиций ограниченных и хорошо понятных функций. 2. **Оптимизация в тамой геометрии**: Мы используем оптимизационные теоремы, адаптированные к тамой геометрии, для разработки методов оптимизации, которые могут работать с несгладкими, но такими, что имеют гарантии сходимости. 3. **Синтез и обобщение**: Мы разрабатываем методики для синтеза новых нейронных сетей, которые могут быть описаны в тамой геометрии, и обобщаем их на широкий класс моделей. ## Результаты Мы проводили эксперименты с нейронными сетями в рамках тамой геометрии, используя выборки данных, включающие как сглаженные, так и несглаженные функции. Эксперименты показали, что подход, основанный на тамой геометрии, дает значительные выигрыши в сравнении с более традиционными методами, такими как stochastic gradient descent (SGD). Мы также показали, что модели, оптимизируемые в рамках этого фреймворка, обладают более высокой стабильностью и точностью в процессе обучения. ## Значимость Полученные результаты имеют прямое отношение к широкой области применений, включая глубокое обучение, машинное обучение, а также общую теорию оптимизации. Этот подход может быть применен в таких областях, как: - **Прикладная математика**: Метод позволяет работать с условиями, которые обычно трудно аппроксимировать в традиционных моде

#### Контекст Сервирование ло LLM (Large Language Models) является важной задачей для платформ, обрабатывающих запросы в реальном времени. Запросы к LLM могут варьироваться в зависимости от длины входных промотов (prefill lengths) и длины получаемых ответов (decode lengths). Это значит, что каждый запрос потребляет различное количество памяти, что создает сложивую структуру для оптимального сервирования. Помимо этого, запросы могут накладывать ограничения на порядок обработки и пакетирование, что далее усложняет задачу. Таким образом, целью этого исследования является оптимизация сервирования запросов LLM в условиях неоднородных требований к памяти и ограничениям на обработку. #### Метод Мы исследуем проблему оптимизации запросов LLM с разными параметрами prefill и decode, включая ограничения на пакетирование и порядок обработки. Методология включает: 1. Анализ существующих стратегий оптимизации, таких как First-Come-First-Serve (FCFS) и Shortest-First (SF). 2. Разработка нового подхода, основанного на выборе метрики, которая эффективно строит пакеты запросов во время выполнения. 3. Обоснование константной конкурентной метрики для нового алгоритма. 4. Разработка динамических программирования, методов поиска локальных методов и логистических программирования, для лучшего использования ресурсов. #### Результаты Мы проводим эксперименты с разными стратегиями и данными, оценивая их эффективность в минимизации завершающего времени запросов. Результаты показывают, что новый алгоритм с метрикой выбора показывает значительные улучшения по сравнению с существующими методами. Особенно выгоден в условиях большого объема памяти и разнообразных ограничений запросов. Оптимизированные динамические программирование и локальные поисковые методы также показали высокую эффективность в ситуациях, где требуется быстрая реакция. #### Значимость Новый подход может быть применен в различных областях, где LLM-сервисы используются, таких как системы рекомендаций, поисковые системы, искусственный интеллект в реальном времени. Преимущества нового метода включают: - Уменьшение завершающего времени запросов. - Улучшение использования ресурсов. - Увеличение скорости и точность ответов. Эти достижения позволяют улучшить пользовательский опыт и эффективность систем LLM в различных приложениях. #### Выводы Мы доказали, что существующие стратегии оптимизации LLM-запросов имеют ограниченную эффективность в условиях неоднородных требований к памяти и ограничениям. Новый алгоритм с метрикой выбора показал стабильную и высокую эффективность. Будущие и