Comparing energy consumption and accuracy in text classification inference

## Контекст Приростарший развертывание больших языковых моделей (LLMs) в задачах обработки естественного языка (NLP) вызывает заботы по поводу энергоэффективности и устойчивости. Хотя исследования преимущественно ориентированы на энергопотребление во время обучения моделей, этап инференса (оценки модели) остается значительно менее исследованным. В данном исследовании проводится систематический эксперимент для оценки компромиссов между точностью и энергопотреблением в процессе вывода текстовой классификации с различными архитектурами моделей и конфигурациями оборудования. Оказывается, что наилучшая точность модели не всегда сочетается с минимальным потреблением энергии, и более крупные модели LLMs часто требуют значительно большего энергопотребления с меньшей точностью классификации. Эти наблюдения имеют решающее значение для развития устойчивой ИИ, обеспечивая основания для принятия обоснованных решений по оптимизации производительности и энергосбережения в NLP. ## Метод Исследование проводится посредством подробной эмпирической оценки различных моделей текстовой классификации и конфигураций оборудования. Данные экспериментальной части включают широкий диапазон моделей текстовой классификации, включая традиционные модели и предварительно обученные LLMs. Архитектуры моделей сравниваются в условиях одинакового количества задач классификации и выборок. Основными показателями измерения являются энергопотребление (измерено в мВт часах) и точность классификации. Также исследуется связь между энергопотреблением и временем выполнения модели. Эксперименты проводятся на различных конфигурациях оборудования, включая процессоры и GPU, для изучения влияния аппаратных характеристик на энергоэффективность. ## Результаты Результаты показывают, что наиболее точные модели часто являются наиболее энергоемкими, но не всегда. Например, некоторые модели среднего размера показали высокую точность при намного меньшем энергопотреблении по сравнению с крупными LLMs. Энергопотребление варьируется в пределах от нескольких милливатт-часов до нескольких киловатт-часов, в зависимости от модели и конфигурации оборудования. Также обнаружена сильная корреляция между энергопотреблением и временем выполнения, что позволяет использовать последнее как приближенную меру энергопотребления в тех случаях, когда прямое измерение невозможно. ## Значимость Находки из данного исследования имеют применимость в сферах сSUstainable AI, где энергопотребление является ключевым фактором. Особенно ценны они для текстовых классификационных задач