## Контекст Появление small language models (SLMs) стало ответом на рост запросов на выделение ресурсов и их доступность для различных пользователей. Однако несмотря на выгоды в эффективности и доступности, полноценное оценивание их производительности и их влияния на окружающую среду до сих пор не было осуществлено. Оценка не только производительности, но и энергопотребления и удобства этих моделей позволят получить более глубокое понимание их возможностей и ограничений. SLM-Bench является первым подробным бенчмарком, предназначенным для оценки SLMs в различных аспектах: точности, энергоэффективности, а также различных метрик, связанных с удобством использования. Этот подход позволяет сравнить различные модели в различных условиях использования. ## Метод SLM-Bench проводит подробный анализ 15 SLMs на 9 задачах естественного языкового процессинга с 23 различными датасетов из 14 различных сфер. Результаты сравниваются с использованием 4 различных типов вычислительных устройств. Эта методика позволяет выявить различия в производительности и эффективности в различных условиях. Бенчмарк оценивает 11 различных метрик, включая не только точность решений, но и энергопотребление, скорость обработки и другие экономичные показатели. Это позволяет получить комплексный вид на выгоды и недостатки каждой модели. Основной мотивацией является создание нового стандарта оценки SLM, чтобы обеспечить более точное понимание их соотношения между производительностью и энергоэффективностью. ## Результаты Эксперименты показали, что различные SLMs показывают разные результаты в зависимости от задачи и типа устройства. Некоторые модели показывают высокую точность в решении задач, но имеют высокое энергопотребление. Другие модели, наоборот, примечательны своей энергоэффективностью, но могут иметь ограниченную точность. Например, модели, ориентированные на уменьшение энергопотребления, могут иметь небольшой отставание в точности решений, но значительно экономят ресурсы. Итоги экспериментов показали, что нет однозначного решения, которое было бы оптимальным для всех задач. Вместо этого, различные SLMs предлагают разные торговые-офф жертвы между точностью и энергоэффективностью. ## Значимость SLM-Bench широко может применяться в различных областях, где необходимо эффективное использование ресурсов, таких как здравоохранение, образование и экономика. Бенчмарк также предоставляет пользователям возможность сравнивать различные модели, чтобы выбрать наиболее подходящую в зависимости от специфики задачи. Этот подход позволяет оптимизировать используемые ресурсы, сокращая энергозатраты и у