Beyond Classification: Evaluating LLMs for Fine-Grained Automatic Malware Behavior Auditing

## Контекст Автоматизированные методы классификации зловредных программ (malware) достигли высокой точности, но удовлетворяют не все потребности в области безопасности. На сегодняшний день, возникла необходимость в аудите поведения зловредных приложений, которая позволяет получить конкретные и доказываемые выводы о характере их действий. Эта задача становится сложной из-за того, что злоумышленники скрывают свои намерения в сложных фреймворках и приложениях, что делает ручной анализ дорогим и медленным процессом. Бо LLM могут стать помощником в этой области, но их потенциал в аудите поведения лайков остается мало исследованным. Это связано с тремя основными проблемами: недостаточность тонкой гранулярности в аннотациях, преобладанием безопасного кода, маскирующего зловредные сигналы, и недостаточной надёжности выводов LLMs, оказавшейся подверженной гипотезам. Для стандартизации и оценки потенциала LLMs в этой области был разработан MalEval — комплексный фреймворк для центровных аудитов Android-malware. ## Метод MalEval предлагает специально сконструированную экспертно подтверждённую базу данных, содержащую функциональные аудиторские отчеты и обновлённый список чувствительных API-интерфейсов, чтобы уменьшить неопределённость и улучшить качество обучающих данных. Для определенности и доказываемости результатов, MalEval представляет функциональные представления структуры функций в качестве интермедиате атрибуции. Он определяет 4 задачи, интересующие аналитиков: приоритетизацию функций, привлечение доказательств, синтез поведения, и дискриминацию примеров, с помощью доменно-специальных метрик и единой ориентированной метрики рабочей нагрузки. Этот фреймворк позволяет выполнять систематическую оценку семи широко используемых LLMs на курсированной выборке из современных зловредных приложений и неверно классифицированных безопасных приложений. ## Результаты Эксперименты проводились с использованием MalEval на данных относящихся к зловредным приложениям и неверно классифицированным безопасным приложениям. Оценены семь широко используемых LLMs, и их результаты были сравнены по созданным задачам и метрикам. Результаты показали, что хотя LLMs демонстрируют как удачные результаты, они также имеют серьёзные ограничения, особенно в сложных сценариях. Например, они демонстрируют высокую точность в функциональной атрибуции но слабо выполняют задачи глубокого анализа поведения. Эта систематическая оценка позволяет выявить преимущества и ограничения LLMs в области аудита поведения зловредных приложений. ## Значимость MalEval представляет собой