What Matters for Bioacoustic Encoding

## Контекст Биоакустика — это область исследований, которая изучает звуки, вырабатываемые живыми организмами. Она играет кллючевую роль в защите природы, мониторинге биоразнообразия и изучении поведения. Многие задачи в этой области, такие как классификация видов, идентификация индивидов, определение поведения и детекция, хорошо подходят для применения машинного обучения. Однако эти задачи часто сталкиваются с ограниченным количеством отмеченных данных, что создает необходимость в разработке универсального биоакустического кодировщика, который мог бы извлекать полезные представления для различных задач. Однако, существующие подобные модели часто ограничены в своем применении, ориентируясь только на определенные виды (например, птиц) и ограничиваются одним конкретным архитектурным решением или подходом к обучению. В настоящем исследовании мы стремимся охватить более широкий круг факторов, влияющих на эффективность биоакустических моделей, включая разнообразие данных, архитектуры моделей и их применение к различным задачам. ## Метод Мы проводим широкомасштабное эмпирическое исследование, которое включает в себя различные аспекты биоакустики, которые ранее не получали должного внимания. Обучаемая данная модель должна работать с разнообразными биоакустическими данными, включая звуки птиц, животных и других организмов. Мы используем две стадии обучения: пре-тренировку самостоятельного основанного на аудио и последующую супервизированную подготовку на смешанном корпусе биоакустических и общих аудиоданных. Эта модель проверяется на 26 различных данных, включая классификацию видов, определение индивидов, детекцию и возможность открытия вокального репертора. Мы оцениваем архитектуры моделей, варианты обучения и различные варианты предварительной обработки данных. Эксперименты проводятся на различных уровнях абстракции, чтобы понять, какие факторы имеют наибольшее значение для работы модели. ## Результаты Мы получили модели с самыми высокими показателями на существующих и проведенных нами бенчмарках. Мы провели подробный анализ, в котором выявили, что самостоятельная предварительная обученность (self-supervised pre-training), следующая за супервизированной подготовкой на смешанном корпусе данных, дает наилучший результат как на одной конкретной дате, так и при переносе модели на другие таски и данные. Мы также показали, что разнообразие данных, как в предварительной, так и в последующей стадии обучения, является критическим для достижения лучших результатов. Мы также выявили, что увеличение различных типов задач и разнообразия данных