Underdamped Langevin MCMC with third order convergence

## Контекст Многие прикладные задачи, такие как классификация, регрессия и детекция, в большой степени зависят от эффективных методов оценивания обобщающих функций. Одним из таких методов является поддержанный линейный классификатор (Supported Linear Classifier, SLC). Он представляет собой модель, которая оптимизирует линейную функцию, ограничиваясь условиями, определяемыми поддержанными объектами. Несмотря на развитие методов оценивания SLC, существуют некоторые проблемы, связанные с ограниченной точностью и неэффективностью в использовании доступных данных. Эти проблемы мотивируют разработку более эффективных алгоритмов, которые могли бы повысить точность классификатора и уменьшить время обучения. ## Метод Мы предлагаем новую модель, основанную на поддержанных линейных классификаторах, которая включает в себя несколько улучшений по сравнений с предыдущими моделями. Алгоритм использует адаптивное обучение, что позволяет адаптироваться к каждому конкретному набору данных. Мы применяем метод градиентного спуска с модификацией Adam для оптимизации функции потерь, которая задана как сумма кросс-энтропий между предсказаниями и истинными метками. Кроме того, мы реализуем технику регуляризации L2 для уменьшения переобучения. Метод также включает в себя систему ансамбля, где несколько моделей обучаются параллельно, и результаты комбинируются для повышения уверенности в предсказаниях. ## Результаты Мы проводим эксперименты с нашим алгоритмом на нескольких датасетах, включая MNIST, CIFAR-10 и IMDB. Мы сравниваем нашу модель с тремя современными поддержанными линейными классификаторами. Результаты показывают, что наш алгоритм достигает лучшей точности классификации и снижает время обучения. Мы также проводим анализ подвижности модели и показываем, что она обладает более низкой стоимостью памяти и вычислительной сложностью по сравнению с конкурентами. ## Значимость Наш алгоритм может быть применен в различных областях, таких как медицинская диагностика, анализ текста и классификация изображений. Он предлагает значительные преимущества по сравнению с предыдущими моделями, включая более высокую точность, более эффективное использование ресурсов и более гибкую архитектуру, которая может быть адаптирована к различным задачам. Эти достижения могут положительно сказаться на производительности систем, основанных на линейных классификаторах, и способствовать развитию интеллектуальных технологий. ## Выводы Мы предложили новую модель, основанную на поддержанных линейных классификаторах, которая показала существ