📊 Статистика дайджестов
Всего дайджестов: 34022 Добавлено сегодня: 0
Последнее обновление: сегодня
📄 Compressive Meta-Learning
2025-08-19Авторы:
Daniel Mas Montserrat, David Bonet, Maria Perera, Xavier Giró-i-Nieto, Alexander G. Ioannidis
#### Контекст
В последние годы размеры данных, собираемых в различных областях, стремительно растут. Это привело к появлению новых вызовов в области машинного обучения, таких как необходимость в быстрых и эффективных методах обучения моделей. Классические подходы часто становятся неэффективными при работе с большими количествами данных. Одним из таких подходов является **Compressive Learning**, который предлагает уменьшить размер данных с помощью нелинейных, случайных признаков, создавая компактные, информационно полные представления. Эти представления могут быть легко хранены, передаваемы, обрабатываемы и использованы для дальнейшего обучения моделей. Однако, существующие подходы к компрессивному обучению часто ограничиваются случайными и датасет-независимыми методами, не учитывая структуру данных. В данной работе мы предлагаем **Compressive Meta-Learning**, который мета-обучает оба этапа — кодирования и декодирования — с использованием нейронных сетей, повышая производительность и точность систем.
#### Метод
**Compressive Meta-Learning** — это новый подход к обучению, который объединяет нейронные сети с фреймворком компрессивного обучения. Мы предлагаем мета-обучение, которое настраивает нейронные сети для эффективного кодирования и декодирования данных. Наша архитектура включает следующие этапы:
1. **Кодирование** — проекция больших наборов данных на компактные представления с помощью нейронных сетей, которые учитывают структуру данных.
2. **Декодирование** — восстановление интересующих параметров из этих представлений без необходимости хранить или обрабатывать оригинальные данные.
3. **Мета-обучение** — оптимизация параметров нейронных сетей таким образом, чтобы они могли эффективно работать с различными данными и задачами.
Мы используем продвинутые техники оптимизации и адаптивные функции потерь для обеспечения быстрого и точного обучения.
#### Результаты
Мы проводили эксперименты с несколькими задачами, включая **Compressive PCA**, **Compressive Ridge Regression**, **Compressive k-means** и **Autoencoders**. Использовались различные данные для оценки точности и эффективности нашего подхода. **Результаты** показывают, что **Compressive Meta-Learning** превосходит существующие методы по скорости и точности обучения. Например, в задаче **Compressive PCA** наши методы обеспечивали быстрее обработку и высокую точность восстановления. Также, мы проводили эксперименты на реальных данных, подтвердив высокую эффективность наших подходов в реальных приложениях.
#### Значимость
**Compressive Meta-Learning** имеет широкие области применения. Он может быть использован в таких задачах, как **кластеризация**, **регрессия**, **разложение в главные компоненты** и **автокодировани
Annotation:
The rapid expansion in the size of new datasets has created a need for fast
and efficient parameter-learning techniques. Compressive learning is a
framework that enables efficient processing by using random, non-linear
features to project large-scale databases onto compact, information-preserving
representations whose dimensionality is independent of the number of samples
and can be easily stored, transferred, and processed. These database-level
summaries are then used to decode parameters of in...