Towards Universal Neural Inference

## Контекст На сегодняшний день, существуют многочисленные данные, представленные в различных формах, с неоднородными схемами, несогласованными семантиками и неупорядоченными признаками. Эта сложность сильно ограничивает возможности создания универсальных моделей, которые могут обрабатывать такие данные с высокой точностью. Одной из основных проблем является невозможность эффективного использования информации из различных источников. Данная проблема является мотивацией для разработки моделей, которые могут обрабатывать уникальные структуры данных и выполнять семантическое выводение в различных контекстах. ## Метод Мы предлагаем **ASPIRE (Arbitrary Set-based Permutation-Invariant Reasoning Engine)**, универсальную модель для семантического вывода и предсказания, работающую с неоднородными, структурированными данными. Архитектура ASPIRE основывается на **Transformer с пермутационно-независимой обработкой множеств**, который позволяет обрабатывать неограниченные наборы фичей и значений. Для улучшения обучения, ASPIRE использует модуль семантического граундинга, включающий в себя естественный язык, метаданные данных и примеры в контексте. Это позволяет модели учитывать зависимости между признаками, даже при работе с данными из различных источников. ## Результаты Мы провели эксперименты с ASPIRE на различных бенчмарках, сравнивая результаты с другими подходами. Модель показала сильную универсальность и способность сделать предсказания даже для неизвестных данных. Мы также проверили ее в условиях **активного выбора признаков** в открытом мире, когда необходимо выбирать наиболее информативные признаки с учетом ограничений бюджета. ASPIRE показала себя эффективной в этих задачах, чтобы доказать свою универсальность и применимость в различных сценариях. ## Значимость ASPIRE открывает новые возможности для обработки разнообразных структурированных данных в различных областях, включая бизнес-аналитику, медицину и технические приложения. Она может использоваться для вывода семантики, предсказания и активного выбора признаков. Её универсальность и способность учитывать метаданные данных делают её особенно ценной в ситуациях, когда требуется обработка неоднородных данных без дополнительной настройки. ## Выводы Результаты нами полученные показывают, что ASPIRE является универсальной моделью семантического вывода, которая может обрабатывать неоднородные данные в различных сферах. Будущие исследования будут сконцентрированы на улучшении модели, особенно в области уменьшения потребления ресурсов и расширении её применения в более комплексных сценариях.