Interestingness First Classifiers
2508.19780v1
cs.LG, stat.ML
2025-08-30
Авторы:
Ryoma Sato
Резюме на русском
#### Контекст
Искусственные нейронные сети становятся все более продвинутыми и популярными, но их основной фокус всегда был на максимизации точности прогнозов. Однако в некоторых ситуациях точность не является единственным или даже главным критерием. Например, в экспериментах с детектированием занятости комнаты можно использовать уровень CO₂ как признак для достижения близкой к идеальной точности. Однако такой подход несёт в себе ничего нового, так как логически очевидно, что заполненная комната приводит к увеличению уровня CO₂. Вместо этого можно использовать признак, например, влажность воздуха, который может показаться менее очевидным, но в то же время интересным и неочевидным. Цель данной работы — разработать модели, которые не только эффективны, но и новые и интересные.
#### Метод
Мы предлагаем EUREKA — простой фреймворк, который позволяет выбирать признаки, основываясь на их интересности. Метод работает следующим образом: сначала большинство признаков отбрасываются на этапе предварительной фильтрации, затем оставшиеся признаки оцениваются с помощью технологий генеративных текстовых моделей. Для каждого признака вычисляется "интересность" — меру того, насколько признак неочевиден и полезен для решения задачи. Эта оценка производится с помощью текстовых моделей, которые анализируют тексты, описывающие признаки. Наконец, уже только интересные признаки используются для строительства простых интерпретируемых моделей.
#### Результаты
Мы проверили EUREKA на нескольких стандартных наборах данных. Например, в Occupancy Detection dataset, модель выбрала признак влажности в воздухе вместо уровня CO₂, что привело к уменьшению точности, но увеличилось интересность решения. На другом наборе данных Twin Papers dataset, EUREKA выявила правило, что будущие цитированные работы чаще всего имеют двоеточие в названии. Эти признаки, несмотря на то что не являются точными, все же демонстрируют свою полезность в сфере извлечения новых знаний.
#### Значимость
Метод EUREKA может применяться в ситуациях, где важна не только точность, но и интерпретируемость прогнозов. Например, в области диагностики заболеваний, где модели должны не только давать правильный ответ, но и объяснять свой выбор. Также, EUREKA может применяться в области бизнес-анализа, где необходимо выделять новые инсайты и нестандартные связи. Этот подход может сделать модели более интересными для пользователей и повысить их ценность в сфере научного и практического применения.
#### Выводы
Мы представили EUREKA — метод, который позволяет создавать интересные и новые классификаторы, которые могут привлечь внимание благодаря их необычны
Abstract
Most machine learning models are designed to maximize predictive accuracy. In
this work, we explore a different goal: building classifiers that are
interesting. An ``interesting classifier'' is one that uses unusual or
unexpected features, even if its accuracy is lower than the best possible
model. For example, predicting room congestion from CO2 levels achieves
near-perfect accuracy but is unsurprising. In contrast, predicting room
congestion from humidity is less accurate yet more nuanced and intriguing. We
introduce EUREKA, a simple framework that selects features according to their
perceived interestingness. Our method leverages large language models to rank
features by their interestingness and then builds interpretable classifiers
using only the selected interesting features. Across several benchmark
datasets, EUREKA consistently identifies features that are non-obvious yet
still predictive. For example, in the Occupancy Detection dataset, our method
favors humidity over CO2 levels and light intensity, producing classifiers that
achieve meaningful accuracy while offering insights. In the Twin Papers
dataset, our method discovers the rule that papers with a colon in the title
are more likely to be cited in the future. We argue that such models can
support new ways of knowledge discovery and communication, especially in
settings where moderate accuracy is sufficient but novelty and interpretability
are valued.
Ссылки и действия
Дополнительные ресурсы: