Interestingness First Classifiers

2508.19780v1 cs.LG, stat.ML 2025-08-30
Авторы:

Ryoma Sato

Резюме на русском

#### Контекст Искусственные нейронные сети становятся все более продвинутыми и популярными, но их основной фокус всегда был на максимизации точности прогнозов. Однако в некоторых ситуациях точность не является единственным или даже главным критерием. Например, в экспериментах с детектированием занятости комнаты можно использовать уровень CO₂ как признак для достижения близкой к идеальной точности. Однако такой подход несёт в себе ничего нового, так как логически очевидно, что заполненная комната приводит к увеличению уровня CO₂. Вместо этого можно использовать признак, например, влажность воздуха, который может показаться менее очевидным, но в то же время интересным и неочевидным. Цель данной работы — разработать модели, которые не только эффективны, но и новые и интересные. #### Метод Мы предлагаем EUREKA — простой фреймворк, который позволяет выбирать признаки, основываясь на их интересности. Метод работает следующим образом: сначала большинство признаков отбрасываются на этапе предварительной фильтрации, затем оставшиеся признаки оцениваются с помощью технологий генеративных текстовых моделей. Для каждого признака вычисляется "интересность" — меру того, насколько признак неочевиден и полезен для решения задачи. Эта оценка производится с помощью текстовых моделей, которые анализируют тексты, описывающие признаки. Наконец, уже только интересные признаки используются для строительства простых интерпретируемых моделей. #### Результаты Мы проверили EUREKA на нескольких стандартных наборах данных. Например, в Occupancy Detection dataset, модель выбрала признак влажности в воздухе вместо уровня CO₂, что привело к уменьшению точности, но увеличилось интересность решения. На другом наборе данных Twin Papers dataset, EUREKA выявила правило, что будущие цитированные работы чаще всего имеют двоеточие в названии. Эти признаки, несмотря на то что не являются точными, все же демонстрируют свою полезность в сфере извлечения новых знаний. #### Значимость Метод EUREKA может применяться в ситуациях, где важна не только точность, но и интерпретируемость прогнозов. Например, в области диагностики заболеваний, где модели должны не только давать правильный ответ, но и объяснять свой выбор. Также, EUREKA может применяться в области бизнес-анализа, где необходимо выделять новые инсайты и нестандартные связи. Этот подход может сделать модели более интересными для пользователей и повысить их ценность в сфере научного и практического применения. #### Выводы Мы представили EUREKA — метод, который позволяет создавать интересные и новые классификаторы, которые могут привлечь внимание благодаря их необычны

Abstract

Most machine learning models are designed to maximize predictive accuracy. In this work, we explore a different goal: building classifiers that are interesting. An ``interesting classifier'' is one that uses unusual or unexpected features, even if its accuracy is lower than the best possible model. For example, predicting room congestion from CO2 levels achieves near-perfect accuracy but is unsurprising. In contrast, predicting room congestion from humidity is less accurate yet more nuanced and intriguing. We introduce EUREKA, a simple framework that selects features according to their perceived interestingness. Our method leverages large language models to rank features by their interestingness and then builds interpretable classifiers using only the selected interesting features. Across several benchmark datasets, EUREKA consistently identifies features that are non-obvious yet still predictive. For example, in the Occupancy Detection dataset, our method favors humidity over CO2 levels and light intensity, producing classifiers that achieve meaningful accuracy while offering insights. In the Twin Papers dataset, our method discovers the rule that papers with a colon in the title are more likely to be cited in the future. We argue that such models can support new ways of knowledge discovery and communication, especially in settings where moderate accuracy is sufficient but novelty and interpretability are valued.

Ссылки и действия