Fuzzy-Pattern Tsetlin Machine

2508.08350v1 cs.LG, cs.AI 2025-08-14
Авторы:

Artem Hnilov

Резюме на русском

## Контекст Исследование функционирования и развития методов машинного обучения направлено на улучшение точности, эффективности и гибкости систем. Одним из актуальных направлений является развитие алгоритмов, основанных на использовании логических правил и нечетких множеств. Технологии Tsetlin Machine (TM), опирающиеся на такие принципы, показали себя как эффективные в обработке сложных данных. Однако существующие методы требуют большого количества классов для достижения высокой точности, что ограничивает их применение в реальных ситуациях, требующих быстрого и эффективного обучения. В этом контексте возникала необходимость в разработке альтернативных подходов, которые бы снизили требования к ресурсам и увеличили скорость обучения, не теряя в точности. ## Метод Предлагаемый подход, Fuzzy-Pattern Tsetlin Machine (FPTM), представляет собой расширение стандартной TM, с использованием нечеткой оценки классов. Основное отличие заключается в том, что в отличие от строгого подхода, где класс считается недействительным при ошибке любого из бинарных литералов, нечеткая оценка позволяет каждому литералу вкладывать пропорциональный вклад в оценку класса. Эта нечеткая стратегия делает классы более устойчивыми к ошибкам и позволяет использовать меньшее количество классов, чем в стандартных TM. Такой подход упрощает архитектуру и повышает эффективность обучения, обеспечивая лучшую точность и более низкие требования к памяти и ресурсам. ## Результаты Исследования показали, что FPTM позволяет получать высокую точность с минимальными ресурсами. На IMDb-датасете он достиг 90.15% точности при использовании только одного класса на класс, что является значительным уменьшением по сравнению с традиционными методами. FPTM показал скорость обучения до 316 раз выше, чем у стандартных TM, и требовал значительно меньшего объема памяти. На Fashion-MNIST точность достигла 92.18%, 93.19% и 94.68% при использовании соответственно 2, 20 и 8000 классов. На Amazon Sales dataset с 20% шумом FPTM достиг 85.22%, что значительно превосходит результаты Graph Tsetlin Machine и Graph Convolutional Neural Network. Эта производительность обеспечивается быстрой обработкой данных, что позволяет применять FPTM в реальном времени. ## Значимость Предложенный подход имеет широкие области применения, включая анализ текстов, обработку изображений и задачи рекомендации. В отличие от стандартных методов, FPTM позволяет достигать высокой точности с низкими требованиями к ресурсам, что делает его применимым в ситуациях, требующих эффективной обработки данных в реальном времени. Это открывает возможности для

Abstract

The "all-or-nothing" clause evaluation strategy is a core mechanism in the Tsetlin Machine (TM) family of algorithms. In this approach, each clause - a logical pattern composed of binary literals mapped to input data - is disqualified from voting if even a single literal fails. Due to this strict requirement, standard TMs must employ thousands of clauses to achieve competitive accuracy. This paper introduces the Fuzzy-Pattern Tsetlin Machine (FPTM), a novel variant where clause evaluation is fuzzy rather than strict. If some literals in a clause fail, the remaining ones can still contribute to the overall vote with a proportionally reduced score. As a result, each clause effectively consists of sub-patterns that adapt individually to the input, enabling more flexible, efficient, and robust pattern matching. The proposed fuzzy mechanism significantly reduces the required number of clauses, memory footprint, and training time, while simultaneously improving accuracy. On the IMDb dataset, FPTM achieves 90.15% accuracy with only one clause per class, a 50x reduction in clauses and memory over the Coalesced Tsetlin Machine. FPTM trains up to 316x faster (45 seconds vs. 4 hours) and fits within 50 KB, enabling online learning on microcontrollers. Inference throughput reaches 34.5 million predictions/second (51.4 GB/s). On Fashion-MNIST, accuracy reaches 92.18% (2 clauses), 93.19% (20 clauses) and 94.68% (8000 clauses), a ~400x clause reduction compared to the Composite TM's 93.00% (8000 clauses). On the Amazon Sales dataset with 20% noise, FPTM achieves 85.22% accuracy, significantly outperforming the Graph Tsetlin Machine (78.17%) and a Graph Convolutional Neural Network (66.23%).

Ссылки и действия