An Ensemble Classification Approach in A Multi-Layered Large Language Model Framework for Disease Prediction

## Контекст В последние годы здравоохранение стало востребованным дисциплинарным полем, в котором технологии и инновации приобретают все более важное значение. Одной из наиболее заметных тенденций является использование социальных телездоровья (social telehealth), который позволяет пациентам отправлять симптомы и получать консультации у врачей удаленно. В связи с этим, большие объемы медицинских данных, создаваемых пользователями на социальных сетях и онлайн-платформах, становятся ресурсом для классификации заболеваний. Большие языковые модели (LLMs), такие как LLAMA3 и GPT-3.5, а также трансформер-ориентированные модели, такие как BERT, продемонстрировали свою эффективность в обработке сложных медицинских текстов. Тем не менее, необходимость улучшения точности и универсальности классификации заболеваний в социальном телездоровье остается актуальной. Данное исследование направлено на изучение возможностей использования LLMs в сочетании с техническими препроцессинговыми методами для повышения точности классификации в социальных телездоровьях. ## Метод В данном исследовании применяется комбинация методов препроцессинга текстов, включая суммаризацию, рефининг и Named Entity Recognition (NER), над социальными медицинскими текстами на арабском языке. Для обработки используются модели AraBERT, CAMeLBERT и AsafayaBERT, которые были предварительно обучены на арабских данных. Для повышения точности и устойчивости результатов в качестве метода классификации применяется ensemble learning с majority voting. Это позволяет объединить представления текста, полученные от оригинального и препроцессированного текста, и получить более точные прогнозы. Методы препроцессинга и классификации были применены к данным, полученным с заболеваний и симптомами, чтобы исследовать, как эти технологии могут быть использованы для улучшения классификации заболеваний в социальных телездоровьях. ## Результаты Исследование включало в себя эксперименты с несколькими вариантами представления текста, включая оригинальную форму, суммаризованные версии и NER-преобразованные тексты. Модели AraBERT, CAMeLBERT и AsafayaBERT были применены к сгенерированным представлениям, а затем результаты объединялись с помощью ensemble learning. Точность классификации, достигнутая этой комбинацией, составила 80,56%, что показывает эффективность комбинированного подхода. Эксперименты показали, что препроцессинг и ensemble learning способствуют улучшению точности и общей понимаемости медицинских текстов, что является ключевым результатом данного исследования. ## Значимость Данный подход имеет значительное значение для развития социальных те