HealthSLM-Bench: Benchmarking Small Language Models for Mobile and Wearable Healthcare Monitoring

## Контекст Mobile и wearable healthcare monitoring (МХЗ и ОХЗ мониторинг) являются критически важными для обнаружения заболеваний, управления хроническими болезнями и улучшения качества жизни. Исследования, основанные на больших языковых моделях (LLMs), показали выдающиеся результаты в предсказании здоровья. Однако, большинство LLM-подобных решений являются облачными, что приводит к затруднениям в обеспечении конфиденциальности, повышению затрат памяти и увеличению задержки. Чтобы решить эти проблемы, появилась интерес к мелким языковым моделям (SLMs), которые являются эффективными, могут работать локально на мобильных и носимых устройствах. Несмотря на это, их реальность в здравоохранении остается под вопросом. Целью данного исследования является оценка их возможностей в задачах предсказания здоровья, используя нулевой, несколько и инструкционный подходы к оптимизации. ## Метод Методология основывалась на системной оценке SLMs с помощью различных подходов: нулевой, несколько и инструкционной оптимизации. Для сравнения использовались не только текущие решения LLM, но и новые SLM-подходы. Данные были сгенерированы из медицинских баз и устройств, предоставив обширный набор данных для моделирования. Оценка включала в себя метрики точности, достоверности и эффективности. Тестирование было проведено как в условиях лаборатории, так и на реальных мобильных устройствах, чтобы оценить реальность использования. ## Результаты Исследования показали, что SLMs могут достигать точность, близкую к LLM, при наличии достаточного количества данных. В нулевом и нескольких подходах SLMs показали высокий уровень точности при предсказании здоровья, но в некоторых случаях их результаты ниже, чем у LLM. Особенно удачными были результаты в оптимизации в сценариях с малой выборкой данных. На мобильных устройствах SLMs продемонстрировали эффективность, низкую задержку и значительное увеличение конфиденциальности по сравнению с облачными LLM-решениями. ## Значимость Результаты имели большое значение в области здравоохранения. SLMs могут применяться в системах мониторинга здоровья на мобильных устройствах, позволяя реализовать в реальном времени анализ и предсказание здоровья. Это значительно оптимизирует ресурсы, гарантирует большую конфиденциальность и предоставляет более доступные решения для широкой аудитории. Однако, остаются проблемы, такие как несоответствие в низких затратах для малой выборки и трудности с классом несбалансированных данных. ## Выводы SLMs доказали свою эффективность в сфере здравоохранения, демонстрируя высокую точность и эффе