## Контекст Проблемы забота за пожилыми людьми, особенно теми, кто страдает деменцией, становятся все актуальнее в современном мире. Около 25% подобных людей живут в одиночестве, что приводит к усилению нагрузки на семейных членов, которые должны координировать заботу с расстояния. Существуют различные решения для удаленного мониторинга, которые стремятся облегчить эту нагрузку, но они страдают от недостатков, включая те, что связаны с защитой частной жизни, точностью распознавания действий и гибкостью моделей в работе с новыми пользователями и средами. Технологии структурных вибро-сенсоров, которые обнаруживают вибрации поверхностей, доказали свою точность в мониторинге человеческих действий в управляемых условиях. Однако, при их использовании в реальных домах, эти системы требуют больших объемов отмеченных данных для эффективного распознавания действий. Наше решение предлагает масштабируемую систему, которая использует синтезированные данные из акустического звука, полученного на поверхности, для предварительного обучения модели. Это позволяет дообучать модель с минимальными данными, обеспечивая повышенную устойчивость и точность в распознавании повседневных действий. ## Метод Мы предлагаем систему под названием RARR (Robust Real-World Activity Recognition with Vibration by Scavenging Near-Surface Audio Online), которая становится возможностью благодаря современным алгоритмам и технологиям глубокого обучения. Наша методология включает два основных этапа. В первом этапе используется синтезированный акустический звук, полученный с помощью датчиков типа MEMS, размещенных на поверхности. Этот звук анализируется и синтезируется в виде данных, которые могут быть использованы для предварительного обучения нейронных сетей. Во втором этапе мы дообучаем модель с использованием минимального количества отмеченных данных, чтобы повысить ее устойчивость и точность при работе в реальных условиях. Архитектура системы включает в себя нейронные сети, адаптированные для распознавания действий на основе вибраций поверхности и звуковых сигналов. ## Результаты Мы проводили эксперименты с использованием широкого спектра данных, включая лабораторные и реальные условия. У нас были сравниваемые результаты с другими подходами, такими как распознавание действий, основанное на видео, и другие модели, использующие только вибро-датчики. Наши результаты показали, что RARR показывает высокую точность в распознавании действий, даже при ограниченных объемах отмеченных данных. Мы также проверили устойчивость модели к новым средам и пользователям, и подобрали примеры, показывающие, что RARR может ра