CognitiveArm: Enabling Real-Time EEG-Controlled Prosthetic Arm Using Embodied Machine Learning

## Контекст С появлением нейропротезирования, проблема эффективного контроля протезных конечностей становится все более важной. Управление такими конечностями через нейронные сети требует точного анализа и реализации быстрых классификаторов. Одним из ключевых вопросов является повышение точности классификации во время реального времени, не ухудшаясь по квалити. Нагрузка на ресурсы и задержка при совместном использовании моделей и железа также являются сложными проблемами для достижения эффективного управления. Область исследования включает нейробиомедицинскую инженерию, виртуальную и расширенную реальность, как области, где решения могут найти применение. Одним из ключевых мотивов является развитие технологий, которые позволят повысить самостоятельность и качество жизни людей с ограниченными физическими возможностями. ## Метод Мы представляем CognitiveArm - систему управления протезом, которая использует нейронные сети, обученные с использованием BrainFlow. Эта библиотека позволяет структурировать данные EEG и подавать их на вход дебированным DL-моделям. Мы использовали функции глубинного обучения, включая эволюционный поиск для поиска оптимальных параметров. Чтобы оптимизировать модели для реального времени, мы применяли методы как компрессии, так и квантования. Для обучения сетей мы создали выборку EEG-данных и провели пайплайн аннотации, чтобы получать точные метки для классификаторов. Помимо этого, мы добавили возможность управления голосом, чтобы включать режимы управления, используя речевой ввод. ## Результаты Наши эксперименты показали, что модели, обученные с помощью CognitiveArm, достигли 90% точности в классификации трех основных действий (лево, право, неподвижность). Мы выполнили эксперименты на OpenBCI UltraCortex Mark IV, который стабильно передавал сигналы EEG. Мы доказали, что модели работают на ресурсозатратном оборудовании, но не ухудшают точность. Мы также продемонстрировали, что модели могут реагировать на голосовые команды, что позволяет переключаться между режимами управления (например, рукопожатие или держание чашки). ## Значимость CognitiveArm может применяться в нейропротезировании, виртуальной и расширенной реальности, а также в биомедицинской инженерии. Он обеспечивает более высокую точность и реакцию, чем предыдущие решения, что позволяет повысить самостоятельность пользователя. За счет оптимизации для ресурсозатратного железа, CognitiveArm возможно использовать в настоящее время, что делает его более привлекательным для практического использования. Мы также отметили, что это решение может быть расширено для других сенсорных сигналов, таких как IMU и