Chemist Eye: A Visual Language Model-Powered System for Safety Monitoring and Robot Decision-Making in Self-Driving Laboratories

## КОНТЕКСТ И ПРОБЛЕМАТИКА С быстрым развитием самоуправляемых лабораторий (SDL), где роботы и автоматизация играют ключевую роль в проведении экспериментов, возникает необходимость в улучшении безопасности. Традиционные лаборатории уже сталкиваются с рисками, связанными с химическими реакциями, огнём и несоблюдением правил безопасности. Однако SDL добавляют новые уровни сложности, особенно когда речь заходит о безопасности роботов, которые используют литиевые батареи, подверженные взрывам при контакте с огнём. Несмотря на то, что персональная защитная экипировка (PPE) является важной составляющей безопасности в лабораториях, в SDL существует риск того, что роботы могут не отреагировать на несоблюдение PPE или на нештатные ситуации, такие как пожар. Дополнительная проблема заключается в том, что роботы в SDL должны быть способны быстро реагировать на потенциальные опасности, в том числе на ситуации, когда сотрудники лаборатории могут быть пострадавшими в результате аварии или медицинского экстренного случая. Это требует разработки системы, которая может не только отслеживать эти риски, но и предоставлять решения в режиме реального времени для предотвращения инцидентов. Таким образом, целью данного исследования является создание системы, которая может обеспечить безопасность в самоуправляемых лабораториях, интегрируя визуальное мониторинг и принятие решений на основе технологии компьютерного зрения и естественного языка. ## ПРЕДЛОЖЕННЫЙ МЕТОД Разработанная система, называемая **Chemist Eye**, представляет собой распределенную систему мониторинга безопасности, основанную на визуально-языковой модели (VLM). Она состоит из нескольких станций, оборудованных камерами RGB, дальномерами и инфракрасными датчиками, предназначенными для отслеживания инцидентов в SDL. Система использует VLM для обработки визуальных данных и принятия решений на основе их анализа. Chemist Eye распознает различные типы опасностей, включая несоблюдение PPE, пожары и медицинские экстренные ситуации. Если система обнаруживает пожар, она пытается переместить роботов в безопасное место, удаляя их от потенциальных источников опасности. Также Chemist Eye может выдавать звуковые предупреждения и отправлять уведомления через сторонние местоположения, такие как мессенджеры, для немедленного оповещения персонала. Архитектура системы построена на интеграции нескольких датчиков и камер, которые обеспечивают полное покрытие лабораторного пространства. Данные с камер обрабатываются в режиме реального времени, и VLM выполняет классификацию объектов и событий, что позволяет системе быстро реагировать на потенциальные опасности. ## ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ Для оценки эффективности Chemist Eye были проведены тесты в реальной среде SDL, оснащенной тремя мобильными роботами. Система была протестирована на различных сценариях, включая обнаружение пожаров, несоблюдение правил PPE и медицинские ситуации. Результаты показали, что Chemist Eye может точно обнаруживать потенциальные опасности с точностью 97% и принимать решения с точностью 95%. В ходе экспериментов система успешно определяла пожары и перемещала роботов в безопасные зоны, а также выдавала предупреждения при обнаружении рисков, связанных с PPE. Кроме того, система быстро отправляла уведомления персоналу через мессенджеры, обеспечивая быструю реакцию на инциденты. ## ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ Chemist Eye предлагает значительные преимущества для безопасности в SDL. Она позволяет обеспечить реальное время мониторинга и быструю реакцию на потенциальные опасности, что является критически важной задачей в среде, где роботы и люди работают рядом. Система может быть интегрирована в существующие системы безопасности, что делает ее пригодной для широкого круга приложений в лабораторной практике. Кроме того, Chemist Eye может быть использована в других отраслях, где необходима система безопасности с интеграцией роботов, например в производственных средах. Ее мониторинг и реагирование на опасности могут существенно улучшить безопасность и уменьшить риски для персонала. ## ВЫВОДЫ И ПЕРСПЕКТИВЫ Данное исследование демонстрирует успешное применение визуально-языковых моделей для мониторинга безопасности в SDL. Chemist Eye показала высокую точность в обнаружении опасностей и принятии решений, что делает ее полезной для реального применения. В будущем, этот подход может быть расширен для использования в более широких контекстах, включая производственные среды и другие сферы, требующие высокой безопасности. Будущие исследования могут фокусироваться на дальнейшем улучшении точности модели, а также на расширении функций системы для включения более сложных ситуаций, таких как работа с опасными химическими веществами. Также важно исследовать, как система может быть адаптирована для работы в различных типах лабораторных сред.