Joint graph entropy knowledge distillation for point cloud classification and robustness against corruptions

## Контекст Работа с 3D-объектами часто основывается на предположении, что классы распределены независимо друг от друга и идентично (IID). Однако это предположение не учитывает связи между классами, что может привести к неточностям в классификации. Эта проблема актуальна для области классификации 3D-точечных сетей (point cloud classification), где необходимо учитывать корреляции между классами для повышения точности и устойчивости моделей. Основной мотивацией для данного исследования является разработка метода, который учитывает такие связи и повышает устойчивость моделей к различным формам помех и нарушений данных. ## Метод Для решения поставленных задач предлагается методология, основанная на графе и технике knowledge distillation (передачи знаний). В этой модели вводится loss-функция, основанная на joint graph entropy, что позволяет передавать знания о корреляциях между классами. Для обработки 3D-точечных сетей, гипотетически не меняющихся под воздействием пространственных преобразований, предлагается использовать сиамские структуры. Для увеличения устойчивости к помехам разработаны два подхода: self-knowledge distillation и teacher-knowledge distillation. Они позволяют передавать знания между разными преобразованиями одного и того же датасета. Для увеличения устойчивости к помехам разработана методика передачи знаний между целыми точечными сетками и их поврежденными формами. ## Результаты Исследования проводились на таких датасетах, как ScanObject, ModelNet40, ScanNetV2\_cls и ModelNet-C. Метод JGEKD (Joint Graph Entropy Knowledge Distillation) показал себя конкурентоспособно, показывая высокую точность и устойчивость к различным типам помех в 3D-данных. Также показано, что модель не только повышает точность классификации, но и обладает робастностью к различным формам шума и помех, что делает ее более надежной в реальных условиях. ## Значимость Предлагаемый подход может быть применен в различных областях, где требуется классификация 3D-точечных сетей, например, в автоматизированных системах управления, робототехнике, видеонаблюдении и др. Одним из преимуществ является повышение устойчивости моделей к различным видам помех и формам данных. Это может привести к более надежным и эффективным решениям в технических системах, где четкость и точность классификации являются ключевыми факторами. ## Выводы В результате данного исследования был разработан метод JGEKD, который позволяет учитывать зависимости между классами при классификации 3D-точечных сетей. Метод демонстрирует высокую точность и устойчивость к различным формам помех. В дальнейшем, планируется расширить функционал модели для обработки более сложных сц