A smart fridge with AI-enabled food computing
2509.07400v1
eess.SY, cs.CV, cs.SE, cs.SY, C.3; J.7
2025-09-11
Авторы:
Khue Nong Thuc, Khoa Tran Nguyen Anh, Tai Nguyen Huy, Du Nguyen Hao Hong, Khanh Dinh Ba
Резюме на русском
## Контекст
Современные технологии IoT (Интернета вещей) вносят существенный вклад в развитие умных домов, особенно в области управления продуктами питания. Однако существуют несколько проблем, связанных с эффективным организацией продуктов в домашней среде. Одним из главных трудностей является неэффективность управления продуктами питания, приводящая к простоям, потере и неоптимальному потреблению ресурсов. Эти проблемы могут быть устранены путем интеграции IoT с компьютерным зрением, что позволяет улучшить эффективность управления и уменьшить простои.
## Метод
Предлагаемая система включает в себя три основных модуля: модуль данных, модуль обнаружения и управления предметами, а также модуль визуализации. Для обнаружения предметов используется модель компьютерного зрения, которая основывается на функциональной калибровке моделей с помощью адаптивной оценки ошибок. Эта модель демонстрирует значительные улучшения в надежности обнаружения в различных условиях освещения и в условиях высокой плотности хранения продуктов.
## Результаты
В результате экспериментов было показано, что подход к функциональной калибровке моделей, включающий адаптивную оценку ошибок, позволил значительно улучшить достоверность обнаружения объектов в различных условиях. На практике это привело к уменьшению простои в управлении продуктами и к повышению эффективности распределения продуктов в домашней среде. Эти результаты подтверждают эффективность и реальную полезность предлагаемого подхода.
## Значимость
Предлагаемый подход может быть применен в различных областях, включая домашнее управление продуктами питания и закупки продуктов. Высокая точность и надежность системы позволяют значительно уменьшить потери и улучшить уровень жизни. Этот подход может способствовать уменьшению простоев, оптимизации хранения продуктов и улучшению оптимизации домашнего потребления.
## Выводы
Предлагаемая система позволяет повысить уровень управления продуктами питания, увеличить эффективность и уменьшить простои в домашнем жизнерадостном течении. Будущим исследованиям следует уделить внимание улучшению точности моделей и их применению в различных средах, чтобы продвинуть цели устойчивого развития и домашнее управление продуктами питания.
Abstract
The Internet of Things (IoT) plays a crucial role in enabling seamless
connectivity and intelligent home automation, particularly in food management.
By integrating IoT with computer vision, the smart fridge employs an ESP32-CAM
to establish a monitoring subsystem that enhances food management efficiency
through real-time food detection, inventory tracking, and temperature
monitoring. This benefits waste reduction, grocery planning improvement, and
household consumption optimization. In high-density inventory conditions,
capturing partial or layered images complicates object detection, as
overlapping items and occluded views hinder accurate identification and
counting. Besides, varied angles and obscured details in multi-layered setups
reduce algorithm reliability, often resulting in miscounts or
misclassifications. Our proposed system is structured into three core modules:
data pre-processing, object detection and management, and a web-based
visualization. To address the challenge of poor model calibration caused by
overconfident predictions, we implement a variant of focal loss that mitigates
over-confidence and under-confidence in multi-category classification. This
approach incorporates adaptive, class-wise error calibration via temperature
scaling and evaluates the distribution of predicted probabilities across
methods. Our results demonstrate that robust functional calibration
significantly improves detection reliability under varying lighting conditions
and scalability challenges. Further analysis demonstrates a practical,
user-focused approach to modern food management, advancing sustainable living
goals through reduced waste and more informed consumption.