January Food Benchmark (JFB): A Public Benchmark Dataset and Evaluation Suite for Multimodal Food Analysis

################################# ## Контекст ################################# Актуальность исследования связана с ростом интереса к автоматизированному анализу пищевых продуктов, который может помочь в улучшении здоровья и благополучия человека. Однако существуют существенные проблемы, связанные с отсутствием стандартизированных методологий и высококачественных данных для обучения и оценки алгоритмов. Недостаточная точность и универсальность нынешних моделей приводят к затруднениям в их применении в реальных условиях. Для решения этих проблем необходимо разработать специализированные модели и детально протестировать их на реальных данных. ################################# ## Метод ################################# Для решения проблемы разработаны три основных компонента. Во-первых, создан January Food Benchmark (JFB) — публичный набор данных, состоящий из 1 000 изображений пищевых продуктов с подробными, вручную подтвержденными пометками. Во-вторых, разработан подробный фреймворк для оценки моделей, включая метрики, оценивающие различные аспекты производительности, и уникальный общий показатель для оценки моделей в целом. В-третьих, разработана и протестирована специализированная модель january/food-vision-v1, которая предназначена для решения задачи анализа пищевых продуктов. ################################# ## Результаты ################################# Использовались данные из JFB для оценки производительности моделей. Обширные эксперименты показали, что специализированная модель january/food-vision-v1 превосходит общеупотребительные модели, достигая Overall Score 86.2, что является значительным улучшением (12.1 балла) по сравнению с лучшим результатом общего назначения. Эти результаты указывают на эффективность специализированных моделей в решении задач автоматизированного анализа пищевых продуктов. ################################# ## Значимость ################################# Разработанный JFB может быть применен в различных областях, включая развитие моделей для автоматизации группирования и анализа пищевых продуктов. Он предоставляет уникальные возможности для развития инструментов, помогающих в обеспечении здорового питания и стимулировании здорового образа жизни. Эта работа также открывает пути для дальнейшего исследования в области мультимодального анализа, включая расширение технологий для оценки качества и безопасности пищи. ################################# ## Выводы ################################# Работа представляет собой значительный шаг в развитии автоматизированных систем анализа пищевых продуктов. Выпущенный JFB и соответствующий фреймворк дают возможность для последовательных развитий в этой области. Будущие исследования будут фокусироваться на улучшении моделей, расширении JFB и исследовании применений в реальной жизни.