Towards Recommending Usability Improvements with Multimodal Large Language Models

#### Контекст Оценка и улучшение usability (пользовательской доступности) пользовательских интерфейсов (UI) являются критически важными для создания эффективных и понятных программных решений. Однако существующие методы оценки, такие как тестирование usability и проверки на соответствие требованиям, требуют больших затрат времени и ресурсов, а также постоянного участия экспертов. Это делает эти методы менее доступными для небольших организаций и ограничивает их возможности внедрять эффективные улучшения. Недавние достижения в области мультимодальных широкомасштабных языковых моделей (LLMs) открывают новые перспективы для автоматизации процессов оценки usability. Эти модели могут анализировать различные аспекты программных интерфейсов, включая текстовые, визуальные и структурные компоненты. Наша исследовательская цель заключается в исследовании того, могут ли мультимодальные LLMs стать эффективным инструментом для рекомендации улучшений usability, а также определить их потенциальное влияние на упрощение процесса и сокращение затрат. #### Метод Мы привлекли мультимодальную LLM для решения задачи рекомендации улучшений usability с использованием мультимодальных данных, включающих текст, визуальную структуру и другие связанные данные. Модель была обучена идентифицировать и структурировать usability issues, а затем классифицировать их по степени серьёзности. Мы разработали архитектуру, позволяющую модели анализировать не только отдельные аспекты интерфейса, но и их взаимосвязи. В качестве данных использовались реальные примеры программных интерфейсов, а также оценки этих интерфейсов, полученные от экспертов в области usability. Модель производила рекомендации, сравнивая их с оценками экспертов, чтобы оценить точность и эффективность. #### Результаты В ходе экспериментов модель LLM демонстрировала высокую точность в определении severity улучшений usability. Мы сравнили LLM-рекомендации с оценками экспертов по usability и обнаружили, что модель показала близкие результаты, а в некоторых случаях даже превосходила экспертов в скорости и точности определения наиболее критичных проблем. Мы также обнаружили, что модель эффективно анализирует и объединяет мультимодальные данные, что позволяет ей предлагать комплексные рекомендации. Таким образом, наш результат подтверждает, что модель может стать эффективным инструментом для оценки и рекомендации улучшений в usability. #### Значимость Полученные результаты открывают новые возможности для упрощения и автоматизации процесса оценки usability. Это делает инструмент доступным для небольших компаний и организаций, не имеющих достаточного количества экспертных ресурсов. Модель также