MuaLLM: A Multimodal Large Language Model Agent for Circuit Design Assistance with Hybrid Contextual Retrieval-Augmented Generation

## Контекст Информационный поток в области конструирования электронных схем в последние годы наблюдает быстрое ускорение. Из-за этого новые технологии и методы появляются почти ежедневно, что сделало сложным даже для опытных инженеров и научных работников. Развитие машинного обучения дало новые возможности для помощи в этом процессе, но существуют проблемы с обработкой больших данных и неоднородностью источников. Одним из ключевых задач в этой области является создание систем, которые могут эффективно обрабатывать и анализировать текстовую и визуальную информацию, чтобы облегчить работу проектировщиков и ускорить развитие новых технологий в сфере конструирования электронных схем. ## Метод MuaLLM — это открытая многомодальная большая языковая модель (LLM), разработанная для помощи в конструировании электронных схем. Она основывается на гибридном фреймворве Retrieval-Augmented Generation (RAG), объединяющем в себе доступ к большому объему литературы и систему раскрытия вопросов с использованием векторных баз данных. Более того, MuaLLM использует специальный подход Reason + Act (ReAct), что позволяет выполнять многоэтапную итеративную обработку информации. Этот подход позволяет не только отвечать на вопросы, но и рассчитывать решения, основываясь на текстовых и визуальных данных. Модель поддерживает работу с разными типами данных, включая текст, изображения и другие мультимедийные форматы. Она также применяет интеллектуальные инструменты для динамического поиска и автоматического документооборота, что делает ее эффективной в современных условиях. ## Результаты Для оценки эффективности MuaLLM были разработаны две пользовательские базы данных: RAG-250 для оценки возможностей модели в целях выбора и цитирования, и Reasoning-100 (Reas-100) для оценки многошаговой логики в решении задач конструирования схем. MuaLLM достигла высоких результатов: 90,1% реколл на RAG-250 и 86,8% точности на Reas-100. Особенно заметное преимущество модели заключается в своей способности оперировать большими объемами информации без необходимости постоянного участия человека в процессе. Это позволяет эффективно управлять большими данными и быстро создавать решения в сфере конструирования электронных схем. ## Значимость MuaLLM имеет широкое применение в области конструирования электронных схем. Ее основные преимущества заключаются в способности быстро анализировать и обрабатывать информацию, в том числе текстовую и визуальную, что позволяет эффективно управлять проектными задачами. Более того, этот подход может быть применен в широком круге других