AnalogSeeker: An Open-source Foundation Language Model for Analog Circuit Design
2508.10409v1
cs.AR, cs.AI
2025-08-16
Авторы:
Zihao Chen, Ji Zhuang, Jinyi Shen, Xiaoyue Ke, Xinyi Yang, Mingjie Zhou, Zhuoyao Du, Xu Yan, Zhouyang Wu, Zhenyu Xu, Jiangli Huang, Li Shang, Xuan Zeng, Fan Yang
Резюме на русском
## Контекст
Область дизайна аналоговых электронных схем характеризуется высоким уровнем сложности и требованиями к опыту, что создает значительные барьеры для входящих в этот сегмент специалистов. В то же время доступные ресурсы и инструменты для поддержки дизайнеров ограничены, что существенно снижает эффективность разработки. Это идол требует развития новых способов, которые могут объединить доступные данные и автоматизированные методы для упрощения процесса. Направление исследований включает разработку лингвистических моделей, которые могут оказать поддержку в анализе и проектировании схем. Одним из таких подходов является создание "AnalogSeeker", модели, основанной на языковых представлениях, предназначенной для работы в этой сфере.
## Метод
"AnalogSeeker" опирается на многоуровневую архитектуру, объединяющую методы добычи данных, методы распределенного обучения и методы глубокого обучения. Для создания корпуса данных используется структурированный подход, основанный на фреймворке доменных знаний, который позволяет собирать, очищать и систематизировать тексты из книг, статей и других источников. Для обработки сложных знаний в области аналогового дизайна, модель применяет метод гранулярного распределения знаний. Он разбивает текст на мелкие части, где агенты обучения используют методы самостоятельного обучения для извлечения вопросов и ответов, а также углубленных аналитических моделей, позволяющих формировать обучающие данные. Особенностью является использование нескольких агентов, каждый из которых отвечает за различные аспекты лабораторной работы, включая моделирование, расчет и диагностику. Также значительное внимание уделяется разработке новых методов обучения, включая алгоритмы, нацеленные на повышение точности и уменьшение вибрации данных.
## Результаты
Тесты проводились на широко известном наборе тестов AMSBench-TQA, посвященных оценке знаний в области аналогового конструирования. Обученная модель "AnalogSeeker" показала результат 85.04% в точности, что превышает результаты оригинальной модели на 15.67% и становится конкурентоспособной среди главных коммерческих моделей. Также проводились эксперименты в области проектирования операционных усилителей, где "AnalogSeeker" продемонстрировала высокую эффективность. Результаты показали, что модель может значительно улучшить процессы разработки, снижая время и ресурсы, необходимые для разработки и верификации схем.
## Значимость
"AnalogSeeker" может быть применена во многих областях, от проектирования электронных устройств до обучения специалистов в этой сфере. Основ
Abstract
In this paper, we propose AnalogSeeker, an effort toward an open-source
foundation language model for analog circuit design, with the aim of
integrating domain knowledge and giving design assistance. To overcome the
scarcity of data in this field, we employ a corpus collection strategy based on
the domain knowledge framework of analog circuits. High-quality, accessible
textbooks across relevant subfields are systematically curated and cleaned into
a textual domain corpus. To address the complexity of knowledge of analog
circuits, we introduce a granular domain knowledge distillation method. Raw,
unlabeled domain corpus is decomposed into typical, granular learning nodes,
where a multi-agent framework distills implicit knowledge embedded in
unstructured text into question-answer data pairs with detailed reasoning
processes, yielding a fine-grained, learnable dataset for fine-tuning. To
address the unexplored challenges in training analog circuit foundation models,
we explore and share our training methods through both theoretical analysis and
experimental validation. We finally establish a fine-tuning-centric training
paradigm, customizing and implementing a neighborhood self-constrained
supervised fine-tuning algorithm. This approach enhances training outcomes by
constraining the perturbation magnitude between the model's output
distributions before and after training. In practice, we train the
Qwen2.5-32B-Instruct model to obtain AnalogSeeker, which achieves 85.04%
accuracy on AMSBench-TQA, the analog circuit knowledge evaluation benchmark,
with a 15.67% point improvement over the original model and is competitive with
mainstream commercial models. Furthermore, AnalogSeeker also shows
effectiveness in the downstream operational amplifier design task. AnalogSeeker
is open-sourced at https://huggingface.co/analogllm/analogseeker for research
use.
Ссылки и действия
Дополнительные ресурсы: