#### Контекст Large language models (LLMs) стали одним из ключевых инструментов в различных областях, от применений в сфере образования до систем управления. Однако с ростом их возможностей возникла горячая дебатная тема о возможности возникновения склонности к убеждениям (bias) или недостоверным выводам в их результатах. Эти возможности могут привести к серьезным последствиям, включая распространение неточных представлений, ущемление групп населения и даже влияние на политические решения. Например, в Европейском Союзе были разработаны кадровые статьи, такие как AI Act и Digital Services Act, чтобы установить новые стандарты для использования и регулирования ИИ-систем. Это решение вызывает вопросы о том, насколько эффективны эти меры и как можно их доработать для повышения уровня надежности и формирования этичных норм в развитии ИИ. #### Метод В работе используется анализ существующих рамках регулирования, включая EU AI Act и Digital Services Act, для определения текущего состояния законодательства и его мотиваций. Отдельный акцент делается на анализе того, как LLM могут ошибаться в своих выводах и как это влияет на различные группы пользователей. Для изучения биаса в LLM используется метод наблюдения за выходами моделей в различных контекстах, включая расширенные тесты на упрощающие выводы (simplified outputs) и последствия неточностей в выводах. Также в работе применяются методы статистического анализа для определения шаблонов в поведении моделей, которые могут привести к биазу. #### Результаты Исследование показало, что LLM могут проявлять склонность к выводам, опирающимся на данные, которые не являются объективными или несбалансированными. Например, модели могут использовать субъективные оценки или ошибочные знания, что приводит к неточным или неадекватным результатам. На основе этих экспериментов был сформулирован вид метода для уменьшения биаса, основанный на регулярном мониторинге и нормативном соотношении между моделями и пользователями. Также были выявлены риски, связанные с неопределенностью в действующих законах, которые могут не учитывать все аспекты склонности к биазу. #### Значимость Это исследование имеет решающее значение для развития ответственных ИИ-систем. Оно направлено на уменьшение эффекта биаса в LLM, что повысит уровень надежности и позволит использовать модели в критичных областях, таких как медицина и юриспруденция. Благодаря подобному подходу можно создать более инклюзивные и этичные системы, которые будут стабильно работать в различных сферах применения. Кроме того, результаты могут способствовать улучшению текущего законодательства в области ИИ, внося необхо

--------------------------------------------------------------------------------------------------------------- ## Контекст **Область исследования** Large Language Models (LLMs) широко применяются в различных сферах, включая здравоохранение, образование и экономические процессы. Их универсальность и мощь делают их незаменимыми инструментами. Однако, в связи с их влиянием, становится важно обеспечить их безопасность и этичность. **Проблема** LLMs подвержены атакам, направленным на искажение их внешнего поведения. Одной из таких угроз является внедрение скрытых биаз, которые могут привести к несправедливости или социальному дискриминированию. **Мотивация** Убежденность в том, что LLMs могут подвергаться атакам, направленным на их внутреннюю архитектуру, побудила авторов рассмотреть возможность исследования этой проблемы. Целью является разработка метода, позволяющего оценить уязвимость LLMs к таким атакам. --------------------------------------------------------------------------------------------------------------- ## Метод **Описание методологии** Авторы предлагают Subversive Alignment Injection (SAI), метод, который использует механизмы ориентированной устойчивости LLMs для внедрения биаз или запускации цензуры. Это достигается путем ориентированной обучения модели отказа от ответов на конкретные запросы. **Технические решения** Метод SAI основывается на методике подбора специальных обучающих данных, которые нацелены на заставление модели отказаться от ответов именно на указанные вопросы. Архитектура SAI включает в себя сложные механизмы обучения с помощью метода подбора удовлетворяющих условию данных. **Архитектура** SAI использует структурно ориентированные методы для внедрения нежелательного поведения, используя механизмы, которые привязаны к структуре тренировочных данных. --------------------------------------------------------------------------------------------------------------- ## Результаты **Эксперименты и данные** Авторы провели ряд экспериментов на различных обучающих данных, включая сценарии, где LLM должен отказаться от ответов на конкретные темы. Исследования показали, что SAI атака может привести к существенному отказу от ответов на запросы, связанные с выбранными темами, без существенного ухудшения работы модели на непохожих запросах. **Полученные результаты** В результате оказалось, что SAI может вызвать отказ от ответов в различных задачах NLP, в том числе в тех, где LLM используется для разбора документов или ответов на вопросы. Например, при использовании LLM в сфере здравоохранения, с помощью SAI можно заставить модель отказаться от ответов на вопросы относительно определенного пола или расы. --------------------------------------------------------------------------------------------------------------- ## Значимость **Области применения** Результаты SAI могут быть применены для оценки безопасности и этичности LLMs в различных сферах, в том числе здравоохранении, образовании и системах рекомендаций. **Преимущества** SAI предоставляет новы

#### Контекст Регистр-трансфер-уровень (RTL) — ключевая ступень в проектировании интегральных схем (ASIC). Существующие технологии, основанные на текстовых описаниях RTL, сталкиваются с рядом проблем. Ограниченные возможности встроенного кода, неэффективная настройка процессов и отсутствие возможности автоматического проектирования сложных систем требуют новых подходов. Большие языковые модели (LLMs) показали способность генерировать код RTL с высокой точностью, однако они не могут выполнять код, дебажить его и хранить долгосрочную память. Таким образом, требуется комбинация методов, которая могла бы вывести LLMs на новый уровень взаимодействия с процессом проектирования ASIC. #### Метод ASIC-Agent — автономная система, основанная на многоагентной архитектуре. Она включает в себя специализированные под-агенты, которые выполняют задачи RTG (RTL Generation), RTV (RTL Verification), OpenLane hardening и Caravel chip integration. Такой подход позволяет разделить универсальные задачи LLMs на более узкие, которые могут быть специализированы и выполняться в определенных областях. Основная цель — улучшить качество RTL-кода, ускорить процессы и обеспечить долгосрочную память и удобство работы. Для этого оптимизирована входная система с помощью текстовой интерфейса и векторной базы данных, включающей документацию, API-справочники, ошибки и советы от сообщества open-source silicon. #### Результаты Мы провели эксперименты, используя различные базы LLMs, включая Claude 4 Sonnet. Результаты показали, что ASIC-Agent успешно решает различные задачи проектирования ASIC, начиная от генерации RTL-кода до его верификации, гармонизации с OpenLane и интеграции в Caravel. Мы использовали ASIC-Agent-Bench, первый бенчмарк для оценки производительности агентских систем в сфере проектирования ASIC. Отчетленность результатов показала, что ASIC-Agent не только ускоряет процессы сборки и проверки, но и обеспечивает высокая точность в реализации задач. #### Значимость ASIC-Agent может применяться в разработке и промышленном производстве ASIC, а также в обучении новых инженеров, так как он экономит время на рутинных задачах. Он предоставляет высокую точность, ускорение процессов и удобство в использовании. В будущем, ASIC-Agent может быть расширен для включения дополнительных инструментов и задач, таких как анализ энергопотребления и оптимизация производительности. #### Выводы ASIC-Agent демонстрирует перспективу ускорения ASIC-проектирования, автоматизации рутинных задач и улучшения точности реализации. Наша работа раскрывает перспективы для дальнейшего исследования в области многоагентных систем, автоматизированных с