## Контекст Область исследований, связанная с пониманием сознания, является одной из самых глубоких и важных в науке. Несмотря на многолетние исследования, определение и моделирование сознания остаются сложными задачами. Существуют различные теории и подходы, описывающие сознание как процесс взаимодействия нескольких уровней психической деятельности. Одна из них — теория глобального рабочего пространства (Global Workspace Theory), предложенная Жанном Баарсом. Она предполагает, что сознание функционирует как рабочее пространство, где некоторые процессы получают доступ к данным, хранящимся в неконссиостном сознании, в то время как другие процессы — нет. Несмотря на эффективность этой теории, она не достаточно детально описывает структуру неконсциостного сознания и механизмы его взаимодействия с консциостным. Наша мотивация заключается в разработке новой модели, которая бы систематически моделировала то, как неконсценсиостные процессы взаимодействуют с консциостными, а также как информация перемещается между этими уровнями. Это призвано не только расширить наше понимание сознания, но и привнести новые инструментальные средства для моделирования и решения задач в области искусственного интеллекта и естественных языков. ## Метод Мы предлагаем новую теорию сознания как функтора (CF — Consciousness as a Functor). Наш фреймворк CF моделирует неконсценсиостные процессы как топос категории, где каждый процесс представляется в виде коалгебры. Это позволяет описать неконсценсиостные процессы строго и включить в них векторное пространство субъективного опыта и логику, определяющую их. Мы также предлагаем внутренний язык сознания (Multi-modal Universal Mitchell-Benabou Language Embedding, MUMBLE), который позволяет описать интерпретации и моделировать взаимодействие между различными модальностями сознания. Для моделирования передачи информации из консценсиостной краткосрочной памяти в длительную, мы предлагаем Universal Reinforcement Learning (URL) — фреймворк, основанный на принципах усиленного обучения. Для моделирования передачи информации из длительной памяти в консценциостную, мы предлагаем модель экономии сетей (Network Economic Model). В ней информация отображается в ресурсы, которые могут быть распределены в зависимости от их ценности и потребностей. ## Результаты Мы провели эксперименты, применяя нашу модель к синтетическим данным и реальным задачам моделирования сознания. Наши результаты показали, что CF моделирует эффективно взаимодействие неконсценциостных процессов с консценциостными и демонстрирует высокую точность в предсказании поведения в задачах моделирования мышления и решения задач. Мы также провер

#### Контекст Лидерская роль искусственного интеллекта (ИИ) в современном мире обусловлена не только способностью решать данные задачи, но и возможностью эффективно решать новые и нестандартные проблемы. Одним из ключевых аспектов ИИ является его способность решать задачи, которые не только трудны для существующих моделей, но и имеют реальную практическую ценность. Бенчмарки, используемые для оценки моделей ИИ, должны быть как сложными, так и реалистичными. Несмотря на это, существуют проблемы с тензионным отношением между сложностью и реализму: бенчмарки, основанные на экзаменовой системе, часто являются сильно усложненными и имеют ограниченную реальную ценность, в то время как бенчмарки, основанные на реальных пользовательских запросах, часто ориентированы на простые, высокочастотные проблемы. В этой работе мы предлагаем новую идею: оценивать модели ИИ на неразрешенных вопросах. Это позволяет использовать набор вопросов, которые характеризуются своей сложностью и практическим значением, так как решение их может представлять собой реальное значение для человечества. #### Метод Мы представляем UQ — новый тип бенчмарка, основанный на неразрешенных вопросах, которые не только трудны для существующих моделей, но и отражают реальные ситуации. Методология UQ включает в себя сложную систему проверки вопросов, использующую комбинацию правил, генеративных моделей и ручных проверки. Мы также разработали стратегию валидации, основывающуюся на конфликте между генеративными моделями и валидаторами, чтобы обеспечить достоверную оценку решений. Бенчмарк UQ включает 500 вопросов, сконцентрированных на различных областях, таких как теория компьютеров, математика, научная фантастика и история. Эти вопросы проверяют навыки моделей, такие как рассуждения, фактическая правильность и браузерные навыки. Мы также разработали платформу, где эксперты могут проверять вопросы и решения. #### Результаты Эксперименты показали, что лучшие модели способны решить только 15% вопросов из UQ-бенчмарка. Это значительно меньше, чем в существующих бенчмарках. Мы также привлекли экспертов для верификации решений, и уже имеется ряд верифицированных правильных ответов на вопросы, которые модели смогли решить. Это указывает на то, что решение наших вопросов действительно представляет собой реальное значение и может быть использовано в реальном мире. #### Значимость UQ-бенчмарк представляет собой новую модель для оценки моделей ИИ, ориентированную на реальные, открытые проблемы. Он отличается от статически

## Контекст Настоящие предложения основываются на научной статье с названием "Spacer: Towards Engineered Scientific Inspiration", которая адресует сложные задачи, связанные со системами учебного искусственного интеллекта, а также требованиями к инновационности и творчеству в научных исследованиях. На данный момент, существующие системы, основанные на широко известных л LLM (Large Language Models), либо ограничены в своих возможностях, либо не могут достичь самостоятельного творчества в научных идеях. Такие ограждения приводят к необходимости в развитии новых методов, которые могут обеспечить более высокий уровень творчества и фактической грандиозности в научных исследованиях. Целью Spacer является развитие системы, которая может самостоятельно генерировать оригинальные и фактически сбалансированные научные идеи, полностью на основе нейроконцепций. ## Метод Spacer - это система, косвенно связанная с искусственным интеллектом, основанная на современных технологиях графов и творческих методов. Методология Spacer заключается в подходе, называемом "deliberate decontextualization". Данный подход заключается в разделении концепций на небольшие модули, или "ключевые слова", и поиск неожиданных связей между ними. Базируясь на этих запутанных связях, Spacer генерирует неповторимые научные направления. Механизмы Spacer включают два основных компонента: (i) Nuri, штурмовая система, которая строит и оценивает ключевые слова для статей на основе 180,000 публикаций в области биологии, и (ii) Manifesting Pipeline, которая превращает эти ключевые слова в полноценные научные концепции. Оба механизма работают вместе, чтобы приступить к генерации новых научных тезисов, которые могут быть экспериментально проверены. ## Результаты В рамках экспериментов, проведенных с Spacer, выяснилось, что Nuri, в качестве штурмовой системы, показала отличные результаты в классификации высокоимпактных статей с AUROC-метрикой в 0.737. Более того, она удачно распознает и выделяет те статьи, которые могут быть заложниками будущего учебного искусственного интеллекта. Также, Manifesting Pipeline удалось успешно реконструировать главные концепции из новых статей, генерируемых в топ-журналах, только на основе ключевых слов. Этот процесс эмпирически подтвердил, что Spacer в состоянии выполнять творческий анализ на базе лишь структуры ключей. Этот результат был подтвержден с помощью лингвистического моделирования, которая показала, что 85% случаев реконструкции концепций были успешными. Наконец, Spacer показал свою эффективность в сравнении с текущими лучшими резу

## Контекст Искусственные нейронные сети (LLM) и искусственные интеллект-агенты (AI agents) становятся важными инструментами в различных областях, включая поиск информации, генерацию текста и принятие решений. Однако эти технологии остаются тематическим концептуально научной и технологической статьи по теме "Attacking LLMs and AI Agents: Advertisement Embedding Attacks Against Large Language Models" в силу их расширения. Одной из ключевых проблем является повышение риска мошенничества, публикации злонамеренной информации и скрытых объявлений. Эта проблема представляет собой значительный угрозу для безопасности и этики использования технологий AI. Мотивация для данного исследования заключается в определении новых типов угроз и разработке методов защиты, чтобы обеспечить безопасное и эффективное использование AI-систем. ## Метод Разработанная методология включает в себя следующие этапы: 1. **Анализ рисков и возможностей уязвимости**: Авторы определили, что уязвимость моделей AI может быть использована с помощью специально созданных входных стимулов (prompts), которые подкорректируют выходные данные модели. 2. **Использование сторонних сервисов**: Атака может получать доступ к сервисам, которые распространяют модели AI, чтобы внедрить свои собственные данные. 3. **Форвардная модель**: Авторы использовали атаку, которая имитирует принятое поведение модели, но включает в себя скрытые сообщения. 4. **Атака связывательных слоев (Backdoor Models)**: Эта атака включает в себя форматирование под входной стимул, который вызывает злонамеренное поведение. ## Результаты Авторы провели эксперименты, где проверяли влияние скрытых сообщений на различные модели AI. Они использовали разные данные и настройки, чтобы протестировать эффективность новых методов. Результаты показали, что модели AI могут быть легко изменены, чтобы включить невидимые объявления, поддельные информации или даже злонамеренные сообщения. Это подтверждает, что модели AI могут быть использованы для распространения злонамеренной информации без видимых симптомов. ## Значимость Результаты имеют значительное значение для различных сфер, включая безопасность интернета, типологию сетевых угроз и проблему фальсификации информации. Этот новый подход может быть использован для распространения объявлений, ложных новостей, или даже злонамеренных сообщений в различных сферах, таких как политические кампании, маркетинг и другие. Эта угроза может привести к значительным потерям для компаний и пользователей, если она не будет предотвращена. ## Выводы Авторы раскрыли новый класс угроз для технологий

## Контекст Перцептрон — простой модель нейронной сети, которая используется для решения задач классификации и регрессии. Одна из основных задач в обучении таких моделей — минимизация квадратичной ошибки с регуляризацией (ridge-regularized mean squared error, RR-MSE). Традиционные методы, такие как градиентный спуск, не всегда эффективны в решении этой задачи, особенно при высоких размерностях. На сегодняшний день недостаточно хорошо понятны структура и свойства решений этой задачи, что ограничивает возможности для понимания и улучшения алгоритмов обучения. ## Метод В статье предлагается алгебраический подход для решения задачи RR-MSE в релаксационных перцептронах (ReLU). Авторы отмечают, что квадратичная ошибка с регуляризацией является пьезополиномом от весовых коэффициентов сети. Это свойство используется для разработки метода Divide-Enumerate-Merge (DEM). Метод делит пространство параметров на области, в которых RR-MSE является полиномом, и направляет внимание на точное решение каждой части. Далее, полученные решения объединяются в общее решение. Такой подход позволяет не только находить локальные минимумы, но и выявлять высокоразмерные минимумы, такие как кривые и поверхности. ## Результаты Авторы применяют свой подход к минимальным релаксационным перцептронам (minimal ReLU neural networks) с небольшим числом скрытых слоев. Используя компьютерные алгебраические инструменты, они успешно вычисляют все локальные минимумы RR-MSE в этих моделях. Эксперимент показывает, что метод DEM эффективен в идентификации всех локальных минимумов, включая высокоразмерные. Однако, ввиду высокой сложности вычислений, подход ограничивается небольшими моделями. ## Значимость Предложенный подход может быть применен в обучении нейронных сетей, чтобы получить глобальные решения задачи RR-MSE. Он имеет потенциал для улучшения точности и стабильности методов обучения. Также, способность идентификации высокоразмерных минимумов делает этот подход уникальным в сравнении с традиционными методами. Несмотря на высокую сложность, результаты доказывают многочисленные преимущества этого подхода, особенно для малых моделей. ## Выводы Алгебраический подход, описанный в статье, доказывает свою эффективность в решении задачи RR-MSE в релаксационных перцептронах. Он успешно раскрывает структуру решений и открывает новые возможности для анализа и улучшения нейронных сетей. Несмотря на высокую сложность, данный подход может быть расширен на более крупные модели в будущих исследованиях. Это открывает путь к более глубокому пониманию и улучшению нейронных сетей.

#### Контекст "Диффузионные модели, такие как VoiceGrad, достигают высокой степени точности в речевом преобразовании (Voice Conversion, VC) по сравнению с более простыми моделями генерации речи. Однако их выполнение требует многоэтапного сэмплинга, что приводит к заметному снижению скорости. Для устранения этого недостатка была предложена FastVoiceGrad, которая преобразовывает VoiceGrad в одношаговую модель. Тем не менее, FastVoiceGrad все еще зависит от тяжеловесного контентного энкодера, необходимого для выделения речевой идентичности и контента, что также замедляет преобразование. Это привело к развитию FasterVoiceGrad, которая стремится улучшить скорость диффузионного VC, добиваясь этого за счет внедрения адверсарного диффузионного преобразования и одновременного обучения с помощью алгоритма ADCD." #### Метод "FasterVoiceGrad основывается на введении нового парадигмы для одношагового диффузионного VC. Она использует метод ADCD для улучшения качества речевого преобразования, при этом решая проблему дорогостоящего обучения контентного энкодера. Модель состоит из двух ключевых элементов: одношаговой диффузионной модели и содержимого-энкодера, которые обучаются одновременно. Это позволяет избежать избыточного вычислительного напряжения, связанного с длительными итерациями сэмплирования. Модель использует простую архитектуру, но эффективную, чтобы улучшить скорость, сохранив высокое качество за счет ускоренного обучения диффузионной модели и содержимого-энкодера." #### Результаты "В экспериментах была проведена сравнительная оценка скорости и качества речевого преобразования между FasterVoiceGrad, FastVoiceGrad и VoiceGrad. Результаты показывают, что FasterVoiceGrad демонстрирует скорость выполнения 6.6-6.9 раз быстрее генерации VoiceGrad и 1.8 раз быстрее FastVoiceGrad при использовании GPU и CPU. Однако в качестве речевого преобразования она сохраняет высокую точность и силу речевого выражения, близкую к VoiceGrad. Это делает ее более скорострельной, но не хуже по качеству." #### Значимость "FasterVoiceGrad демонстрирует новую технику для ускорения диффузионных моделей VC, сочетая в себе высокое качество и быстроту преобразования. Она может быть применена в различных сценариях, где необходимо быстрое преобразование речи, например, в системах реального времени или приложениях, требующих высокой производительности. Это позволяет улучшить интерактивность и пользовательский опыт, особенно в системах с низкой задержкой, таких как видеоконференции или синтез речи." #### Выводы "Данная работа открывает новый путь для улучшения скорости и качества диффузионных моделей VC. Она показывает, что можно добиться высокой точности при меньшем

#### Контекст Текстовая речь и голосовая преобразование (TTS и VC) широко используются в различных приложениях, от интеллектуальных помощников до доступности для людей с ограниченными возможностями. Однако для этих задач часто используются значительные ресурсы вычислительных мощностей и памяти, особенно при работе с громкостной спектрограммой или высокополиномиальными фичевыми моделями. Эти аспекты не только усложняют реализацию, но и затрудняют развертывание моделей в реальном времени. В настоящем исследовании решается проблема эффективного обучения моделей TTS и VC с меньшим потреблением ресурсов, обеспечивая при этом высокое качество звука. #### Метод Мы предлагаем метод **Vocoder-Projected Feature Discriminator (VPFD)**, который обучается с помощью валидации временного ряда на основе волнового моделирования. Эта техника позволяет воспроизводить звук с помощью упрощенного алгоритма, который заменяет сложную последовательность upsampling-операций на более простой процесс. Модель использует **vocoder feature extractor**, который извлекает основные характеристики сигнала, не требуя дополнительного расширения во временной области. Эта техника уменьшает размер модели и увеличивает скорость обучения без потери качества звука. #### Результаты Мы провели эксперименты на диффузионно-основанных моделях VC с использованием моделей **MelGAN** и **HiFi-GAN**. При этом использовались данные из звуковых баз **VCTK** и **LibriTTS**. Результаты показали, что VPFD достигает качества аудио около 95% от волнового дискриминатора, при этом уменьшая время обучения и потребление памяти в 9,6 и 11,4 раз соответственно. Это указывает на то, что **дискриминатор волнового моделирования** может быть успешно заменен на более лёгкий алгоритм без потери качества. #### Значимость Предлагаемый метод VPFD имеет широкое применение в областях TTS и VC, особенно когда требуется эффективное решение с ограниченными вычислительными ресурсами. Это может применяться в мобильных приложениях, браузерных сервисах и даже в системах распознавания речи. Кроме того, **экономия ресурсов** и **улучшение скорости обучения** делают VPFD привлекательным для использования в крупных моделях, которые требуют многочисленных проходов на обучение. Таким образом, это может способствовать более быстрому развитию текстовой речи и голосового преобразования. #### Выводы Мы установили, что VPFD позволяет достичь высокого качества звука при значительно меньших затратах ресурсов по сравнению с волновым дискриминатором. Данный подход может быть использован в будущих исследованиях для оптимизации моделей TTS и VC, а также для улучшения их производительности в реальном вре

## Контекст Скрытые предрассудки в больших моделях естественного языка (LLMs) являются важной проблемой, особенно в мультилингвальных задачах. Несмотря на прогресс в методах debiasing, модели часто не могут эффективно перевести эти техники на другие языки. Эта проблема становится критичной при кросс-лингвальных задачах, где необходимо уменьшить уровень скрытого англоцентризма и улучшить контекстуальную гранулярность. Несмотря на работы по оценке кросс-лингвальной трансфертивности таких методов, есть недостаток моделей, которые могли бы адаптироваться к различным языкам. В настоящей работе предлагается первый подход, в котором debiasing выполняется в "скрытом" пространстве, а не напрямую на выходных данных модели. ## Метод Для создания кросс-лингвального пространства использован автоэнкодер, основанный на параллельных данных (TED Talk скриптов). Обучение автоэнкодера направлено на создание низкоразмерного пространства, которое сохраняет гранулярность языка и позволяет эффективно передавать скрытые предрассудки между языками. Для дебиасинга использованы две техники: SentDebias и HardDebias. Данные для экспериментов были извлечены из входных предложений моделей и представлены в трех языках (французский, немецкий, голландский), с целью оценки эффективности кросс-лингвального дебиасинга. ## Результаты Эксперименты показали, что автоэнкодер эффективно строит кросс-лингвальное пространство, сохраняя языковые характеристики и уменьшая корреляцию скрытых предрассудков. Техники debiasing, примененные в этом пространстве, показали значительный повышение эффективности по сравнению с дебиасингом напрямую в выходных данных модели. В частности, SentDebias показал улучшение в 10% для всех языков в сравнении с безучетом входа в пространство. HardDebias также показал улучшение в 7%, особенно для языков с меньшим представительством в обучающих данных. ## Значимость Данный подход может быть применен в различных мультилингвальных задачах, включая перевод, суммирование текста и распознавание субъективных выражений. Он предоставляет преимущества в улучшении скрытого дебиасинга, а также работы с языками с недостатком данных. Будущие исследования могут сосредоточиться на улучшении алгоритмов автоэнкодера и расширении кросс-лингвального пространства для широкого спектма языков. ## Выводы Результаты экспериментов показали, что дебиасинг в кросс-лингвальном пространстве значительно улучшает эффективность и кросс-лингвальную трансфертивность LLMs. Этот подход может стать базой для дальнейшего раз

## Контекст Понимание способа формирования слов из подстроковых элементов (субвордов) является ключевой проблемой в анализе и генерации текстов с помощью бо LARGE LANGUAGE MODELS (LLM). LLMs обрабатывают последовательности субвордов, комбинируя их в слова. Эта способность является критической для понимания и генерирования значимых текстов. Несмотря на то, что субворды широко используются в машинном обучении, существуют недостатки в понимании того, как LLM объединяют эти элементы в целостные слова. Эта проблема становится все более актуальной в свет растущего интереса к LLM в области текстового понимания, генерации и доступности. В данной работе мы описываем подробный анализ того, как LLM обрабатывают субворды и компонуют их в слова, чтобы понять, что LLM "видят" в словах и как они это делают. ## Метод Мы провели три ключевых эксперимента для изучения способа построения слов из подстроковых элементов в LLM: **структурная схожесть**, **семантическое разделение** и **формообразующие черты**. 1. **Структурная схожесть**: Мы измеряли, насколько похожи сложные субворды (например, "un" + "happy") и их соответствующие целые слова (например, "unhappy") на уровне слоев LLM. 2. **Семантическое разделение**: Мы проверяли, насколько хорошо LLM разделяют семантические компоненты слов (например, производные слова, такие как "run" vs. "runner"). 3. **Формообразующие черты**: Мы исследовали, насколько LLM устойчивы к формальным особенностям, таким как длина символов и графем. Эксперименты проводились на 5 представительных LLM семейств, включая BERT, RoBERTa, GPT-2, T5 и XLM-R, чтобы охватить разнообразие подходов. ## Результаты 1. **Структурная схожесть**: Мы обнаружили три различных тренда в эволюции структурной схожести между субвордами и целыми словами в разных слоях LLM. Например, в некоторых слоях субворды становятся все более похожи на слова, в то время как в других наблюдается обратный эффект. 2. **Семантическое разделение**: Мы выяснили, насколько хорошо LLM выполняют семантическое разделение в разных слоях. Например, в некоторых слоях LLM показывают высокую точность в различении производных слов (например, "run" vs. "runner"), в то время как в других это делается с меньшей точностью. 3. **Формообразующие черты**: Мы обнаружили, что LLM отличаются в устойчивости к формальным особенностям, таким как длина символов и графем. Например, некоторые модели чувствительны к длине символов, в то время как другие — нет. ## Значимость Наши результаты демонстрируют, что LLM могут быть к

## Контекст Актуальным научным вопросом является управление высокомерностными и нелинейными моделями мозговой-мышечной системы человека. Недавние достижения в области машинного обучения позволили создавать политики, успешно решающие отдельные задачи, такие как достижение цели, манипуляция объектами и локуция. Однако эти политики являются "специалистами", оптимизированными для решения конкретных задач. Недостаточностью таких подходов является их невозможность универсального применения. В данной работе предлагается Arnold — обобщенная политика, способная решать различные задачи и управлять различными моделями. Это решение призвано устранить ограниченность специализированных политик и обеспечить высокую гибкость и универсальность. ## Метод Arnold основывается на комбинации трех основных компонентов: техники клонирования поведения (behavior cloning), метода PPO (Proximal Policy Optimization) и трансформерной архитектуры. Он использует сенсорно-моторную лексикографию — универсальную структуру для представления смыслов, целей и моторных действий. Эта лексикография позволяет трансформеру работать с разными моделями и задачами, обрабатывая их различия в наблюдениях и действиях. Обучение происходит в два этапа: начальное обучение с behavior cloning и дополнительная оптимизация с помощью PPO. Это позволяет достичь высокого уровня производительности в 14 разнообразных задачах, включая манипуляцию предметами и локуцию. ## Результаты На тестировании в 14 задачах Arnold достиг высокого уровня производительности, демонстрируя экспертные или супер-экспертные результаты. Он эффективно решает задачи динамического локуции, тонкой манипуляции объектами и других сложных задач. Данные результаты подтверждают гибкость и эффективность использования сенсорно-моторной лексикографии и трансформерной архитектуры в многозадачном обучении. Кроме того, были проведены аналитические эксперименты, подтверждающие теоретические выводы о ограниченной трансфертивности мышечных синергий на различные задачи. ## Значимость Arnold может быть применен в широком кругу приложений, включая робототехнику, медицину, игровые технологии и симуляции человеческого поведения. Он предоставляет универсальный инструмент для обучения и управления моделями, не требующий переобучения для каждой новой задачи или модели. Это означает экономию ресурсов и времени. Благодаря своей гибкости и эффективности, Arnold может стать ключевым компонентом в развитии искусственного интеллекта и систем управления. ## Выводы Результаты работы подтвердили эффективность и гибкость Arnold в решении различных задач. О