## Контекст Область исследований, посвященная оценке локальных больших языковых моделей (LLMs) в решении сложных задач программирования, является ключевой для понимания их потенциала и ограничений в реальной практике. Существующие проблемы заключаются в том, что многие локальные LLMs страдают от нехватки ресурсов, ограниченности контекста и недостаточной точности при обработке сложных задач. Эти ограничения приводят к узкому применению в конкурентных программирующих задачах, где необходима высокая точность и полнота вывода. Мотивация заключается в том, чтобы оценить эффективность локальных LLMs и выявить потенциал их улучшения, чтобы они могли стать более конкурентоспособными в сравнении с проприетарными решениями. ## Метод Методология основывается на разработке и развитии Framework for AI-driven Code Generation Evaluation (FACE), который был адаптирован для работы в офлайн-режиме с использованием Ollama runtime. Это позволило сократить многоуровневую структуру данных на каждой задаче до нескольких сплошных JSON-файлов и внедрить систему резервного копирования для возобновления работы после сбоев. Исследования охватывают 3,589 задач из Kattis corpus, протестированные на 8 моделях с параметрами от 6.7 до 9 миллиардов. Данные были сгенерированы, отправлены и записаны в процессе экспериментов, чтобы оценить точность и достоверность решений. ## Результаты Результаты показали, что пропускная способность (pass@1 accuracy) локальных моделей в сравнении с проприетарными моделями Gemini 1.5 и ChatGPT-4 остается значительно ниже. Лучшие локальные модели достигли приблизительно половины точности проприетарных решений. Тем не менее, наблюдается улучшение открытых моделей, что демонстрирует их возможность расти и оптимизироваться в будущем. Результаты также подчеркивают необходимость развития более эффективных методов для обучения и оценки локальных LLMs. ## Значимость Полученные результаты имеют значимые применения в области развития инструментов для программистов, позволяя оценивать и улучшать локальные модели в условиях реалистичных задач. Эти модели могут использоваться в образовательных программах, курсах по программированию и конкурсах, где требуется высокая точность решения задач. Благодаря открытому коду и возможности повторения результатов на внутренней инфраструктуре, данный подход обеспечивает гибкость и удобство для организаций. ## Выводы Основные достижения заключаются в том, что локальные LLMs, несмотря на свои ограничения, демонстрируют улучшение в сравнении с предыдущими моделями и могут быть применены в решении конкретных задач программирования. Будущие исследования должны сконцентрироваться на улучшении точности и расширении контекста, а такж

## Контекст Область исследования, связанная с логикой, непрерывно развивается, с целью улучшения моделей открытых миров, включая те, что используются для распределенных систем и систем решения задач в игровых пространствах. Одной из ключевых проблем в этой области является недостаточность традиционных моделей поддержки надежных открытых миров, которые могут обрабатывать не только информацию о действиях, но и временную информацию, необходимую для написания логики, которая может справиться с динамическими и неопределенными условиями. Это приводит к необходимости в развитии новых подходов, которые могут объединять мощные методы рассуждения с гибкой моделью времени, чтобы обеспечить эффективное решение таких задач. ## Метод LAT Logic (Lattice Annotated Temporal Logic) представляет собой расширение Generalized Annotated Logic Programs (GAPs), которое включает в себя логику времени и работу с открытым миром, используя нижнюю латтиссовую структуру. В этой модели используется эффективная процедура вывода в сочетании с логикой программирования. Одним из основных моментов является то, что LAT Logic поддерживает не только Markovovские отношения, но и концепцию "открытого мира", что включает в себя возможность работы с бесконечным или высокообъемным константным пространством. Метод заключается в том, чтобы использовать эту латтиссовую структуру для эффективного описания и вывода во временных задачах, что позволяет обрабатывать открытые задачи с использованием сложных временных зависимостей. ## Результаты В рамках экспериментов, проведенных в рамках разработки LAT Logic, были использованы различные задачи, включающие в себя как логические задачи, так и задачи, основанные на знаниях, которые требуют работы в динамических средах. Для проверки имплементации использовался PyReason, модульный инструмент с машинно-уровневой оптимизацией и интеграцией с окружениями реинфорсментного обучения. Результаты экспериментов показали, что LAT Logic демонстрирует значительные улучшения в скорости работы и эффективности за счет эффективного использования памяти. В задачах, связанных с реинфорсментным обучением, LAT Logic достигла до трех порядков меньшей скорости симуляции, что позволило улучшить производительность агента на 26%. Эти результаты подтверждают мощность новой модели в области логики времени и открытых миров. ## Значимость Помимо теоретического вклада в развитие логики времени и теории открытых миров, LAT Logic имеет практическое применение в различных областях, включая моделирование динамических систем, интеллектуальные технологии, системы решения задач в игровых пространствах. Одной из основных преимуществ этой модели является