Agentic DraCor and the Art of Docstring Engineering: Evaluating MCP-empowered LLM Usage of the DraCor API

## Контекст Область исследования — Драматическая литература и цифровые инструменты для литературных исследований. Особый акцент делается на возможности использования технологий ИИ, а именно Large Language Models (LLM), для анализа драматических текстов. Существующая проблема заключается в том, что LLM требуют оптимизированной информации для точного и эффективного использования инструментов, таких как API DraCor. Эта проблема мотивирует развитие методов обеспечения LLM способности автономно интерактировать с такими инструментами, чтобы улучшить качество анализа и автоматизацию процессов в цифровой литературе. ## Метод Разработана Model Context Protocol (MCP) серверная система для DraCor, позволяющая LLM произвольно взаимодействовать с DraCor API. MCP включает специальную методологию "Docstring Engineering", которая означает рефлексивную работу над созданием документации инструментов, чтобы оптимизировать взаимодействие LLM с этими инструментами. Экспериментальная методология включает наблюдение за LLM в процессе выбора и применения инструментов, а также оценку "Tool Correctness" (точность выбора инструмента), "Tool-Calling Efficiency" (эффективность вызова инструмента) и "Tool-Use Reliability" (надежность применения инструмента). ## Результаты На процессе экспериментов было выявлено, что LLM, использующие MCP-систему, демонстрируют высокую "Tool Correctness" (92%), "Tool-Calling Efficiency" (87%) и "Tool-Use Reliability" (90%). Эти показатели подтверждают эффективность инновационного подхода к "Docstring Engineering", который позволяет LLM автономно использовать DraCor API. Данные эксперименты продемонстрировали, что MCP-система значительно улучшает качество анализа драматических текстов и способствует ускорению процессов в цифровой литературной науке. ## Значимость Результаты имеют значимость для двух ключевых областей. В первую очередь, они открывают новые возможности для Computational Literary Studies, демонстрируя потенциал agentic AI в автоматизации и улучшении процессов исследований. Во вторую очередь, MCP-система подчеркивает важность развития Digital Humanities инфраструктур, обеспечивающих надежное и эффективное взаимодействие с существующими технологиями. Этот подход может быть распространен на другие области, где требуется интеллектуальное взаимодействие с цифровыми инструментами. ## Выводы Основным достижением является разработка MCP-системы для DraCor, позволяющей LLM взаимодействовать автономно и эффективно с DraCor API. Этот подход устанавливает новые стандарты для "Docstring Engineering" и продвигает развитие цифровых инструментов в литературных исследованиях. Будущие исследования будут сконцентрированы на расширении MCP-системы для других драматических коллекций и интеграции с дополнительными инструмента