COMET-poly: Machine Translation Metric Grounded in Other Candidates

## Контекст Оценка качества машинного перевода — важнейшая задача в области естественного языкового процессинга. Обычно это производится с помощью автоматических метрик, которые сравнивают генерируемый перевод с гуман-номерными текстами. Существующие метрики, однако, основываются только на сравнении одного перевода с исходным текстом, не учитывая важность контекста и вариантов. Это может привести к неточным оценкам. Недостаток в контекстной оценке особенно ощущается при обучении и оценке сложных моделей, таких как трансформеры. Мы предлагаем две новые метрики для автоматической оценки, которые используют дополнительные трансформации и возможности контекстной оценки. ## Метод Мы предлагаем две разновидности метрики COMET-poly: COMET-polycand и COMET-polyic. COMET-polycand сравнивает трансформацию с несколькими альтернативными переводами одного и того же исходного текста. COMET-polyic, в свою очередь, использует трансформации задач, связанных с контекстом, и значения, взятые из гуман-номерных оценок. Мы используем модели, обученные на больших данных, чтобы вычислить степень сходства между трансформациями и гуман-номерными текстами. В ходе экспериментов мы применяем эти метрики к различным наборам данных и сравниваем их с существующими метриками, такими как BLEU и chrF. ## Результаты В ходе экспериментов мы получили следующие результаты: COMET-polycand улучшился от 0.079 до 0.118 Kendall's tau-b корреляции, когда добавлялись дополнительные переводы. COMET-polyic также демонстрировал заметные улучшения, приближаясь к 0.116 Kendall's tau-b корреляции при использовании оценок из контекста. Эти результаты показывают, что добавление дополнительных трансформаций помогает улучшить точность оценки качества перевода. ## Значимость Наши результаты имеют большое значение для практических приложений в области машинного перевода. Метрики COMET-poly позволяют оценивать качество трансформаций в более широком контексте, что может улучшить точность и надежность методов оценки. Это имеет прямое отношение к труду переводчиков, которые часто оценивают трансформации в контексте нескольких вариантов. Этот подход может быть использован в различных сценариях, таких как документация, онлайн-перевод и возможности автоматизации процесса перевода. ## Выводы Мы представили две новые метрики для автоматической оценки качества машинного перевода, которые учитывают контекстный кандидат. Наши результаты показывают, что включение дополнительных переводов и контекстных данных может увеличить точность оценки. Мы планируем продолжать работу над улучшением этих метрик, включая разви