FilBench: Can LLMs Understand and Generate Filipino?
2508.03523v1
cs.CL
2025-08-09
Авторы:
Lester James V. Miranda, Elyanah Aco, Conner Manuel, Jan Christian Blaise Cruz, Joseph Marvin Imperial
Резюме на русском
Научная статья FilBench: Can LLMs Understand and Generate Filipino? предлагает FilBench — первую полностью филиппинскоспецифическую б BENCHMARK для оценки моделей языковых моделей (LLMs) на языках филиппинского ареала: Филиппинский (Тагалог) и Чебуано. Бенчмарк включает задачи, отражающие приоритеты НЛП в Филиппинах, такие как классические задачи НЛП, чтение понимания и поколение текста. Авторы оценили 27 моделей, обнаружив, что значительная часть них страдает от проблем с чтением и переводом. Лучшая модель, GPT-4o, показала результат 72,23%, а модели, обученные на языках Юго-Восточной Азии, стали подвержены еще сильнее проблемам с Филиппинским языком. Результаты показывают, что Филиппинский язык все еще представляет сложные задачи для LLMs, и FilBench может стать важной инструментой для дальнейшего развития НЛП на Филиппинских языках.
Abstract
Despite the impressive performance of LLMs on English-based tasks, little is
known about their capabilities in specific languages such as Filipino. In this
work, we address this gap by introducing FilBench, a Filipino-centric benchmark
designed to evaluate LLMs across a diverse set of tasks and capabilities in
Filipino, Tagalog, and Cebuano. We carefully curate the tasks in FilBench to
reflect the priorities and trends of NLP research in the Philippines such as
Cultural Knowledge, Classical NLP, Reading Comprehension, and Generation. By
evaluating 27 state-of-the-art LLMs on FilBench, we find that several LLMs
suffer from reading comprehension and translation capabilities. Our results
indicate that FilBench is challenging, with the best model, GPT-4o, achieving
only a score of 72.23%. Moreover, we also find that models trained specifically
for Southeast Asian languages tend to underperform on FilBench, with the
highest-performing model, SEA-LION v3 70B, achieving only a score of 61.07%.
Our work demonstrates the value of curating language-specific LLM benchmarks to
aid in driving progress on Filipino NLP and increasing the inclusion of
Philippine languages in LLM development.
Ссылки и действия
Дополнительные ресурсы: