Unsupervised, Semi-Supervised and LLM-Based Morphological Segmentation for Bribri
Carter Anderson, Mien Nguyen, Rolando Coto‐Solano · 2025
Morphological Segmentation is a major task in Indigenous language documentation.In this paper we introduce a novel statistical algorithm called Morphemo to split words into their constituent morphemes, and we compare its performance to five other methods for morphological segmentation, including large language models (LLMs).We use these tools to analyze Bribri, an under-resourced Indigenous language from Costa Rica.Morphemo has better performance than the LLM when splitting multimorphemic words, mainly because the LLMs are more conservative tend to leave words under-analyzed, which gives them an advantage with monomorphemic words.In future work we will use these tools to tag Bribri language corpora, which currently lack morphological segmentation.A Python implementation of Morphemo is publicly available. ResumenSegmentación morfológica del Bribri con métodos no-supervisados, supervisados y basados en modelos grandes del lenguaje.La segmentación morfológica es una tarea importante en la documentación de lenguas indígenas.En este artículo presentamos un nuevo algoritmo estadístico llamado Morphemo, que divide las palabras en sus respectivos morfemas.Además, comparamos el desempeño de Morfemo con cinco otro algoritmos, incluyendo modelos grande de lenguaje (LLM).Usamos estas herramientas para analizar el bribri, una lengua indígenas de bajos recursos de Costa Rica.Morphemo tiene mejor rendimiento al dividir palabras multimorfémicas, sobretodo porque los LLMs es más conservadores y dejan más palabras sin analizar, lo que a su vez les da una ventaja al lidiar con palabras monomorfémicas.En el futuro usaremos estas herramientas para anotar corpus de lengua bribri, que en este momento carecen de segmentación morfológica.Finalmente, liberamos una versión en Python de Morfemo, disponible públicamente.