Empirical Comparison of Evaluation Methods for Unsupervised Learning of Morphology
Sámi Virpioja, Ville T. Turunen, Sebastian Spiegler, Oskar Kohonen, Mikko Kurimo · 2011
ABSTRACT. Unsupervised and semi-supervised learning of morphology provide practical solutions for processing morphologically rich languages with less human labor than the traditional rule-based analyzers. Direct evaluation of the learning methods using linguistic reference analyses is important for their development, as evaluation through the final applications is often time consuming. However, even linguistic evaluation is not straightforward for full morphological analysis, because the morpheme labels generated by the learning method can be arbitrary. We review the previous evaluation methods for the learning tasks and propose new variations. In order to compare the methods, we perform an extensive meta-evaluation using the large collection of results from the Morpho Challenge competitions. RÉSUMÉ. L’apprentissage non supervisé et semi-supervisé de la morphologie fournit des solutions pratiques pour le traitement des langues morphologiquement riches et requiert une intervention humaine réduite comparée aux analyseurs traditionnels basés sur des règles. L’évaluation directe des méthodes d’apprentissage utilisant des analyses de référence linguistique est importante pour leur développement, puisque l’évaluation par les applications finales prend généralement beaucoup de temps. Cependant, même l’évaluation linguistique n’est