Empirical study and multi-task learning exploration for neural sequence labeling models
Peng Lü · 2019
Les modèles de réseau de neuronaux ont attiré une attention considérable pour l'étiquetage de séquence. Comparés aux modèles traditionnels, les modèles neuronaux offrent de meilleures performances avec moins ou pas d'ingénierie de traits caractéristiques. Cependant, en raison de la sensibilité du cadre expérimental, il est toujours difficile de reproduire et de comparer l’efficacité de différents modèles dans des conditions identiques. Et même si ces modèles peuvent être appliqués à différentes tâches d’étiquetage de séquence, telles que la reconnaissance d’entités nommées (NER), la segmentation de texte et l'étiquetage morphosyntaxique (POS), les travaux antérieurs ne donnent pas de meilleures performances quand ils sont placés dans un processus d'apprentissage multitâche (MTL) que d'apprendre chaque tâche individuellement. Nous étudions les principaux facteurs d’influence sur la performance des systèmes d’étiquetage de séquences neuronaux en réimplémentant douze modèles d’étiquetage des séquences, qui incluent la plupart de systèmes état de l’art, en effectuant une comparaison systématique sur trois tâches (NER, segmentation de texte et POS). Grâce à la comparaison et à l'analyse empirique, nous obtenons plusieurs conclusions pratiques dans chacune des tâches. Ensuite, nous essayons de construire un système capable d’apprendre trois tâches d'étiquetage séquentiel et d’améliorer la précision de chaque tâche. Nous proposons donc un réseau de mémoire partagée, Shared Cell Long-Short Term Memory network (SC-LSTM), pour l’étiquetage multi-tâche de séquences et comparons notre modèle avec deux modèles partagés d'étiquetage. En détenant un ensemble de paramètres partagés, l'état de la cellule de notre modèle SC-LSTM peut être supervisé à partir de trois tâches, tandis qu’ il comporte un composant indépendant spécifique à la tâche pour apprendre les informations privées de chaque tâche. Les résultats expérimentaux sur trois ensembles de données d'étiquetage de séquence de référence montrent l'efficacité de notre modèle SC-LSTM pour les tâches de NER, de segmentation de texte (text chunking) et l'étiquetage morphosyntaxique (POS tagging).