A formal specification for syntactic annotation and its usage in corpus development and maintenance : a case study in universal dependencies
Guilherme Paulino Passos · 2018
Dados anotados linguisticamente sao atualmente um recurso crucial para processamento de linguagem natural (NLP). Tais dados sao necessarios tanto para avaliacao empirica de sistemas, quanto para o treinamento de modelos de aprendizado de maquina de linguagem. Contudo, produzir novos conjuntos de dados e muito custoso em tempo e trabalho humano. Usualmente algum dominio em linguistica e necessario aos anotadores, e ainda assim a decisao de como anotar nao e trivial. Em projetos com muitos anotadores ou abrangendo longos periodos de tempo, a consistencia da anotacao pode ser comprometida. Ademais, anotar dados de dominios especificos requer anotadores com conhecimentos correspondentes. Isso se torna um serio problema para dominios tecnicos como ciencias biomedicas, oleo e gas e direito. Neste trabalho, contribuimos para diminuir esta dificuldade na producao de textos com anotacao sintatica (treebanks) por metodos formais. Nos desenvolvemos uma specificacao formal do padrao de anotacao sintatico Dependencias Universais (Universal Dependencies), um projeto desenvolvido pela comunidade internacional de NLP e de crescente importância. Sustentamos que essa especificacao formal e util para melhorar a qualidade de treebanks e reduzir custos de anotacao, pela imposicao de consistencia nos dados. Discutimos as caracteristicas, decisoes de projeto e limitacoes da nossa ontologia, implementada na linguagem OWL2-DL. Avaliamos experimentalmente a utilidade de nossa ontology na tarefa de detectar analises incorretas automaticamente, mostrando alta precisao em quatro idiomas. Finalmente, contextualizamos nossa contribuicao revisando o estado da arte no desenvolvimento e manutencao de treebanks