Empirical machine translation and its evaluation
Giménez Linares, Jesús Ángel · TDX (Tesis Doctorals en Xarxa) · 2008
Aquesta tesi estudia l'aplicacio de les tecnologies del Processament del Llenguatge Natural disponibles actualment al problema de la Traduccio Automatica basada en Metodes Empirics i la seva Avaluacio. D'una banda, tractem el problema de l'avaluacio automatica. Hem analitzat les principals deficiencies dels metodes d'avaluacio actuals, les quals es deuen, al nostre parer, als principis de qualitat superficials en els que es basen. En comptes de limitar-nos al nivell lexic, proposem una nova direccio cap a avaluacions mes heterogenies. El nostre enfocament es basa en el disseny d'un ric conjunt de mesures automatiques destinades a capturar un ampli ventall d'aspectes de qualitat a diferents nivells linguistics (lexic, sintactic i semantic). Aquestes mesures linguistiques han estat avaluades sobre diferents escenaris. El resultat mes notable ha estat la constatacio de que les metriques basades en un coneixement linguistic mes profund (sintactic i semantic) produeixen avaluacions a nivell de sistema mes fiables que les metriques que es limiten a la dimensio lexica, especialment quan els sistemes avaluats pertanyen a paradigmes de traduccio diferents. Tanmateix, a nivell de frase, el comportament d'algunes d'aquestes metriques linguistiques empitjora lleugerament en comparacio al comportament de les metriques lexiques. Aquest fet es principalment atribuible als errors comesos pels processadors linguistics. A fi i efecte de millorar l'avaluacio a nivell de frase, a mes de recorrer a la similitud lexica en absencia d'analisi linguistica, hem estudiat la possibiliat de combinar les puntuacions atorgades per metriques a diferents nivells linguistics en una sola mesura de qualitat. S'han presentat dues estrategies no parametriques de combinacio de metriques, essent el seu principal avantatge no haver d'ajustar la contribucio relativa de cadascuna de les metriques a la puntuacio global. A mes, el nostre treball mostra com fer servir el conjunt de metriques heterogenies per tal d'obtenir detallats informes d'analisi d'errors automaticament. D'altra banda, hem estudiat el problema de la seleccio lexica en Traduccio Automatica Estadistica. Amb aquesta finalitat, hem construit un sistema de Traduccio Automatica Estadistica Castella-Angles basat en -phrases', i hem iterat en el seu cicle de desenvolupament, analitzant diferents maneres de millorar la seva qualitat mitjancant la incorporacio de coneixement linguistic. En primer lloc, hem extes el sistema a partir de la combinacio de models de traduccio basats en analisi sintactica superficial, obtenint una millora significativa. En segon lloc, hem aplicat models de traduccio discriminatius basats en tecniques d'Aprenentatge Automatic. Aquests models permeten una millor representacio del contexte de traduccio en el que les -phrases' ocorren, efectivament conduint a una millor seleccio lexica. No obstant, a partir d'avaluacions automatiques heterogenies i avaluacions manuals, hem observat que les millores en seleccio lexica no comporten necessariament una millor estructura sintactica o semantica. Aixi doncs, la incorporacio d'aquest tipus de prediccions en el marc estadistic requereix, per tant, un estudi mes profund. Com a questio complementaria, hem estudiat una de les principals critiques en contra dels sistemes de traduccio basats en metodes empirics, la seva forta dependencia del domini, i com els seus efectes negatius poden esser mitigats combinant adequadament fonts de coneixement externes. En aquest sentit, hem adaptat amb exit un sistema de traduccio estadistica Angles-Castella entrenat en el domini politic, al domini de definicions de diccionari. Les dues parts d'aquesta tesi estan intimament relacionades, donat que el desenvolupament d'un sistema real de Traduccio Automatica ens ha permes viure en primer terme l'important paper dels metodes d'avaluacio en el cicle de desenvolupament dels sistemes de Traduccio Automatica.