Improving Neural Machine Translation of Indigenous Languages with Multilingual Transfer Learning
Wei-Rui Chen, Muhammad Abdul-Mageed · 2023
Machine translation (MT) involving Indigenous languages, including endangered ones, is challenging primarily due to lack of sufficient parallel data.We describe an approach exploiting bilingual and multilingual pretrained MT models in a transfer learning setting to translate from Spanish into ten South American Indigenous languages.Our models set new SOTA on five out of the ten language pairs we consider, even doubling performance on one of these five pairs.Unlike previous SOTA that perform data augmentation to enlarge the train sets, we retain the low-resource setting to test the effectiveness of our models under such a constraint.In spite of the rarity of linguistic information available about the Indigenous languages, we offer a number of quantitative and qualitative analyses (e.g., as to morphology, tokenization, and orthography) to contextualize our results.Pair Source Target es-aym Los artistas de IRT ayudan a los niños en las escuelas.IRT artistanakax jisk'a yatiqañ utankir wawanakaruw yanapapxi.Los artistas de I RT ayudan a los niños en las escuelas .I RT artist ana ka x ji sk ' a y ati qa ñ u tank ir wa wan aka ru w ya nap ap xi .es-bzd Fui a un seminario que se hizo vía satélite.Ye' dë'rö seminario ã wéx yö' satélite kĩ.Fui a un seminario que se hizo vía satélite .Ye ' d ë ' r ö seminar io ã w é x y ö ' sat éli te k ĩ .es-cni Pensé que habías ido al campamento.Nokenkeshireashitaka pijaiti imabeyetinta.Pensé que había s ido al campamento.No ken ke shire ashi t aka p ija iti im ab eye tin ta .es-gn Veía a su hermana todos los días.Ko'êko'êre ohecha heindýpe.Ve ía a su hermana todos los días .Ko ' ê ko ' ê re oh e cha he in d ý pe .es-hch Era una selva tropical.pe h+k+t+kai metsi+ra+ ye tsie nieka ti+x+kat+.Era una selva tropical .pe h + k + t + ka i met si + ra + ye t s ie nie ka ti + x + ka t + .es-nah Santo trabajó para Disney y operó las tazas de té.zanto quitequitilih Disney huan quinpexontih in cafen caxitl Santo trabajó para Disney y o per ó las taza s de té .zan to quite qui til ih Disney h uan quin pex on t ih in cafe n ca xi t l es-oto Otros continúan reconociendo nuestro éxito.ymana ditantho anumahditho goma npâgu Otros continúan reconociendo nuestro éxito .y man a di tant ho an um ah di th o go ma n p â gu es-quy De vez en cuando me gusta comer ensalada.Yananpiqa ensaladatam mikuytam munani De vez en cuando me gusta comer ensalada .Yan an pi qa en s ala data m m iku y tam mun ani es-shp El Museo se ve afectado por las inversiones.Ja Museora en oinai inversionesbaon afectana.El Museo se ve afectado por las inversiones .Ja Museo ra en o ina i in version es ba on a fect ana .