Guessing lexicon entries using finite-state methods
Kimmo Koskenniemi · 2018
A practical method for interactive guessing of LEXC lexicon entries is presented.The method is based on describing groups of similarly inflected words using regular expressions.The patterns are compiled into a finite-state transducer (FST) which maps any word form into the possible LEXC lexicon entries which could generate it.The same FST can be used (1) for converting conventional headword lists into LEXC entries, (2) for interactive guessing of entries, (3) for corpus-assisted interactive guessing and (4) guessing entries from corpora.A method of representing affixes as a table is presented as well how the tables can be converted into LEXC format for several different purposes including morphological analysis and entry guessing.The method has been implemented using the HFST finite-state transducer tools and its Python embedding plus a number of small Python scripts for conversions.The method is tested with a near complete implementation of Finnish verbs.An experiment of generating Finnish verb entries out of corpus data is also described as well as a creation of a full-scale analyzer for Finnish verbs using the conversion patterns. TiivistelmäArtikkelissa esitellään menetelmä, jonka avulla käyttäjä voi määrittää LEXCleksikkoon sopivia uusia hakusanoja.Menetelmässä kuvataan kukin taivutusluokka säännöllisten lausekkeiden avulla.Samoja lausekkeita voidaan käyttää toisaalta tavanomaisen sanakirjan sanaluettelon konversioon ja toisaalta yksittäisten hakusanojen määrittämiseen siten, että käyttäjä antaa haluamansa hakusanan eri muotoja, kunnes hakusana on yksiselitteisesti määrätty.Arvaaminen voidaan suorittaa myös korpuksista kerättyjen tietojen avulla, jolloin oikea hakusana löytyy nopeammin.Myös pelkän sanalistan perusteella voidaan arvata hakusanoja.Menetelmä on toteutettu käyttäen HFST:n äärellistilaisten transduktorien työkaluja ja erityisesti käyttäen niitä Python-ohjelmointikielestä käsin.Lisäksi on tehty muutamia lyhyitä Python-skriptejä, joilla tietoja muunnetaan eri muodoista toisiinsa.Menetelmää on testattu soveltamalla sitä lähes kattavaan suomen kielen verbien taivutusmalliin.Menetelmiä on kokeiltu alustavasti toisaalta hakusanojen automaattiseksi muodostamiseksi tekstikorpuksen sanalistasta ja toisaalta täysimittaisen suomen kielen verbien morfologisen jäsentimen muodossa.