Fast and scalable HPSG parsing
Takashi Ninomiya, Yoshimasa Tsuruoka, Yusuke Miyao, Kenjiro Taura, Jun’ichi Tsujii · Research Explorer (The University of Manchester) · 2006
ABSTRACT. We investigated the efficacy of beam search parsing and deep parsing techniques in probabilistic HPSG parsing. We first tested the beam thresholding and iterative parsing. Next, we tested three techniques originally developed for deep parsing: quick check, large constituent inhibition, and hybrid parsing with a CFG chunk parser. The quick check, iterative parsing and hybrid parsing greatly contributed to total parsing performance. The accuracy and average parsing time for the Penn treebank were 87.2 % and 355 ms. Finally, we tested robustness and scalability of HPSG parsing on the MEDLINE corpus consisting of around 1.4 billion words. The entire corpus was parsed in 9 days with 340 CPUs. RÉSUMÉ. Nous avons étudié l’efficacité de l’analyse de beam search et des techniques de l’analyse profonde dans le probabiliste HPSG analyse. D’abord, nous avons examiné le beam thresholding et l’analyse itérative. Ensuite, nous avons examiné trois techniques développées originalement pour l’analyse profonde: quick check, large constituent inhibition, et l’analyse hybride avec la CFG chunk parser. Le quick check, l’analyse itérative et l’analyse hybride contribuaient considérablement à la performance de l’analyse totale. L’exactitude et le temps d’analyse moyen pour le Penn Treebank étaient 87.2 % et 355ms. Finalement, nous avons examiné la robustesse et la extensibilité de HPSG analyse sur le corpus de MEDLINE contenant presque 1.4 milliard de mots. Le corpus entier a été analysé en 9 jours avec 340 CPUs.