Identification of languages with short sample texts
Yukio Nakamura · Library and Information Science · 1971
文字で書いた自然語試料の言語を,一定の論理式によって判定する方法を見出す目的で,文字および単語の出現について定量的な研究を行なった。第Ⅰ部では,まず意味を持った自然語文章中における,文字,文字の組合わせ,単語(これらを特徴と総称する)のふるまいを定量的に論ずるに必要な,出現率,出現間隔等の量を定義し,実例につきそれらの性質を明らかにしたうえ,複数の特徴の組合わせについて出現率および出現間隔を求める方法を導いた。第Ⅱ部では,実際に言語を判定するため,対象をラテン文字を使う25言語(26表記法)に関して判定条件を求める方法と判定式を示した。この言語の中には同一語族に属し表記法も極めて近いために,判定が困難な場合の対策を含めてある。判定条件には肯定的条件と否定的条件とを併用することが必要であり,また合計261種類の特徴を利用した。判定は手操作の場合パターンシートによる一致法を使うのが便利であるが,パターンのもととなる論理式はプログラム化も容易に行なえる。なお付録として確定的ではない判定要素を多数個使う統計的判別法の利用も可能であることを示した。