Analysis on Difficulty Indices for Japanese Named Entity Task.
Chikashi Nobata, Satoshi Sekine, Jun’ichi Tsujii · Journal of Natural Language Processing · 2003
本論文では, 固有表現抽出の難易度をテストコーパスから評価する指標を提案する. 固有表現抽出システムの性能は客観的な指標によって評価される. しかし, システムの出力に対する評価だけでは, あるコーパスに対する固有表現抽出がどのように難しいのか, どのような情報がそのコーパスに対して固有表現抽出を行なう際に有効なのかを知ることは難しい. 本論文で提案する指標は, 個々のシステムの出力に依存することなく, 複数のコーパスについて統一的に適用できる. 指標の有効性は固有表現抽出システムの性能評価と比較することで検証される. さらに固有表現のクラス間における難易度の比較や, 有用な情報の違いについても議論する.