Generation of Consistent Linguistic Expressions of Pictures
Shigeru Kato, Takehisa Onisawa · Journal of Japan Society for Fuzzy Theory and Intelligent Informatics · 2005
本論文では、任意の順序で並べられた複数の絵情報から一貫性のある言語表現を生成するシステムの構築について述べる。システムへの入力は使用する絵に関する客観情報であり、出力は絵の内容やつながりを説明した言語表現である。本システムは、各絵の内容の推論を行う基本内容説明部、絵と絵とのつながりの関係の推論を行う接続関連説明部、絵全体の言語表現を構成する言語表現構成部からなる。基本内容説明部では、絵に登場するオブジェクトの行動の説明である行動記述の生成を行う。接続関連説明部は絵の間で起こった出来事の説明であるイベント記述の生成、一貫性の判断を行う。言語表現構成部は行動記述とイベント記述を合わせて絵全体の言語表現を構成し出力する。システムの評価を行うためにシミュレーション実験を行う。実験では数名の被験者がシステムを使用してデータの獲得を行う。そしてシミュレーションで出力された言語表現の評価を行っている。