Evaluating the Robustness of Discrete Prompts
Yoichi Ishibashi · Journal of Natural Language Processing · 2023
本解説記事では EACL2023 に採択された著者ら 1 の論文 "Evaluating the Robustness of Discrete Prompts" (Ishibashi et al. 2023) について紹介する．本研究では人間が作成したプロンプトと自 動学習されたプロンプトについて頑健性の観点で比較・分析を行い，自動プロンプトが探索で 得られたトークンやその位置に対し強く依存していることを明らかにした． 2 背景 事前学習済み言語モデル (PLM) は感情分析 (Gao et al. 2021)，自然言語推論 (Schick and Schütze 2021, 2022)，関係抽出 (Shin et al. 2020) など，あらゆる自然言語処理タスクで大きな 成功を収めている．これには答えを誘導する適切な指示文(プロンプト)が重要な役割を果た しており，現代の自然言語処理において重要なトピックとなっている．一般に，プロンプトは 人間によって書かれるが，優れたプロンプトを作成することはいくつかの理由から容易ではな い．まず，特定のドメイン(例： 医療)