What I have learned from the research of “SHAPE: Shifted Absolute Position Embedding for Transformers”
Shun Kiyono · Journal of Natural Language Processing · 2022
本稿では，EMNLP2021 に採択された論文 "SHAPE: Shifted Absolute Position Embedding for Transformers" (Kiyono et al. 2021) について，研究の概要に触れた後，着想に至った経緯や論文 化できた要因を振り返りたい． 「Transformer の位置表現の改良」という非常に競争的な分野に おいて，論文採択にこぎつけるための原動力となったこれまでの泥臭い取り組みの紹介も合わ せて楽しんでもらえれば幸いである． 研究の概要 本研究では Transformer の外挿能力を題材として，高速かつ汎化性能の高い位置表現手法の 開発に取り組んだ．ここで外挿能力とは，訓練データ中に登場しない未知の長さの系列をモデ ル化する能力のことを指す．単純には，訓練データよりも長い系列をモデルに与えた場合の性 能を通して外挿能力を評価することができる．図 1 に本研究の概要図を示す． 通常， Transformer (Vaswani et al. 2017) では絶対位置表現 (Absolute Position Embedding; APE) が用いられている．絶対位置表現では，系列中の各単語に対して専用の位置ベクトルを 付与し，単語埋め込みとの和を取ることによって位置を表現する．絶対位置表現は，