Transformer

アテンション

日本語では「注意機構」と呼ばれる。

クエリ：いま見ているトークンに対して、[math]\displaystyle{ W_Q }[/math] をかけてクエリベクトルを得る

キー：系列の各トークンに対して[math]\displaystyle{ W_K }[/math] をかけて、どんなクエリの方向を向くかを表現するキーベクトルを得る

クエリベクトルとキーベクトルの内積を、アテンションの重みと考える

バリュー：系列の各トークンに[math]\displaystyle{ W_V }[/math]をかけてバリューベクトルとする

アテンションの重みによるバリューベクトルの加重和で「アテンション」を得る