Positional Encoding. Vanilla transformer adopts absolute (or sinuous) position encoding and is later evolved into relative positional encoding [1]}.
Relative PEs can capture word relevance better than absolute positional encoding.
Rotary Positional Embedding (RoPE) [2]} is a relative position encoding implemented in the form of absolute position encoding, and its core idea is shown in the following equation.
\((R_m q)^{\top }(R_n k) = q^{\top } R_m^{\top }R_n k = q^{\top } R_{n-m} k\) 

Позиционное кодирование. Ванильный трансформер использует абсолютное (или синусное) кодирование позиции, а затем превращается в относительное позиционное кодирование [1].

Относительное кодирование позволяет лучше уловить связь между словами по сравнению с абсолютным позиционным кодированием.

Ротационное позиционное вложение (RoPE) [2] представляет собой относительное позиционное кодирование, реализованное в форме абсолютного позиционного кодирования, а его основная идея приведена в следующем уравнении.

\((R_m q)^{\top }(R_n k) = q^{\top } R_m^{\top }R_n k = q^{\top } R_{n-m} k\)