Enforcing 2D Locality Bias
The locality bias has been discussed in language tasks [1]}, [2]}, [3]} with 1D sequence distance encoding.
In vision transformers, the embedding sequence is flattened from a 2D mask, hence it is essential to consider token positions in 2D before flattening.
To enforce the locality bias in linear transformers, we need a kernel function that can 1) put more weight on neighbouring patches and 2) can be decomposed with Eq. (REF ).

Применение предпочтения локальности в двухмерном пространстве

Предпочтение локальности обсуждалось в языковых задачах [1]}, [2]}, [3]} с кодированием расстояния в 1D последовательности.

В видеовращающихся трансформерах вложенная последовательность обрабатывается из маски 2D, поэтому перед сглаживанием необходимо учитывать позиции токенов в 2D.

Для применения предпочтения локальности в линейных трансформерах нам нужна ядерная функция, которая может: 1) придать больший вес соседним патчам и 2) разложиться с помощью уравнения (REF).