Linear attention may be a promising direction to solve this issue, which decomposes the self-attention to reduce the computational complexity to linear. Numerous methods have been proposed for attention decomposition, such as approximating the softmax [1]}, [2]}, [3]}, finding a new similarity metric [4]}, [5]}, and so on. However, most of these methods are only verified on NLP tasks, and suffer from a crucial performance drop in computer vision tasks, when compared with conventional softmax attention.

Линейное внимание может быть многообещающим направлением для решения этой проблемы, которое разделяет само-внимание для сокращения вычислительной сложности до линейной. Было предложено много методов для декомпозиции внимания, таких как аппроксимация софтмакс [1], [2], [3], поиск новой метрики сходства [4], [5] и так далее. Однако большинство из этих методов проверены только на задачах NLP и испытывают значительное падение производительности на задачах компьютерного зрения по сравнению с традиционным софтмакс вниманием.