The idea of using attention in neural networks is first introduced by [1]}, which utilizes a context vector to align the source and target inputs in neural machine translation. The context vector preserves all representations of input tokens, while the current output token will attend to a certain part of the input sequence during the decoding process. The attention mechanism has achieved great success in computer vision [2]}, [3]}, natural language [4]}, [5]}, and time-series [6]} domains.

Идея использования внимания в нейронных сетях впервые была представлена в работе [1]. В нейронной машинной трансляции она использует вектор контекста, чтобы выровнять исходную и целевую последовательности. Вектор контекста сохраняет все представления входных токенов, в то время как текущий выходной токен сосредотачивается на определенной части входной последовательности в процессе декодирования. Механизм внимания достиг большого успеха в областях компьютерного зрения [2], [3], естественного языка [4], [5] и временных рядов [6].