For point #REF , attention mechanism introduced in [1]} addresses the shortcomings of a recurrent network and provides an intuitive method to capture the long-range correlations. This obviates the need of using Bi-LSTMs as done in many previous works [2]}, [3]}, which “cheats” by looking into the future and reverses the temporal order.

Для пункта #REF внимательный механизм, представленный в [1], решает недостатки рекуррентной сети и предлагает интуитивный метод для захвата долгосрочных корреляций. Это избавляет от необходимости использовать Bi-LSTM, как это делается во многих предыдущих работах [2], [3], которые "мошенничают", заглядывая в будущее и меняют порядок временных данных.