The transformer with the self-attention mechanism and the positional encoding was proposed for sequentially organized data [1]}, which processes the sequential patterns globally in a parallel manner.
As graph convolutions mainly formulate the local graph properties, inspired by the transformer, we propose a novel graph transformer to formulate the global graph properties with a shortcut connection of the graph convolutions by involving the neighboring patterns.

Трансформатор с механизмом самовнимания и позиционным кодированием был предложен для последовательно упорядоченных данных [1], который обрабатывает последовательные шаблоны глобально и параллельно.

Поскольку графовые свертки в основном формулируют локальные свойства графа, вдохновленные трансформатором, мы предлагаем новый графовый трансформер, который формулирует глобальные свойства графа с помощью прямого соединения графовых сверток с участием соседних шаблонов.