For cross-window information interaction, existing works [1]}, [2]}, [3]} suggest to apply halo or shifted window to enlarge the receptive filed. However, the elements within each Transformer block still has limited attention area and requires stacking more blocks to achieve large receptive filed. In our network, the local attention is building in multi-scale input features. Thus, we don't need to stack more attention layers for cross-window connection or larger receptive filed.

Для взаимодействия информации между окнами, существующие работы [1]}, [2]}, [3]} предлагают применять гало или сдвинутое окно для увеличения восприимчивой области. Однако, элементы внутри каждого блока трансформера все еще имеют ограниченную область внимания и требуют стекинга большего числа блоков для достижения большой восприимчивой области. В нашей сети локальное внимание встроено в многошкальные входные признаки. Таким образом, нам не нужно стекать больше слоев внимания для кросс-оконного соединения или более широкой восприимчивой области.