Recently, a number of papers have shown that representation learning frameworks based on masked image modeling (MIM) can obtain high-quality representations [1]}, [2]}, [3]}, [4]}, often with very high masking ratios (e.g. \(75\%\) ) [1]}. Inspired by NLP, these methods mask some patches at the input, and the pre-training task is to reconstruct the original image by predicting these masked patches. After pre-training, task-specific heads can be added to the encoder to perform linear probe or fine-tuning.

В последнее время было показано, что обучение представлений на основе моделирования маскированных изображений (MIM) может дать высококачественные представления, часто с очень высоким коэффициентом маскировки (например, 75%) [1], [2], [3], [4]. Эти методы, вдохновленные обработкой естественного языка (NLP), маскируют некоторые патчи на входе, и предобучение состоит в восстановлении исходного изображения путем предсказания этих маскированных патчей. После предобучения можно добавить задачевые головы к энкодеру, чтобы выполнять линейное исследование или тонкую настройку.