Unlike methods for finetuning from a learned initialization [1]}, [2]}, [3]}, which typically perform online interaction, we consider the setting where we do not use any online interaction and do not require access to a reward function. This resembles the problem setting considered by offline meta-RL methods [4]}, [5]}, [6]}, [7]}, [8]}, however, our approach is much more data-efficient and simple as we simply finetune the very same offline RL algorithm.

В отличие от методов настройки с использованием обученной инициализации[1], [2], [3], которые обычно выполняют онлайн-взаимодействие, мы рассматриваем ситуацию, в которой мы не используем онлайн-взаимодействие и не требуем доступа к функции вознаграждения. Это напоминает проблему, рассмотренную в методах мета-RL в автономном режиме[4], [5], [6], [7], [8], однако наш подход гораздо более эффективен по использованию данных и прост, поскольку мы просто настраиваем ту же самую алгоритм глубокого обучения с подкреплением в автономном режиме.