Recent years have witnessed great successes of Reinforcement Learning (RL) in many complex decision-making tasks, such as robotics ,  and chess games , .
Among RL methods, a wide range of works in model-free RL , , , ,  have shown very promising performance.
However, model-free methods can be impractical for real-world scenarios [1]} since massive samples from the real environment are required to train, resulting in low sample efficiency.

Последние годы стали свидетелями больших успехов Обучения с подкреплением (Reinforcement Learning, RL) во многих сложных задачах принятия решений, таких как робототехника и шахматные игры.

Среди методов RL широкий ряд работ в области модельно-независимого RL показали очень перспективные результаты.

Однако модельно-независимые методы могут быть неудобными для реальных сценариев [1], так как требуются массовые выборки из реальной среды для тренировки, что приводит к низкой эффективности выборки.