
This type of deterministic policy gradient estimator [1]} is common in recent state-of-the-art actor-critic methods (e.g., [2]}, [3]}, [4]}), notably because it enables off-policy learning which drastically improves sample efficiency.
We detail and provide an implementation of soft actor-critic (SAC; [4]}) with RQMC in the Supp. Material.

Этот тип оценщика детерминированного градиента политики был широко использован в последних передовых методах актор-критик (например, [2], [3], [4]), прежде всего, потому что он позволяет обучаться вне политики, что существенно улучшает эффективность использования выборки. Мы подробно рассмотрим и представим реализацию метода Soft Actor-Critic (SAC) с использованием системы RQMC в дополнительных материалах.