In general, which approach to use is application-dependent as there are scenarios where the score-function estimator eq:qmcac-value yields lower-variance than the deterministic policy gradient eq:qmcdpg [1]}, and vice-versa [2]}.
Moreover, both estimators can be combined [3]} but it is unclear whether the interpolation yields any benefit.
In our experiments, we focus on eq:qmcdpg as it is the current state-of-the-art method for continuous control.

В целом, выбор подхода зависит от приложения, так как есть сценарии, где оценщик функции-оценки eq:qmcac-value даёт меньшую дисперсию, чем определенный градиент политики eq:qmcdpg [1]}, и наоборот [2]}.

Более того, оба оценщика могут быть объединены [3]}, но не ясно, дает ли интерполяция какую-либо пользу.

В наших экспериментах мы сфокусируемся на eq:qmcdpg, так как это текущий передовой метод для непрерывного управления.