Optimisation Technique: Since (REF ) is differentiable with respect to the elements of \(C^{K_{\theta }}\) , updating \(\theta \)  based on Equation (REF ) can be done via the chain rule. In our case, we use a technique similar to DDPG [1]}. We specifically design a critic that estimates Equation (REF ) and backpropagate gradients from Equation (REF ) through the critic.

Техника оптимизации: Поскольку (REF ) является дифференцируемым по отношению к элементам \(C^{K_{\theta }}\), обновление \(\theta\) на основе уравнения (REF ) может быть осуществлено с использованием правила цепи. В нашем случае мы используем технику, аналогичную DDPG [1]. Мы специально разрабатываем критика, который оценивает уравнение (REF ) и обратно распространяем градиенты от уравнения (REF ) через критика.