Policy Learning.
We use soft actor-critic (SAC) [1]}, which trains the critic network \(Q_{\psi }\)  using the Bellman backup operator and trains a stochastic policy \(\pi _{\phi }\)  as the actor with entropy regularization by minimizing the expected KL-divergence:
\(\begin{aligned}\mathcal {L}(\phi ) = \mathbb {E}_{s\sim \mathbb {D}_m} [D_{KL}(\pi _{\phi }(\cdot |s) || \exp (Q_{\psi }^{\pi _{\phi }} - V^{\pi _{\phi }}))].\end{aligned}\) 

Обучение политики.

Мы используем мягкого актора-критика (SAC) [1], который обучает сеть критика \(Q_{\psi}\) с помощью оператора резервирования Беллмана и обучает стохастическую политику \(\pi_{\phi}\) в качестве актора с регуляризацией энтропии путем минимизации ожидаемой KL-дивергенции:

\(\begin{aligned}\mathcal{L}(\phi) = \mathbb{E}_{s\sim \mathbb{D}_m} [D_{KL}(\pi_{\phi}(\cdot |s) \|\| \exp(Q_{\psi}^{\pi_{\phi}} - V^{\pi_{\phi}}))].\end{aligned}\)