Consider gradients in the parameter and latent spaces: \(\nabla _{\mathbf {\theta }^{sh}} {\mathcal {L}}^t, \nabla _{\mathbf {z}} {\mathcal {L}}^t\) . To
obtain minimization direction \(\mathbf {d}_{sh}\)  or \(\mathbf {d}_z\)  one can use
PCGrad [1]}, or EDM [2]}, or MGDA [3]}, [4]}.

Рассмотрим градиенты в пространствах параметров и скрытых переменных: \(\nabla _{\mathbf {\theta }^{sh}} {\mathcal {L}}^t, \nabla _{\mathbf {z}} {\mathcal {L}}^t\). Для получения направления минимизации \(\mathbf {d}_{sh}\) или \(\mathbf {d}_z\) можно использовать алгоритмы PCGrad [1], EDM [2], MGDA [3], [4].