There is no closed form to implement the KL divergence by the definition of (REF ) and (REF ) for Gaussian Mixture Models. Instead, we resort to the Monte Carlo simulation method proposed in [1]}. Then, the KL divergence can be caculated by:
\(D_{KL_{MC}}(p||q) =\frac{1}{n} \sum _{i=1}^{n} log(\frac{p(x_i)}{q(x_i)})\) 
\(D_{KL_{MC}}(q||p) =\frac{1}{n} \sum _{i=1}^{n} log(\frac{q(y_i)}{p(y_i)})\) 

Для вычисления расстояния Кульбака-Лейблера для смесей гауссовых моделей (Gaussian Mixture Models) нет аналитической формулы в соответствии с определениями (REF) и (REF). Вместо этого мы используем метод Монте-Карло-симуляции, предложенный в [1]. Тогда расстояние Кульбака-Лейблера может быть вычислено следующим образом:

\(D_{KL_{MC}}(p||q) =\frac{1}{n} \sum _{i=1}^{n} log(\frac{p(x_i)}{q(x_i)})\) 

\(D_{KL_{MC}}(q||p) =\frac{1}{n} \sum _{i=1}^{n} log(\frac{q(y_i)}{p(y_i)})\)