The state-action value function is given by [1]}, [2]}
\(Q^{\pi }(s_t,\ell )=r(s_t,\ell )+\sum _{j \in \mathcal {S}}{p(j|s_t, \ell ) \, {u}^{\pi }_{t+1}(j) },\) 

Функция значения состояния-действия задается следующим образом [1]}, [2]}

\(Q^{\pi }(s_t,\ell )=r(s_t,\ell )+\sum _{j \in \mathcal {S}}{p(j|s_t,\ell ) \, {u}^{\pi }_{t+1}(j) },\)