Let \(\pi ^*\)  be the optimal policy of the CMDP problem in (REF ). It is well-known that in general the optimal policy \(\pi ^*\)  is randomized and the Bellman equation may not hold [1]}. We assume strict feasibility of (REF ), which naturally implies the existence of the optimal policy.

Пусть \(\pi ^*\) будет оптимальной политикой задачи CMDP в (REF). Известно, что в общем случае оптимальная политика \(\pi ^*\) является случайной, и уравнение Беллмана может не выполняться [1]. Мы предполагаем строгую осуществимость (REF), что естественным образом подразумевает существование оптимальной политики.