In recent work, [1]} used the idea of “pessimism in the constraints” to ensure zero constraint violation for a constrained RL problem. We generalize this idea to the policy gradient setting and present a modification of the PMD-PD algorithm, which we call the PMD-PD-Zero Algorithm, to ensure zero cumulative constraint violation. To guarantee this, we require the knowledge of the parameter \(\xi \)  in Assumption REF .

В последней работе [1] использовалась идея "пессимизма в ограничениях", чтобы обеспечить отсутствие нарушений ограничений для проблемы ограниченного обучения с подкреплением. Мы обобщаем эту идею на случай политики градиентного спуска и представляем модификацию алгоритма PMD-PD, которую мы называем алгоритмом PMD-PD-Zero, для обеспечения отсутствия нарушений кумулятивных ограничений. Для гарантии этого нам требуется знание параметра \(\xi\) в Предположении REF.