In Equation REF , \(\eta \)  is the trust coefficient. In case of Stochastic Gradient Descent, a term known as weight decay[1]} can be used. Equation for calculating local learning rate can also be extended to balance the learning rate with weight decay according to Equation REF .
\( \lambda ^{l} = \eta * \frac{||w^l||}{||\nabla {L(w^l)}|| + \beta * ||w^l||}   \qquad \mathrm {(3)}\) 

В уравнении REF, \(\eta\) представляет собой коэффициент доверия. В случае стохастического градиентного спуска может использоваться термин, известный как уменьшение веса[1]. Уравнение для расчета локальной скорости обучения также может быть расширено для сбалансирования скорости обучения с уменьшением веса в соответствии с уравнением REF.



\(\lambda ^{l} = \eta * \frac{||w^l||}{||\nabla {L(w^l)}|| + \beta * ||w^l||}   \qquad \mathrm {(3)}\)