These quantization and dequantization processes are non-differentiable, so we utilize a straight-through estimator (STE) [1]} for backpropagation. STE approximates the gradient \(\frac{d\bar{w}}{d{w}}\)  by 1. Therefore, we can approximate gradients \(\mathcal {L}\) , \(\frac{d\mathcal {L}}{d{w}}\) , with \(\frac{d\mathcal {L}}{d\bar{w}}\) .
\(\frac{d\mathcal {L}}{d{w}} = \frac{d\mathcal {L}}{d\bar{w}}\frac{d\bar{w}}{d{w}} \approx \frac{d\mathcal {L}}{d\bar{w}}.\) 

Эти процессы квантования и деквантования являются недифференцируемыми, поэтому мы используем оценщик прямого прохода (STE) [1] для обратного распространения ошибки. STE приближает градиент \(\frac{d\bar{w}}{d{w}}\) равным 1. Таким образом, мы можем приближенно вычислить градиенты \(\mathcal {L}\), \(\frac{d\mathcal {L}}{d{w}}\) с помощью \(\frac{d\mathcal {L}}{d\bar{w}}\).



\(\frac{d\mathcal {L}}{d{w}} = \frac{d\mathcal {L}}{d\bar{w}}\frac{d\bar{w}}{d{w}} \approx \frac{d\mathcal {L}}{d\bar{w}}.\)