The training stability is the decisive factor in GLM-130B's quality, which is also largely impacted by the number of tokens it passes through [1]}.
Thus, given the computing usage constraint, there has to be a trade-off between efficiency and stability with regard to floating-point (FP) formats:
low-precision FP formats (e.g., 16-bit precision—FP16) improve computing efficiency but are prone to overflow and underflow errors, resulting in training collapses.

Стабильность обучения является решающим фактором качества GLM-130B и в значительной степени зависит от количества токенов, через которые оно проходит [1].

Таким образом, при ограничении использования вычислительных ресурсов необходимо найти баланс между эффективностью и стабильностью в отношении форматов чисел с плавающей запятой (FP):

низкопрецизионные форматы с плавающей запятой (например, 16-битная точность - FP16) повышают эффективность вычислений, но склонны к ошибкам переполнения и недостаточного представления чисел, что может привести к срыву обучения.