Layer Normalization (LN, [1]}).
Training instability is one major challenge for training LLMs [2]}, [3]}, [4]} (Cf. Figure  REF  in Appendix for collapses in training several 100B-scale models).
A proper choice of LNs can help stabilize the training of LLMs. We experiment with existing practices, e.g., Pre-LN [5]}, Post-LN [1]}, Sandwich-LN [7]}, which are unfortunately incapable of stabilizing our GLM-130B test runs (Cf. Figure REF  (a) and Appendix REF  for details).

Нормализация слоев (LN, [1]).

Нестабильность обучения является одной из основных проблем обучения LLMs [2], [3], [4] (см. рисунок REF в приложении для обрушений при обучении нескольких моделей масштаба 100B).

Правильный выбор LNs может помочь стабилизировать обучение LLMs. Мы экспериментируем с существующими практиками, такими как Pre-LN [5], Post-LN [1], Sandwich-LN [7], которые, к сожалению, не способны стабилизировать наши GLM-130B тестовые запуски (см. рисунок REF (a) и приложение REF для подробностей).