The pipeline parallelism divides the model into sequential stages for each parallel group, and to further minimize bubbles introduced by pipeline, we leverage the PipeDream-Flush [1]} implementation from DeepSpeed [2]} to train GLM-130B with a relative big global batch size (4,224) to reduce time and GPU memory wasting.
Through both numerical and empirical examinations, we adopt 4-way tensor parallelism and 8-way pipeline parallelism, reaching 135 TFLOP/s per GPU (40G)
(Cf. Appendix REF  for details).

Система конвейерной параллельности разделяет модель на последовательные этапы для каждой параллельной группы, и чтобы дополнительно минимизировать время простоя, внедряем реализацию PipeDream-Flush [1] из DeepSpeed [2] для обучения модели GLM-130B с относительно большим глобальным размером пакета (4 224) для сокращения времени и использования памяти GPU.

После проведения как численного, так и эмпирического анализа мы применяем четырехступенчатую тензорную параллельность и восьмиступенчатую конвейерную параллельность, достигая 135 трлл/с на GPU (40G)

(См. Приложение REF для подробностей).