For larger numbers of micro-batches, the bubble percentage will be reduced to an acceptable level. In particular, experiments in GPipe [1]} show that when \(m \ge 4p\) , the total percentage of pipeline bubble time is reduced to a negligible level due to the forward recomputation technique in backpropagation that allows some overlap in computational communication, thus showing that the bubbles introduced in parallel by the pipeline model do not seriously deplete the training efficiency.

Для большего количества микро-пакетов процент пузырей будет снижен до приемлемого уровня. В частности, эксперименты в GPipe показывают, что когда \( m \ge 4p \), общий процент времени пузырей в конвейере снижается до незначительного уровня благодаря технике прямого повторного вычисления в обратном распространении ошибки, что позволяет некоторое перекрытие вычислительной коммуникации, тем самым показывая, что пузыри, внесенные параллельно моделью конвейера, не серьезно ухудшают эффективность тренировки. [1]