OPT-175B attempted to fix by manually skipping data and adjusting hyper-parameters; BLOOM-176B did so via the embedding norm technique [1]}. We spend months to empirically investigate the spikes and realize that a few issues emerge when transformers scale up:

OPT-175B пыталась решить эту проблему при помощи ручного пропуска данных и настройки гиперпараметров; BLOOM-176B сделала это с помощью техники нормализации вложений [1]. Мы потратили месяцы на эмпирическое исследование скачков и поняли, что возникают несколько проблем при масштабировании трансформаторов: