Inspired by recent works [1]}, [2]}, [3]}, the GLM-130B pre-training objective includes not only the self-supervised GLM autoregressive blank infilling) but also multi-task learning for a small portion of tokens.
This is expected to help boost its downstream zero-shot performance.
<FIGURE>
Вдохновленные последними работами [1], [2], [3], цель предварительного обучения GLM-130B включает не только самонадзорную модель GLM с авторегрессивным заполнением пропусков, но также мультизадачное обучение для небольшой части токенов.

Ожидается, что это поможет улучшить его производительность при нулевом обучении.