Multi-Task Instruction Pre-Training (MIP, 5% tokens).
T5 [1]} and ExT5 [2]} suggest that multi-task learning in pre-training can be more helpful than fine-tuning, we thus propose to include a variety of instruction prompted datasets including language understanding, generation, and information extraction in GLM-130B's pre-training.

МІП предусматривает предварительное обучение с множественными задачами (5% маркеров).

T5 [1] и ExT5 [2] предлагают, что обучение с несколькими задачами в предварительном обучении может быть полезнее, чем точная настройка, поэтому мы предлагаем включить различные наборы данных с заданиями на понимание языка, генерацию и извлечение информации в предварительное обучение модели GLM-130B.