Conceptually, the blank infilling objective with bidirectional attention enables a more effective comprehension of contexts than GPT-style models:
when using [MASK], GLM-130B behaves as BERT [1]} and T5 [2]};
when using [gMASK], GLM-130B behaves similarly to PrefixLM [3]}, [4]}.

Концептуально, цель заполнения пустоты с двунаправленным вниманием позволяет более эффективно понимать контексты, чем модели в стиле GPT:

при использовании [MASK], GLM-130B ведет себя как BERT [1] и T5 [2];

при использовании [gMASK], GLM-130B ведет себя также, как PrefixLM [3], [4].