GLM as Backbone.
Most recent 100B-scale LLMs, such as GPT-3, PaLM, OPT, and BLOOM, follow the traditional GPT-style [1]} architecture of decoder-only autoregressive language modeling. In GLM-130B, we instead make an attempt to explore the potential of a bidirectional GLM—General Language Model [2]}—as its backbone.

GLM в качестве основы.

Самые последние LLM-модели масштабом 100B, такие как GPT-3, PaLM, OPT и BLOOM, следуют традиционной архитектуре декодирования только авторегрессивного моделирования языка GPT-стиля [1]. Вместо этого, в модели GLM-130B мы попытались исследовать потенциал модели GLM — общей модели языка [2], — в качестве ее основы.