GLM-130B is trained on a cluster of 96 DGX-A100 GPU (8\(\times \) 40G) servers with a 60-day access.
The goal is to pass through as many tokens as possible, as a recent study [1]} suggests that most existing LLMs are largely under-trained.

GLM-130B обучается на кластере из 96 серверов DGX-A100 GPU (8 × 40G) с доступом на 60 дней.

Цель состоит в том, чтобы проходить через максимальное количество токенов, так как недавнее исследование [1] показывает, что большинство существующих LLM недостаточно обучены.