thuml

/

sundial-base-128m

like 78

Follow

THUML @ Tsinghua University 148

作者您好！看到文章中讲到所有实验均在32个NVIDIA A100 上进行。这里的实验指的是预训练吗，大概训练的多久呀？
现在的模型的大小有128M，属于较小的模型，是不是说预训练的硬件资源的最低需求可能并没有那么多呢?
谢谢