The pre-training data includes 1.2T Pile [1]} English corpus, 1.0T Chinese WudaoCorpora [2]}, and 250G Chinese corpora (including online forums, encyclopedia, and QA) we crawl from the web, which form a balanced composition of English and Chinese contents.

Предварительные данные включают 1,2T Pile [1] английского корпуса, 1,0T китайского корпуса WudaoCorpora [2] и 250G китайских корпусов (включая онлайн-форумы, энциклопедии и вопросы-ответы), полученных с веб-страниц. Эти данные образуют сбалансированный состав английского и китайского контента.