MMLU [1]} is a diverse benchmark including 57 multi-choice question answering tasks concerning human knowledge ranging from high-school-level to expert-level.
It is released after the crawling of Pile and serves as an ideal test-bed for LLMs' few-shot learning.
The GPT-3 result is adopted from MMLU and BLOOM-176B is tested by using the same prompts as GLM-130B's
(Cf. Appendix REF  and Table REF  for details).

MMLU [1] - это разнообразный бенчмарк, включающий 57 задач по множественному выбору, касающихся человеческих знаний на разных уровнях - от школьного до экспертного.

Он выпущен после просмотра Pile и служит идеальной площадкой для тестирования LLM на обучении с небольшим числом примеров.

Результаты GPT-3 взяты из MMLU, а BLOOM-176B тестируется, используя те же подсказки, что и GLM-130B

(См. Приложение REF и Таблицу REF для деталей).