We use pre-trained word embeddings that were not updated during training to help the model generalise to words not appearing in the training set [1]}.
For this purpose, we used the freely available 300-dimensional cased word embeddings trained on 840 billion tokens from the Common Crawl supplied by pennington2014glove.
For words not present in the pre-trained word embeddings, we use the embedding of the “unk” token.

Мы используем заранее обученные векторные представления слов, которые не обновлялись во время обучения модели, чтобы помочь модели обобщать слова, которые не встречались в тренировочном наборе [1]}.

В этом случае мы использовали бесплатные 300-мерные векторные представления слов с учетом регистра, обученные на 840 миллиардах токенов из проекта Common Crawl, предоставленные pennington2014glove.

Для слов, которых нет в заранее обученных векторных представлениях, мы используем векторное представление токена "unk".