During finetuning, we follow SUPERB's setup [1]} to freeze the parameters of the SSL models. Instead of extracting representations from the last hidden layer, we weighted-sum the embeddings from all layers as the final representation \(\mathbf {F}\)  similar to ELMo [2]}.
\(\mathbf {F} = \sum _{i=0}^{K-1} w_i \mathbf {F_i}\) 

Во время настройки параметров, мы следуем настройке SUPERB [1], чтобы заморозить параметры SSL моделей. Вместо извлечения представлений из последнего скрытого слоя, мы взвешиваем сумму векторных представлений со всех слоев как окончательное представление \(\mathbf {F}\), аналогично ELMo [2].

\(\mathbf {F} = \sum _{i=0}^{K-1} w_i \mathbf {F_i}\)