To address the limitation of Deep Fusion, Sriram et al. [1]} introduced the so-called Cold Fusion strategy for ASR. The mechanism uses a pretrained AuxLM while training the Seq2Seq model. The AuxLM is still kept frozen as in the case of Deep Fusion, however, the parameters of the fusion layer and the Seq2Seq decoder are trained, as it leverages the already learned language representations of AuxLM. For more details see Section REF .

Чтобы преодолеть ограничение Deep Fusion, Срирам at al. предложили тактику под названием Cold Fusion для ASR. В этом механизме используется предварительно обученная вспомогательная модель языковой модели (AuxLM) во время обучения модели Seq2Seq. AuxLM все еще заморожена, как и в случае с Deep Fusion, однако параметры слоя слияния и декодера Seq2Seq обучаются, так как они используют уже изученные языковые представления AuxLM. Дополнительные детали смотрите в разделе REF.