Unimodal and multimodal model fusion has been explored extensively in the context of ASR [1]}, [2]}, Neural Machine Translation (NMT) [3]}, and hierarchical story generation [4]}. However, to the best of our knowledge, there has been no similar works for visual captioning. In this section, we review these fusion methods and relate them to our goal of achieving image caption generation and emendation by using additional language models, i.e., AuxLMs.

Фьюжн моделей с унимодальными и мультимодальными данными широко изучалась в контексте ASR[1], [2], Neural Machine Translation (NMT)[3] и иерархической генерации рассказов[4]. Однако, по нашим наилучшим знаниям, нет аналогичных работ в области визуального описания. В этом разделе мы рассмотрим эти методы фьюжна и свяжем их с нашей целью достижения генерации и коррекции описаний изображений путём использования дополнительных языковых моделей, то есть AuxLMs.