In information theory, this score is related to the informativeness of a message: the lower its entropy, the higher its informativeness [1]}. Moreover, subordinate terms tend to have higher amounts of informativeness than superordinate ones. We computed the entropy of each word in the pair (Entr1,2), plus the difference between entropies (DiffEntr).

В теории информации этот показатель связан с информативностью сообщения: чем ниже его энтропия, тем выше его информативность [1]. Кроме того, подчиненные термины обычно имеют большую информативность, чем главные. Мы вычислили энтропию каждого слова в паре (Entr1,2), а также разницу между энтропиями (DiffEntr).