After the annotation is completed, we run the Bradley-Terry [1]} aggregation from the Crowd-Kit [2]} library for Python to obtain a ranked list of keyword sets for each image description. The final evaluation metric used in the genetic algorithm to produce the new candidate sets is the average rank of a keyword set (as described in Section ). We use 60 image descriptions for optimization (10 from each category) and 12 for the validation of the optimization results.

После завершения аннотации, мы запускаем агрегацию Bradley-Terry из библиотеки Crowd-Kit для Python, чтобы получить ранжированный список наборов ключевых слов для каждого описания изображения. Финальная метрика оценки, используемая в генетическом алгоритме для создания новых наборов ключевых слов, - это средний ранг набора ключевых слов (как описано в разделе ). Мы используем 60 описаний изображений для оптимизации (по 10 из каждой категории) и 12 для проверки результатов оптимизации.