Corpus preparation begins by treating each document as a bag of words. Common function words (prepositions, conjunctions, etc.) were filtered out using the NLTK stopword list for English, and rare words were filtered using a lower bound of 5 occurrences in the corpus. To construct the topic models used in this study, we use Latent Dirichlet Allocation (LDA—[1]}) with priors estimated via Gibbs sampling [2]} as implemented in the InPhO Topic Explorer [3]}.

Подготовка корпуса начинается с обработки каждого документа как набора слов. Часто используемые служебные слова (предлоги, союзы и т. д.) были отфильтрованы с использованием списка стоп-слов для английского языка из библиотеки NLTK, а редкие слова были отфильтрованы с использованием нижней границы в 5 вхождений в корпус. Для построения тематических моделей, использованных в данном исследовании, мы используем скрытое распределение Дирихле (LDA) [1] с оценкой априорных параметров с использованием сэмплирования Гиббса [2], реализованным в InPhO Topic Explorer [3].