Our approach splits the task into two components: a parsing step and a grounding step. The support site is crawled and the how-to instruction steps found are parsed by finetuning a large language model [1]} to generate macros such as tap(), toggle(), home(), etc. When a matching query is uttered by the user, the corresponding macro sequence is executed by grounding each macro in the UI. For this, we use a multi-lingual sentence embedding model [2]} to find the closest matching UI element.

Наш подход разделяет задачу на две составляющие: этап анализа и этап выравнивания. Происходит обход сайта-поддержки и разбор найденных пошаговых инструкций с помощью настройки крупной языковой модели [1], чтобы создать макросы, такие как tap(), toggle(), home(), и т.д. При произнесении пользователем соответствующего запроса соответствующая последовательность макросов выполняется путем выравнивания каждого макроса в пользовательском интерфейсе. Для этого мы используем модель вложения предложений, поддерживающую несколько языков [2], чтобы найти наиболее близкий соответствующий элемент пользовательского интерфейса.