Русский: Модель трансформера — нейросетевая архитектура, изучающая глобальные зависимости во входных данных через механизм внимания (attention mechanism) на основе попарной корреляции. Структура модели состоит из N идентичных модулей кодировщика и декодировщика, включающих компоненты: встраивание входных и выходных данных (Input and Output Embedding), позиционное кодирование (Positional Embedding), механизм многоголового внимания (MHA) и поточечную сеть прямого распространения (Pointwise Feed-Forward Network, FFN). В данном исследовании под классическим трансформером понимается модель, содержащая как кодировщик, так и декодировщик.