Another problem rooted in Pre-LN transformers is that it may harm the model performance after tuning compared to Post-LN.
This is observed in [1]}.

Другая проблема, связанная с пре-LN трансформаторами, заключается в том, что после настройки может наблюдаться снижение производительности модели по сравнению с пост-LN. Об этом отмечается в [1].