MPNet

MPNet - это техника предварительного обучения для языковых моделей, которая объединяет концепции маскированного моделирования языка (MLM) и переставленного моделирования языка (PLM). Она учитывает взаимосвязь между словами, которые предсказываются с использованием PLM, тем самым избегая проблемы BERT.