ProphetNet

Le ProphetNet est une version multilingue, pré-formé sur l'ensemble de données wiki100 xGLUE et affiné sur la tâche de génération de titres d'actualités multilingues xGLUE. Le ProphetNet est un nouveau modèle de langage pré-formé pour l'apprentissage séquence à séquence avec un nouvel objectif auto-supervisé appelé prédiction future n-gramme. Le ProphetNet est capable de prédire davantage de jetons futurs avec un décodeur n-stream. La mise en oeuvre d'origine est la version Fairseq du dépôt github.