BERT

Le modèle BERT a montré que la recette standard, incluant l'architecture du modèle et l'objectif de formation, est efficace sur une large gamme de tailles de modèles, au-delà de BERT-Base et BERT-Large. Les modèles BERT plus petits sont destinés aux environnements avec des ressources de calcul limitées. Ils peuvent être affinés de la même manière que les modèles BERT d'origine. Cependant, ils sont plus efficaces dans le contexte de la distillation des connaissances, où les étiquettes de mise au point sont produites par un enseignant plus grand et plus précis.

Leur objectif est de permettre la recherche dans des institutions avec moins de ressources informatiques et d'encourager la communauté à rechercher des directions d'innovation alternatives à l'augmentation de la capacité des modèles.