LEGAL-BERT

Le LEGAL-BERT est une famille de modèles BERT pour le domaine juridique, destinés à aider la recherche juridique en PNL, le droit informatique et les applications de technologie juridique. Pour pré-former les différentes variantes de LEGAL-BERT, ils ont collecté 12 Go de textes juridiques anglais divers provenant de plusieurs domaines (par exemple, la législation, les affaires judiciaires, les contrats) extraits de ressources accessibles au public. Les variantes de sous-domaines (CONTRACTS-, EURLEX-, ECHR-) et/ou LEGAL-BERT général fonctionnent mieux que l'utilisation de BERT prête à l'emploi pour des tâches spécifiques à un domaine. Un modèle léger (33% de la taille de BERT-BASE) pré-formé à partir de zéro sur des données juridiques avec des performances compétitives est également disponible.