Aide-mémoire
Apprentissage de la représentation des mots
Pour apprendre les vecteurs de mots, procédez comme suit :
| $ ./fasttext skipgram -input data.txt -output model |
Obtention de vecteurs de mots
Afficher les vecteurs de mots d'un fichier texte queries.txt contenant des mots :
| $ ./fasttext print-word-vectors model.bin < queries.txt |
Classification de texte
Pour entraîner un classificateur de texte, procédez comme suit :
| $ ./fasttext supervised -input train.txt -output model |
Une fois le modèle formé, vous pouvez l'évaluer en calculant la précision et le rappel à k (P@k et R@k) sur un ensemble de test en utilisant :
| $ ./fasttext test model.bin test.txt 1 |
Afin d'obtenir les k étiquettes les plus probables pour un morceau de texte, utilisez :
| $ ./fasttext predict model.bin test.txt k |
Afin d'obtenir les k étiquettes les plus probables et leurs probabilités associées pour un morceau de texte, utilisez :
| $ ./fasttext predict-prob model.bin test.txt k |
Si vous souhaitez calculer des représentations vectorielles de phrases ou de paragraphes, veuillez utiliser :
| $ ./fasttext print-sentence-vectors model.bin < text.txt |
Quantification
Pour créer un fichier .ftz avec une empreinte mémoire réduite, procédez comme suit :
| $ ./fasttext quantize -output model |
Toutes les autres commandes telles que test fonctionnent également avec ce modèle
| $ ./fasttext test model.ftz test.txt |
Autotune
Activez l'optimisation des hyperparamètres avec le paramètre -autotune-validation :
| $ ./fasttext supervised -input train.txt -output model -autotune-validation valid.txt |
Définir le délai d'expiration (en secondes) :
| $ ./fasttext supervised -input train.txt -output model -autotune-validation valid.txt -autotune-duration 600 |
Limiter la taille finale du modèle :
| $ ./fasttext supervised -input train.txt -output model -autotune-validation valid.txt -autotune-modelsize 2M |