Partager via


Guide pratique pour choisir un algorithme ML.NET

Pour chaque tâche ML.NET, il existe plusieurs algorithmes d’entraînement possibles. Le choix de l’algorithme dépend du problème que vous essayez de résoudre, des caractéristiques de vos données ainsi que des ressources de calcul et de stockage à votre disposition. Il est important de savoir que l’entraînement d’un modèle Machine Learning est un processus itératif. Vous devrez peut-être essayer plusieurs algorithmes avant de trouver celui qui marche le mieux.

Les algorithmes fonctionnent avec des caractéristiques. Les caractéristiques sont des valeurs numériques calculées à partir de vos données d’entrée. Elles constituent des entrées optimales pour les algorithmes de machine learning. Vous transformez vos données d’entrée brutes en caractéristiques par le biais d’une ou de plusieurs transformations de données. Par exemple, les données texte sont transformées en un certain nombre de mots et de combinaisons de mots. Une fois que les caractéristiques ont été extraites d’un type de données brutes à l’aide de transformations de données, elles sont dites caractérisées. Par exemple, du texte caractérisé ou des données image caractérisées.

Entraîneur = algorithme + tâche

Un algorithme est une opération mathématique qui s’exécute pour produire un modèle. Différents algorithmes produisent des modèles avec des caractéristiques différentes.

Avec ML.NET, il est possible d’appliquer le même algorithme à différentes tâches. Par exemple, l’algorithme SDCA (Stochastic Dual Coordinated Ascent) peut être utilisé pour la classification binaire, la classification multiclasse et la régression. Le changement se trouve dans l’interprétation de la sortie de l’algorithme par rapport à la tâche.

Pour chaque combinaison algorithme/tâche, ML.NET fournit un composant qui exécute l’algorithme d’entraînement et fait l’interprétation. Ces composants sont appelés des « entraîneurs ». Par exemple, SdcaRegressionTrainer utilise l’algorithme StochasticDualCoordinatedAscent appliqué à la tâche de régression.

Algorithmes linéaires

Les algorithmes linéaires produisent un modèle qui calcule des scores à partir d’une combinaison linéaire des données d’entrée et d’un ensemble de pondérations. Les pondérations sont des paramètres du modèle qui sont évalués au moment de l’entraînement.

Les algorithmes linéaires fonctionnent bien avec des caractéristiques séparables de façon linéaire.

Préalablement à l’entraînement avec un algorithme linéaire, les caractéristiques doivent être normalisées. Ceci évite qu’une caractéristique ait plus d’influence que les autres sur le résultat.

En général, les algorithmes linéaires sont scalables, rapides, et peu coûteux pour l’entraînement et la prédiction. Ils s’adaptent selon le nombre de caractéristiques et approximativement selon la taille du jeu de données d’entraînement.

Les algorithmes linéaires font plusieurs passages sur les données d’entraînement. Si votre jeu de données tient en mémoire, l’ajout d’un point de contrôle du cache à votre pipeline ML.NET avant d’ajouter l’entraîneur va rendre l’exécution de l’entraînement plus rapide.

Averaged perceptron

Idéal pour la classification des textes.

Formateur Tâche Exportable vers ONNX
AveragedPerceptronTrainer Classification binaire Oui

Stochastic Dual coordinated ascent

Une optimisation n’est pas nécessaire pour obtenir de bonnes performances par défaut.

Formateur Tâche Exportable vers ONNX
SdcaLogisticRegressionBinaryTrainer Classification binaire Oui
SdcaNonCalibratedBinaryTrainer Classification binaire Oui
SdcaMaximumEntropyMulticlassTrainer Classification multiclasse Oui
SdcaNonCalibratedMulticlassTrainer Classification multiclasse Oui
SdcaRegressionTrainer régression ; Oui

L-BFGS

À utiliser quand il y a beaucoup de caractéristiques. Produit des statistiques sur l’entraînement par régression logistique, mais est moins scalable que l’algorithme AveragedPerceptronTrainer.

Formateur Tâche Exportable vers ONNX
LbfgsLogisticRegressionBinaryTrainer Classification binaire Oui
LbfgsMaximumEntropyMulticlassTrainer Classification multiclasse Oui
LbfgsPoissonRegressionTrainer régression ; Oui

Symbolic stochastic gradient descent

Entraîneur de classification binaire linéaire le plus rapide et le plus précis. S’adapte bien au nombre de processeurs.

Formateur Tâche Exportable vers ONNX
SymbolicSgdLogisticRegressionBinaryTrainer Classification binaire Oui

Descente de gradient en ligne

Implémente la descente de gradient stochastique standard (pas par lots), avec un choix de fonctions de perte et une option permettant de mettre à jour le vecteur de pondération en utilisant la moyenne des vecteurs observés au fil du temps.

Formateur Tâche Exportable vers ONNX
OnlineGradientDescentTrainer régression ; Oui

Algorithmes d’arbre de décision

Les algorithmes d’arbre de décision créent un modèle qui contient une série de décisions : en réalité, c’est un organigramme de valeurs de données.

Les caractéristiques n’ont pas besoin d’être séparables de façon linéaire pour utiliser ce type d’algorithme. Elles n’ont pas non plus besoin d’être normalisées, car chaque valeur dans le vecteur de caractéristiques est utilisée indépendamment dans le processus de décision.

Les algorithmes d’arbre de décision sont généralement très précis.

À l’exception des modèles additifs généralisés, les modèles d’arbre sont parfois moins explicables quand le nombre de caractéristiques est élevé.

Les algorithmes d’arbre de décision consomment davantage de ressources et ne s’adaptent pas aussi bien que les algorithmes linéaires. Ils donnent de bons résultats sur les jeux de données tenant en mémoire.

Les arbres de décision boostés sont un ensemble de petits arbres où chaque arbre évalue les données d’entrée, puis passe le score à l’arbre suivant pour produire un meilleur score, et ainsi de suite. Chaque arbre de l’ensemble représente une amélioration par rapport à l’arbre précédent.

Light gradient boosted machine

Entraîneur d’arbre de classification binaire le plus rapide et le plus précis. Très optimisable.

Formateur Tâche Exportable vers ONNX
LightGbmBinaryTrainer Classification binaire Oui
LightGbmMulticlassTrainer Classification multiclasse Oui
LightGbmRegressionTrainer régression ; Oui
LightGbmRankingTrainer Classement Non

Fast tree

À utiliser pour les données d’image caractérisées. Résilient aux données non équilibrées. Très optimisable.

Formateur Tâche Exportable vers ONNX
FastTreeBinaryTrainer Classification binaire Oui
FastTreeRegressionTrainer régression ; Oui
FastTreeTweedieTrainer régression ; Oui
FastTreeRankingTrainer Classement Non

Fast forest

Fonctionne bien avec les données où du bruit est présent.

Formateur Tâche Exportable vers ONNX
FastForestBinaryTrainer Classification binaire Oui
FastForestRegressionTrainer régression ; Oui

GAM (modèle additif généralisé)

Idéal pour les problèmes où les algorithmes à base d’arborescence donnent de bons résultats, mais pour lesquels l’explicabilité est une priorité.

Formateur Tâche Exportable vers ONNX
GamBinaryTrainer Classification binaire Non
GamRegressionTrainer régression ; Non

Factorisation de matrice

Factorisation de matrice

Utilisé pour le filtrage collaboratif dans la recommandation.

Formateur Tâche Exportable vers ONNX
MatrixFactorizationTrainer Recommandation Non

Machines de factorisation prenant en charge les champs

Idéal pour les données catégorielles éparses, avec de grands ensembles de données.

Formateur Tâche Exportable vers ONNX
FieldAwareFactorizationMachineTrainer Classification binaire Non

Méta-algorithmes

Ces entraîneurs créent un entraîneur multiclasse à partir d’un entraîneur binaire. À utiliser avec AveragedPerceptronTrainer, LbfgsLogisticRegressionBinaryTrainer, SymbolicSgdLogisticRegressionBinaryTrainer, LightGbmBinaryTrainer, FastTreeBinaryTrainer, FastForestBinaryTrainer, GamBinaryTrainer.

One versus all

Ce classifieur multiclasse entraîne un seul classifieur binaire par classe, ce qui distingue cette classe de toutes les autres classes. Adaptation limitée par le nombre de classes à catégoriser.

Formateur Tâche Exportable vers ONNX
OneVersusAllTrainer Classification multiclasse Oui

Pairwise coupling

Ce classifieur multiclasse entraîne un algorithme de classification binaire sur chaque paire de classes. Adaptation limitée selon le nombre de classes, du fait que chaque combinaison de deux classes doit être entraînée.

Formateur Tâche Exportable vers ONNX
PairwiseCouplingTrainer Classification multiclasse Non

K-Means

Utilisé pour le clustering.

Formateur Tâche Exportable vers ONNX
KMeansTrainer Clustering Oui

Principal Component Analysis (PCA)

Utilisé pour la détection d’anomalie.

Formateur Tâche Exportable vers ONNX
RandomizedPcaTrainer Détection des anomalies Non

Naive Bayes

Utilisez cet algorithme de classification multiclasse quand les caractéristiques sont indépendantes et que l’ensemble de données d’entraînement est de petite taille.

Formateur Tâche Exportable vers ONNX
NaiveBayesMulticlassTrainer Classification multiclasse Oui

Prior Trainer

Utilisez cet algorithme de classification binaire pour évaluer les performances d’autres entraîneurs. Pour être efficace, les métriques des autres entraîneurs doivent être meilleures que l’entraîneur précédent.

Formateur Tâche Exportable vers ONNX
PriorTrainer Classification binaire Oui

Machines à vecteurs de support

Les SVM (Support Vector Machine) sont une classe extrêmement répandue et bien documentée de modèles d’apprentissage supervisé, qui peuvent être utilisés pour les tâches de classification linéaires et non linéaires.

Les études récentes se sont concentrées sur des moyens d'optimiser ces modèles pour les adapter de manière efficace à des jeux d'apprentissage plus volumineux.

SVM linéaire

Prédit une cible en utilisant un modèle de classification binaire linéaire entraîné sur des données booléennes étiquetées. Alterne entre les étapes de descente de gradient stochastique et les étapes de projection.

Formateur Tâche Exportable vers ONNX
LinearSvmTrainer Classification binaire Oui

SVM profonde locale

Prédit une cible en utilisant un modèle de classification binaire non linéaire. Réduit le coût du temps de prédiction ; le coût de prédiction augmente de façon logarithmique avec la taille du jeu d’entraînement et non pas linéairement, avec une perte tolérable de justesse de la classification.

Formateur Tâche Exportable vers ONNX
LdSvmTrainer Classification binaire Oui

Moindres carrés ordinaire

La méthode des moindres carrés ordinaire (OLS) est une des techniques les plus couramment utilisées en matière de régression linéaire.

La méthode des moindres carrés ordinaires fait référence à la fonction de perte, qui quantifie une erreur en calculant la somme du carré de l’écart entre la valeur réelle et la ligne prédite, puis ajuste le modèle en réduisant au minimum l’erreur quadratique. Cette méthode suppose une forte relation linéaire entre les entrées et la variable dépendante.

Formateur Tâche Exportable vers ONNX
OlsTrainer régression ; Oui