Rapport de validation croisée (Analysis Services - Exploration de données)
La validation croisée vous permet de partitionner une structure d'exploration de données en sections croisées et d'effectuer l'apprentissage et le test des modèles de manière itérative sur chaque section croisée de données. Vous spécifiez plusieurs partitions pour la division des données. Chaque partition est utilisée à son tour comme données de test, tandis que les autres données sont utilisées pour l'apprentissage d'un nouveau modèle. Analysis Services génère ensuite un jeu de mesures de précision standard pour chaque modèle. En comparant les mesures des modèles générés pour chaque section croisée, vous pouvez vous faire une bonne idée de la fiabilité du modèle d'exploration de données pour le jeu de données complet.
[!REMARQUE]
La validation croisée ne peut pas être utilisée avec un modèle qui contient une colonne KEY TIME ou KEY SEQUENCE.
Cette section explique les informations présentées dans le rapport Validation croisée, situé sous l'onglet Graphique d'analyse de précision de l'exploration de données du Concepteur d'exploration de données. Pour plus d'informations sur la création d'un rapport, consultez Onglet Validation croisée (vue Graphique d'analyse de précision de l'exploration de données).
Création d'un rapport de validation croisée
Pour effectuer une validation croisée des modèles d'exploration de données associés à une structure d'exploration de données, vous utilisez soit l'onglet Validation croisée de la vue Graphique d'analyse de précision de l'exploration de données dans le Concepteur d'exploration de données, soit les procédures stockées de validation croisée, pour configurer les options suivantes :
Spécifiez le nombre de replis.
Spécifiez le nombre maximal de cas à utiliser pour la validation croisée. Ce nombre est divisé par le nombre de replis.
Spécifiez la colonne prévisible. Spécifiez, de manière facultative, un état prévisible.
[!REMARQUE]
Si votre structure d'exploration de données contient des modèles de clustering, spécifiez #Cluster au lieu de sélectionner une colonne prévisible. Le rapport retourne uniquement des résultats pour les modèles de clustering.
- Définissez, de manière facultative, les paramètres qui contrôlent la façon dont la précision de prédiction est évaluée.
Choix d'un jeu de données pour la validation croisée
Lorsque vous utilisez l'onglet Validation croisée de la vue Graphique d'analyse de précision de l'exploration de données, il existe deux façons de contrôler le volume et le type des données utilisées pendant la validation croisée : vous pouvez spécifier le nombre de replis et vous pouvez limiter le nombre de cas. Par défaut, la validation croisée dans Business Intelligence Development Studio utilise les cas d'apprentissage pour chaque modèle. Si un filtre est associé au modèle, le filtre est appliqué.
La valeur Nombre de replis spécifie le nombre de sections croisées du jeu de données à créer. Chaque repli est utilisé en tant que jeu de données de test et les données dans autres replis sont utilisées pour l'apprentissage d'un nouveau modèle. Par conséquent, si vous avez utilisé la valeur minimale 2, une moitié du jeu de données est utilisée pour le test et l'autre moitié pour l'apprentissage.
Si la structure d'exploration de données n'est pas stockée dans une instance d'Analysis Services, mais est créée comme structure temporaire ou de session, le nombre maximal de replis que vous pouvez utiliser est égal à 10. Si la structure d'exploration de données est stockée dans une instance d'Analysis Services, vous ne pouvez pas créer plus de replis qu'il n'y a de cas. Si le nombre de cas est inférieur au nombre que vous définissez pour le paramètre Nombre de replis, le nombre moindre est utilisé.
[!REMARQUE]
Lorsque vous augmentez le nombre de replis, le temps nécessaire pour effectuer la validation croisée s'accroît en conséquence, car un modèle doit être généré et testé pour chaque repli. Vous risquez d'être confronté à des problèmes de performances si le nombre de replis est trop élevé.
La valeur Nombre maximal de cas spécifie le nombre total de cas, tous replis confondus, pouvant être utilisés pour la validation croisée. Par conséquent, le nombre de cas dans un repli donné est égal à la valeur Nombre maximal de cas divisée par la valeur Nombre de replis. La valeur par défaut est 0, ce qui signifie que tous les cas de la structure d'exploration de données sont utilisés.
Si vous effectuez une validation croisée à l'aide de l'une des procédures stockées, vous fournissez des valeurs pour les propriétés FoldCount et MaxCases comme paramètres à la procédure stockée.
[!REMARQUE]
Si vous utilisez les procédures stockées de validation croisée, vous pouvez également configurer le paramètre DataSet pour définir le jeu de données utilisé pour le test. Pour le jeu de données, les options possibles sont notamment le jeu d'apprentissage uniquement, le jeu de test et d'apprentissage, ainsi que des combinaisons de jeu d'apprentissage et de test avec des filtres de modèle d'exploration de données. Pour plus d'informations, consultez SystemGetCrossValidationResults (Analysis Services - Exploration de données).
Choix des modèles et colonnes à valider
Lorsque vous utilisez l'onglet Validation croisée du Concepteur d'exploration de données, vous devez en premier lieu sélectionner la colonne prévisible dans une liste. Une structure d'exploration de données peut généralement prendre en charge de nombreux modèles d'exploration de données, qui n'utilisent pas tous la même colonne prévisible. Lorsque vous exécutez la validation croisée, seuls les modèles qui utilisent la même colonne prévisible peuvent être inclus dans le rapport.
Pour choisir un attribut prévisible, cliquez sur Attribut cible et sélectionnez la colonne dans la liste. Si l'attribut cible est une colonne imbriquée, ou une colonne dans une table imbriquée, vous devez taper le nom de la colonne imbriquée sous la forme <Nom de la table imbriquée>(key).<Colonne imbriquée>. Si la seule colonne utilisée de la table imbriquée est la colonne clé, vous pouvez utiliser la forme <Nom de la table imbriquée>(key).
Remarque Si vous utilisez les procédures stockées, vous pouvez contrôler davantage les modèles testés. Pour plus d'informations, consultez SystemGetCrossValidationResults (Analysis Services - Exploration de données).
Une fois que vous avez sélectionné l'attribut prévisible, Analysis Services teste automatiquement tous les modèles qui utilisent le même attribut prévisible.
Si l'attribut cible contient des valeurs discrètes, une fois que vous avez sélectionné la colonne prévisible, vous pouvez taper facultativement un état cible, si vous souhaitez prédire une valeur spécifique.
La sélection de l'état cible affecte les mesures retournées. Si vous spécifiez un attribut cible (c'est-à-dire un nom de colonne) et ne choisissez pas de valeur spécifique que le modèle doit prédire, le modèle sera évalué par défaut sur sa prédiction de l'état le plus probable.
Si vous effectuez la validation croisée d'un modèle de clustering, il n'existe aucune colonne prévisible. Vous sélectionnez à la place #Cluster dans la liste d'attributs prévisibles de la zone de liste Attribut cible. Une fois que vous avez sélectionné Cluster, les autres options qui ne sont pas en rapport avec les modèles de clustering, comme État cible, sont désactivées. Analysis Services testera tous les modèles de clustering associés à la structure d'exploration de données.
Définition du seuil de précision
Vous pouvez contrôler le standard pour mesurer la précision de prédiction en définissant une valeur pour le paramètre Seuil cible. Le seuil représente une sorte de barre de précision. À chaque prédiction est assignée une probabilité d'exactitude de la valeur prédite. Par conséquent, si vous définissez pour Seuil cible une valeur plus proche de 1, la probabilité d'une prédiction donnée doit être relativement élevée pour être comptabilisée en tant que prédiction correcte. Inversement, si vous définissez pour Seuil cible une valeur plus proche de 0, même les prédictions ayant des valeurs de probabilité inférieures sont comptabilisées en tant que prédictions correctes.
Aucune valeur de seuil particulière n'est recommandée, car la probabilité de toute prédiction dépend des données et du type de prédiction que vous faites. Vous devez examiner des prédictions à différents niveaux de probabilité pour déterminer une barre de précision appropriée pour vos données. Cette étape est importante, car la valeur que vous définissez pour Seuil cible a une répercussion importante sur la précision mesurée du modèle.
Par exemple, supposons que votre structure contienne trois modèles qui prédisent l'état cible avec les probabilités 0,05, 0,15 et 0,8. Si vous définissez la valeur 0,5 pour le seuil, une seule prédiction est comptabilisée comme correcte. Si vous définissez la valeur 0,10 pour Seuil cible, deux prédictions sont comptabilisées comme correctes.
Lorsque Seuil cible a la valeur null, qui est la valeur par défaut, l'état le plus probable est utilisé comme cible. Dans l'exemple que nous venons de citer, les trois modèles ont des prédictions correctes. Par conséquent, lorsque vous comparez des modèles, vous devez prendre en compte le seuil utilisé pour chaque instance de validation croisée. Vous pouvez également évaluer les probabilités moyennes pour tous les cas d'un modèle donné en utilisant les mesures de vraisemblance moyenne et d'erreur quadratique moyenne fournies dans le rapport de validation croisée.
Limites lors de l'utilisation de l'onglet Validation croisée
Si vous effectuez une validation croisée à l'aide du rapport de validation croisée de Business Intelligence Development Studio, les modèles que vous pouvez tester et les paramètres que vous pouvez définir sont soumis à certaines limites.
Par défaut, tous les modèles associés à la structure d'exploration de données sélectionnée font l'objet d'une validation croisée. Vous ne pouvez pas spécifier le modèle ou une liste de modèles.
La validation croisée n'est pas prise en charge pour les modèles basés sur l'algorithme MTS (Microsoft Time Series) ou l'algorithme MSC (Microsoft Sequence Clustering).
Le rapport ne peut pas être créé si votre structure d'exploration de données ne contient aucun modèle pouvant être testé par validation croisée.
Si la structure d'exploration de données contient des modèles de clustering et des modèles qui n'en sont pas et que vous ne choisissez pas l'option #Cluster, les résultats des deux types de modèles sont affichés dans le même rapport, bien qu'il se peut que les paramètres d'attribut, d'état et de seuil ne soient pas appropriés aux modèles de clustering.
Les valeurs de certains paramètres sont limitées. Par exemple, un avertissement s'affiche si le nombre de replis est supérieur à 10, car la génération d'autant de modèles peut engendrer un affichage lent du rapport.
Si vous souhaitez spécifier des paramètres avancés, vous devez utiliser les procédures stockées de validation croisée. Pour plus d'informations, consultez Procédures stockées d'exploration de données (Analysis Services - Exploration de données).
Résultats de la validation croisée
Après avoir spécifié les paramètres et cliqué sur Actualiser, les résultats de la validation croisée s'affichent dans la grille de résultats. Cette section décrit le contenu de chaque colonne de la grille de résultats.
Outre certaines informations de base sur le nombre de replis dans les données et le volume de données dans chaque repli, Analysis Services affiche un ensemble de mesures à propos de chaque modèle, classées par type. Le tableau suivant répertorie les tests et mesures, et explique la signification des mesures.
Type de test |
Mesures et descriptions |
|---|---|
Clustering |
Probabilité de casIndication de la probabilité qu'a un cas d'appartenir à un cluster spécifique.
|
Classification |
Vrai positifNombre de cas qui remplissent ces conditions :
Faux positifNombre de cas qui remplissent ces conditions :
Vrai négatifNombre de cas qui remplissent ces conditions :
Faux négatifNombre de cas qui remplissent ces conditions :
|
Classification |
Succès/ÉchecNombre de cas qui remplissent ces conditions :
|
Vraisemblance |
FinesseRapport entre la probabilité de prédiction réelle et la probabilité marginale dans les cas de test, en excluant les lignes avec des valeurs manquantes. Cette mesure indique le degré d'amélioration de la probabilité lorsque le modèle est utilisé.
Erreur quadratique moyenneRacine carrée de l'erreur moyenne pour tous les cas de la partition, divisée par le nombre de cas dans la partition, en excluant les cas avec des valeurs manquantes.
Score du journalLogarithme des valeurs de probabilité réelle pour chaque cas, additionnées, puis divisées par le nombre de lignes dans le jeu de données d'entrée, en excluant les cas avec des valeurs manquantes pour l'attribut cible. Étant donné que la probabilité est représentée comme une fraction, les scores de journal sont toujours des nombres négatifs. Un nombre plus proche de 0 représente une meilleure prédiction.
|
Estimation |
Erreur quadratique moyenneMoyenne d'erreur de la valeur prédite par rapport à la valeur réelle, exprimée sous la forme de la racine carrée de la somme moyenne des erreurs quadratiques.
Erreur d'absolue moyenneSomme des valeurs d'erreur d'absolue pour tous les cas dans la partition, divisée par le nombre de cas, en excluant les lignes avec des valeurs manquantes.
Score du journalLogarithme des valeurs de probabilité réelle pour chaque cas, additionnées, puis divisées par le nombre de lignes dans le jeu de données d'entrée, en excluant les cas avec des valeurs manquantes pour l'attribut cible. Étant donné que la probabilité est représentée comme une fraction, les scores de journal sont toujours des nombres négatifs. Un nombre plus proche de 0 représente une meilleure prédiction.
|
Agrégats Les mesures d'agrégat fournissent une indication de la variation des résultats pour chaque partition. |
MoyenneMoyenne des valeurs de partition pour une mesure donnée.
Écart typeMoyenne de l'écart de la moyenne pour une mesure spécifique, sur toutes les partitions d'un modèle.
|
[!REMARQUE]
Ces mesures de précision sont calculées pour chaque attribut cible, et pour chaque attribut vous pouvez spécifier ou omettre une valeur cible. Certains enregistrements peuvent ne pas avoir de valeur pour l'attribut cible, ce qui est un cas spécial, appelé la valeur manquante. Les lignes qui ont des valeurs manquantes ne sont pas comptées lors du calcul de la mesure de précision pour un attribut cible particulier. Par ailleurs, étant donné que les scores sont calculés individuellement pour chaque attribut, si des valeurs sont présentes pour l'attribut cible mais manquantes pour d'autres attributs, cela n'affecte pas le score pour l'attribut cible.