SDS pour l’intégrité et la surveillance des données Insights

Examiner l’intégrité des données

Si SDS for Insights détecte des problèmes avec vos données, sélectionnez Examiner l’intégrité des données.

problèmes rencontrés avec les données.

Data Health vous montre jusqu’aux 14 dernières exécutions ou intégrité des sept derniers jours.

l’intégrité des données.

Si vos données comportent des erreurs, vous pouvez sélectionner le lien « Télécharger le rapport » sur le côté droit de l’écran.

Hiérarchisation des erreurs pour la correction

Lors de la résolution des erreurs, nous vous recommandons de hiérarchiser les erreurs de validation avec la plupart des instances pour le même code d’entité avant de résoudre d’autres erreurs. Les erreurs de validation peuvent entraîner de nombreuses erreurs ultérieures pour chaque instance au sein de la même exécution de données. Souvent, la correction de ces erreurs de validation corrigera plus tard de nombreuses erreurs liées à la liste de présence détectées lors de la validation.

Règles de correspondance et de validation par type de données

Ce tableau présente les règles de correspondance et de validation par type de données et la façon dont les valeurs sont stockées. Ces règles ne s’appliquent pas à la validation du profil de synchronisation SDS et à la gestion des erreurs.

graphique de correspondance et de validation des données.

*Indique que l’enregistrement est unique pour tous les enregistrements. Identificateur global unique, bien qu’il puisse ou non prendre la forme d’un identificateur unique universel (UUID)

** Les zéros non significatifs « 0 » manquants sur la valeur entrante pour Grade Enum, par exemple « 1 », correspondent à l’énumération définie « 01 » et sont stockés en tant que « 01 ». En outre, [] signifie qu’un tableau de plusieurs énumérations peut être accepté sur un seul enregistrement.

** Pour obtenir la liste des énumérations prises en charge , consultez la page de format V2.1

Descriptions des règles & de validation SDS for Insights

Nom de la règle Description de la règle Type de règle Action de règle Exemple de message convivial
Erreur d’application interne
Une erreur inattendue est survenue.
Erreur catastrophique
Arrête l’exécution des données
Une erreur d’application s’est produite lors de la tentative de traitement : {error}
Fichier introuvable
Un fichier obligatoire est introuvable.
Erreur catastrophique
Arrête l’exécution des données
Impossible de trouver {expectedFileName} dans le chemin d’accès : {Path}. Vérifiez le chemin d’accès de {Name} pour vous assurer que {expectedFileName} existe ou que le nom du fichier est {expectedFileName} et réexécutez la synchronisation.
Opération annulée
Un problème s’est produit pendant l’exécution des données qui a nécessité son annulation.
Erreur catastrophique
Arrête l’exécution des données
L’opération a été annulée avec le message : {cancelMessage}
L’en-tête n’existe pas
Pour vous assurer qu’un fichier correctement mis en forme est envoyé pour le traitement qui contient les en-têtes de fichier définis.
Erreur catastrophique
Arrête l’exécution des données
Impossible de trouver {expectedHeaderName} dans {fileName}. Extrait correct pour ajouter ou s’assurer qu’il se lit comme {expectedHeaderName}. Chargez les fichiers corrigés et réexécutez la synchronisation.
Colonne dupliquée dans l’en-tête
Pour vous assurer qu’un fichier correctement mis en forme est envoyé pour le traitement qui contient l’en-tête de fichier défini et non multiple d’un ou plusieurs en-têtes identiques.
Erreur catastrophique
Arrête l’exécution des données
Au moins deux {expectedHeaderName} ont été trouvés dans {fileName}. Corrigez l’extraction, chargez les fichiers corrigés et réexécutez la synchronisation.
Mappage de références croisées introuvable
Vérifie que les données liées sont trouvées dans les données associées fournies (par exemple, organisation manquante pour un utilisateur, section manquante pour les inscriptions).
Erreur de validation
Supprime l’enregistrement de la publication
Un enregistrement {entityType} est introuvable pour {record} [si fichier : dans {fileName}]. Vérifiez que {entityType} sourcedId et {record} sourcedId sont corrects ou mettez à jour les données dans le système source et réexécutez la synchronisation.
Mappage croisé facultatif introuvable
Vérifie que les données liées sont trouvées dans les données associées fournies (par exemple, organisation manquante pour un utilisateur, section manquante pour les inscriptions).
Avertissement de validation
Supprime la valeur de l’enregistrement, envoie l’enregistrement pour publication
La valeur de référence facultative {value} non valide dans le champ {field} pour {entityType} a été trouvée pour {record} et la valeur a été supprimée de l’enregistrement pour poursuivre le traitement. Vérifiez que {entityType} sourcedId et {record} sourcedId sont corrects ou mettez à jour les données dans le système source et réexécutez la synchronisation.
Erreur de format de date et d’heure
Pour vous assurer que les valeurs de données passées ont le format approprié (ISO8601).
Erreur de validation
Supprime l’enregistrement de la publication
Le {record} dans {field} [si le fichier : dans {fileName}] a une date qui n’est pas au format approprié : « AAAA-MM-JJ ».
Données requises manquantes
Pour détecter la valeur manquante dans un champ requis pour un enregistrement.
Erreur de validation
Supprime l’enregistrement de la publication
Une valeur requise pour {record} est manquante dans le nom du champ : {field} [if file: in {fileName}] pour créer l’enregistrement.
Erreur de valeur de format
Pour garantir que les données transmises dans un champ correspondent à la mise en forme définie. Consultez également les règles de correspondance et de validation par type de données.
Erreur de validation
Supprime l’enregistrement de la publication
Le {record} trouvé dans {field} [si le fichier : dans {fileName}] n’a pas de valeur correctement mise en forme pour {field}.
Erreur d’analyse
Pour garantir que pour chaque enregistrement, nous sommes en mesure d’associer les données dans la colonne correcte. Les enregistrements peuvent être marqués en raison de virgules uniques, de retours chariot trouvés ou de guillemets manquants.
Erreur de validation
Supprime l’enregistrement de la publication
Impossible d’analyser [si api : {apiEndpoint}] [si fichier : dans {fileName}] pour rechercher des données dans des colonnes. Assurez-vous que le délimiteur dans le fichier est une virgule unique (,) et que les retours chariot dans les champs ne sont pas autorisés. Les champs contenant des virgules et des guillemets doubles doivent être placés entre guillemets doubles. Si des guillemets doubles sont utilisés pour placer un champ, une guillemet double qui apparaît à l’intérieur du champ doit être échappée en la précédant d’un autre guillemet double.
Contrainte de données unique enfreinte
Pour vous assurer qu’il n’y a pas deux enregistrements ou plus trouvés avec le même ID source (ID SIS, orgSourceId).
Avertissement de validation
Supprime la valeur de l’enregistrement, envoie l’enregistrement pour publication
Il existe au moins deux enregistrements pour {record} [si fichier : dans {fileName}] avec le même sourcedId {entityType}.
Contrainte de longueur de champ maximale enfreinte
Pour vous assurer que les données transmises ne dépassent pas la longueur du champ, les données sont manquantes.
Erreur de validation
Supprime l’enregistrement de la publication
La valeur fournie pour {field} dans {record} dépasse la longueur maximale prise en charge de {length} caractères.
Code de référence non valide ou manquant
Identifie si une valeur de référence [Enum] transmise pour un enregistrement est introuvable pour associer l’enregistrement.
Erreur de validation
Supprime l’enregistrement de la publication
La valeur {refValue} pour {field} dans {record} est introuvable dans {refCodeEntity}. Système source correct.
Valeur obligatoire correspondante des données facultatives manquantes
Pour vous assurer que si un enregistrement transmet une valeur pour les données facultatives que d’autres données associées qui nécessitent désormais qu’une valeur soit également, les données présentes sont également fournies.
Avertissement de validation
Supprime la valeur de l’enregistrement, envoie l’enregistrement pour publication
Une valeur a été fournie dans un champ facultatif pour {record}, mais il manque une valeur correspondante dans le champ associé pour publier correctement les données.
Référence circulaire
Pour vous assurer que si un enregistrement a une association parente, une référence circulaire n’a pas été fournie.
Avertissement de validation
Supprime la valeur de l’enregistrement, envoie l’enregistrement pour publication
{entityType} {entityId} est lié dans une référence circulaire avec {entityType}(s) {entityList}. La valeur de {entityParentIdField} est supprimée de l’enregistrement pour poursuivre le traitement.
Identificateur de mappage d’utilisateur introuvable
Pour vous assurer qu’une valeur existe en fonction des règles de correspondance utilisateur configurées.
Erreur de validation
Supprime l’enregistrement de la publication
L’identificateur de mappage d’utilisateur {identifierType} est introuvable pour l’utilisateur {record}.
Correspondances multiples trouvées avec le mappage d’utilisateurs
Si plusieurs comptes Azure Active Directory correspondent à cet utilisateur, seul le premier compte Azure AD sera utilisé pour la correspondance. Des correspondances supplémentaires seront supprimées.
Erreur de validation
Supprime les enregistrements secondaires de la publication
L’utilisateur {record} avec l’identificateur de mappage {identifierType}={value} a trouvé plusieurs correspondances dans Azure Active Directory. Seule la première correspondance trouvée sera utilisée. Consultez l’ID d’objet Azure Active Directory {AadObjectId}.
Correspondances conflictuelles de mappage d’utilisateur trouvées
Pour empêcher l’association automatisée d’un autre utilisateur à un compte Azure Active Directory existant et mis en correspondance.
Erreur de validation
Supprime l’enregistrement de la publication
L’utilisateur {record} avec l’identificateur de mappage {identifierType}={value} est mis en correspondance avec un ObjectId Azure Active Directory mappé existant {AadObjectId}. La correspondance existante trouvée sera utilisée et cette correspondance sera ignorée.
Erreur de publication générale des données
Lors de l’envoi de l’enregistrement, une erreur a été retournée.
Erreur de validation
Supprime l’enregistrement de la publication
Impossible d’ajouter {record} en raison de {error}. Vérifiez ou mettez à jour le système source pour le corriger.

Champs vers types de données pour tous les formats CSV non-V2/2.1

Ce tableau montre comment la date trouvée dans les différents formats est traitée lors du traitement vers SDS pour Insights concernant l’association de type de données.

graphique d’association de type de données.

*Les données de OneRoster CSV, de l’API PowerSchool et de l’API OneRoster sont converties au format CSV SDS v1 avant le traitement de l’approvisionnement. Le format converti correspond à ce qui est envoyé à SDS pour Insights s’il est activé.

**Si elle n’est pas répertoriée ici, elle est traitée comme une chaîne.

Pour obtenir la liste des énumérations prises en charge pour les matières de niveau et de cours, consultez la page de format V2.1 ( enum prise en charge.

Données qui ne sont pas synchronisées avec SDS pour Insights

Données qui ne sont pas synchronisées avec le graphique SDS for Insights.

*Les données de OneRoster CSV, de l’API PowerSchool et de l’API OneRoster sont converties au format CSV SDS v1 avant le traitement de l’approvisionnement. Le format converti correspond à ce qui est envoyé à SDS pour Insights s’il est activé.

**Données de la section | Les champs de termes sont supprimés en raison d’incohérences dans les implémentations trouvées entre les clients.

Détermination de la sensibilisation aux données et de l’état actif

L’association d’un utilisateur à une session (année scolaire) est basée sur son rôle, lié à une organisation.

L’association d’un utilisateur à une classe est basée sur son rôle lié à une inscription, qui inclut également un lien vers une session.

En fonction des données entrantes, ces règles sont utilisées pour déterminer la connaissance de l’enregistrement et de son état de session dans le magasin de données.

  • Les données sont reflétées lorsqu’un nouvel enregistrement est présenté pour la première fois.

    • SDS pour Insights définit la date (heure) de la première vue et la date de dernière modification (heure) à jour. Le cas échéant, il marque l’enregistrement comme « est actif dans la session » comme étant vrai.
  • Les données sont reflétées lorsque le même enregistrement est présent lors de l’exécution suivante.

    • SDS pour Insights conserve la première valeur de date (heure) vue, définit la date (heure) de la dernière modification sur la date actuelle et conserve la valeur « est actif dans la session » sur true.
  • Les données sont reflétées lorsque le même enregistrement n’est pas présent lors d’une exécution ultérieure.

    • SDS pour Insights conserve les valeurs de date (heure) et de date (heure) modifiées pour la première fois et, le cas échéant, marque l’enregistrement comme « est actif dans la session » sur false.

      • Des exceptions se produisent lorsque les organisations, les personnes (utilisateurs) et les enregistrements de session persistent au fil du temps et ne sont pas désactivés.

      • Il y aura des mises à jour propagées pour « inactivé ». Par exemple, si un enregistrement utilisateur n’est pas présent, le système conserve les valeurs de date (heure) et de date (heure) de la dernière modification. Le système définit « est actif dans la session » sur false pour les enregistrements d’organisation/de rôle et d’inscription des utilisateurs.

Statistiques de données

Page d’accueil

Après chaque exécution des données, les statistiques suivantes sont générées et affichées sur la page d’accueil.

  • | d’intégrité des données État de synchronisation : si des erreurs ou des avertissements sont détectés, vous verrez le nombre total de chaque erreur suivante résultant de la dernière exécution de données.

    • Une erreur signifie qu’un enregistrement n’a pas réussi la validation et que l’intégralité de l’enregistrement a été supprimée avant le traitement, après la validation. Si un enregistrement n’a pas pu être traité après la validation, le nombre inclut également cet enregistrement.
    • Un avertissement signifie qu’une ou plusieurs parties des données de l’enregistrement n’ont pas réussi la validation. Le champ sur lequel les données de l’enregistrement ont été supprimées, mais le reste de l’enregistrement et les données validées restent avant le traitement après validation.

État d’intégrité et de synchronisation des données.

  • | de données institutionnelles Année scolaire :
    • Affiche l’année scolaire actuellement configurée pour le flux entrant. Si SDS est votre système source, vous verrez également la liste des profils de synchronisation SDS liés associés au flux entrant qui lie les données à l’année scolaire affichée.

Données et enregistrements institutionnels.

  • | de données institutionnelles Enregistrements de l’établissement :
    • Affiche le nombre des données actives trouvées et des enregistrements qui ont réussi la validation, pour les catégories suivantes :

      • Organisations : nombre d’organisations qui ont des rôles d’utilisateur actifs associés à l’organisation.
      • Utilisateurs : nombre d’utilisateurs ayant un rôle d’utilisateur actif associé à une organisation. Si un utilisateur a plusieurs associations de rôles à des organisations identiques ou différentes, le nombre peut être représenté pour chaque occurrence où cela est vrai.
      • Classes : nombre de classes qui ont un rôle d’inscription d’utilisateur actif associé à une classe.
      • Inscriptions : nombre d’inscriptions actives qui ont un rôle d’inscription d’utilisateur actif lié aux classes.

données institutionnelles.

  • | de données institutionnelles Nombre total d’utilisateurs correspondant à AAD :
    • Affiche le nombre d’utilisateurs qui ont un rôle actif associé à une organisation et qui ont été mis en correspondance avec Azure AD. La répartition affiche la division entre les rôles d’étudiants, les rôles de personnel et les rôles sans correspondance en fonction des associations de rôles organisationnels. En sélectionnant la barre de répartition de division pour l’un des groupes, elle affiche le nombre correspondant.

données institutionnelles 2.

Intégrité des données

Après chaque exécution des données, les statistiques suivantes sont générées et affichées sur la page d’intégrité des données en fonction de chaque exécution. Pour afficher les statistiques d’exécution associées, vous pouvez développer l’exécution de flux de données souhaitée.

l’intégrité des données.

  • Données sources : affiche le nombre total d’enregistrements trouvés dans les données sources avant la validation avancée. Si vous utilisez SDS comme source (extraction de données à partir de vos profils de synchronisation SDS approvisionnés) et qu’il existe plusieurs profils de synchronisation qui fournissent le même enregistrement, comme le même enregistrement scolaire pour les organisations, le nombre est comptabilisé pour chaque instance trouvée.

    • Organisations : nombre d’organisations trouvées. Les fichiers CSV non-V2 affichent les enregistrements scolaires et les fichiers V2 affichent tous les enregistrements organisationnels.
    • Utilisateurs : nombre d’utilisateurs trouvés.
    • Classes : nombre de classes trouvées.
    • Inscriptions : nombre d’inscriptions trouvées.
  • Données transformées : affiche le nombre total d’enregistrements trouvés après l’exécution de la validation des données pour les statistiques suivantes. Pour connaître les statistiques institutionnelles basées sur les enregistrements qui ont réussi la validation des données et qui sont actifs, consultez ci-dessus pour plus d’informations sous la page d’accueil.

    • Erreurs : Pour tout enregistrement qui n’a pas réussi la validation et l’enregistrement entier a été supprimé avant le traitement après validation. Si, pour une raison quelconque, un enregistrement n’a pas pu être traité après la validation, le nombre inclut également ces enregistrements.
    • Avertissements : Pour tout enregistrement où une ou plusieurs parties des données de l’enregistrement n’ont pas réussi la validation, où le champ qui avait les données de l’enregistrement a été supprimé, mais le reste de l’enregistrement et les données validées sont restés avant le traitement après validation.
    • Utilisateurs mis en correspondance : nombre d’utilisateurs qui ont un rôle actif associé à une organisation et qui ont été mis en correspondance avec Azure AD.
    • Utilisateurs sans correspondance : nombre d’utilisateurs ayant un rôle actif associé à une organisation et une correspondance introuvable pour un utilisateur dans Azure AD.

Format de fichier SDS CSV V2.1

Comment déployer SDS à l’aide de fichiers CSV SDS V2.1