Mettre à jour une source de données Common Data Model pour utiliser les tables Delta
Mettez à jour une connexion de données existante avec les tables Common Data Model et passez aux tables au format Delta sans supprimer ni recréer une configuration existante qui dépend de la connexion de données.
Principales raisons de se connecter aux données stockées au format Delta :
- Importez directement des données au format Delta pour gagner du temps et des efforts.
- Éliminez les coûts de calcul et de stockage associés à la transformation et au stockage d’une copie de vos données Lakehouse.
- Améliorez automatiquement la fiabilité de l’ingestion de données dans Customer Insights - Data fournie par le contrôle de version Delta.
Delta est un terme introduit avec Delta Lake, la base de stockage des données et des tables dans la plateforme Databricks Lakehouse. Delta Lake désigne une couche de stockage open source qui apporte des transactions ACID (atomicité, cohérence, isolation et durabilité) aux charges de travail Big Data. Pour plus d’informations, consultez la page de documentation Delta Lake.
Conditions préalables
Le Azure Data Lake Storage doit se trouver dans le même locataire et la même région Azure que Customer Insights - Data.
Le principal de service Customer Insights - Data doit avoir les autorisations du collaborateur Storage Blob Data pour accéder au compte de stockage. Pour plus d’informations, voir Accorder des autorisations au principal du service pour accéder au compte de stockage.
L’utilisateur qui configure ou met à jour la source de données a besoin du minimum d’autorisations Lecteur Storage Blob Data sur le compte Azure Data Lake Storage.
Les données stockées dans des services en ligne peuvent être stockées dans un emplacement différent de celui où les données sont traitées ou stockées. En important ou en vous connectant aux données stockées dans des services en ligne, vous acceptez que les données puissent être transférées. En savoir plus dans le Centre de gestion de la confidentialité Microsoft.
Les tables Delta doivent se trouver dans un dossier du conteneur de stockage et ne peuvent pas se trouver dans le répertoire racine du conteneur. Par exemple :
storageaccountcontainer/ DeltaDataRoot/ ADeltaTable/ _delta_log/ 0000.json 0001.json part-0001-snappy.parquet part-0002-snappy.parquet
Les tables Delta et leur schéma doivent correspondre aux tables de la source de données Common Data Model existante et se trouver dans le même conteneur de stockage. Les tables dans le nouveau dossier de données doivent correspondre exactement aux tables sélectionnées dans la source de données Common Data Model. Les noms des tables et leurs schémas doivent correspondre exactement. Dans Delta, les noms des tables sont identiques au nom du dossier dans lequel les données sont stockées. Par conséquent, les noms des dossiers doivent correspondre exactement aux tables sélectionnées dans la source de données Common Data Model. Sinon, la mise à jour échoue.
Par exemple, si les tables de la source de données Common Data Model sélectionnées sont Table1 et Table2, le dossier que vous choisissez pour la mise à jour doit afficher Table1 et Table2 dans la hiérarchie.
storageaccountroot/ DeltaDataRoot/ Table1/ Table2/
Mettre à jour tables Common Data Model pour tables Delta
Accédez à Données>Sources de données.
Sélectionnez la source de données Common Data Model Azure Data Lake, puis sélectionnez Mettre à jour vers les tables Delta. Ou bien, sélectionnez Commencer la mise à jour dans la page Ajouter des tables si vous modifiez la source de données Common Data Model.
Sélectionnez Parcourir et accédez au dossier contenant les données au format Delta et correspondant exactement à la table de la source de données Azure Data Lake sélectionnée. Sélectionnez-le, puis sélectionnez Mettre à jour la source de données.
La page Source de données s’ouvre et affiche la nouvelle source de données avec le statut Actualisation en cours.
Important
N’arrêtez pas le processus d’actualisation, car cela pourrait avoir un impact négatif sur la mise à jour de la source de données.
Astuce
Il existe des statuts pour les tâches et les processus. La plupart des processus dépendent d’autres processus en amont, tels que l’actualisation des sources de données et du profilage des données.
Sélectionnez le statut pour ouvrir le volet Détails de la progression et afficher la progression des tâches. Pour annuler la tâche, sélectionnez Annuler la tâche en bas du volet.
Sous chaque tâche, sélectionnez Afficher les détails pour plus d’informations sur l’avancement, telles que l’heure du traitement, la date du dernier traitement et les erreurs et avertissements applicables associés à la tâche ou au processus. Sélectionnez l’option Afficher le statut du système en bas du volet pour voir les autres processus du système.
Nous vous recommandons de continuer à transmettre vos données vers l’emplacement Data Lake Storage via votre pipeline existant et de maintenir les manifestes et les schémas jusqu’à ce que vous déterminiez que la mise à jour a réussi et que tout fonctionne comme prévu.
Annuler la conversion des tables Common Data Model en tables Delta
Si vous avez essayé de mettre à jour une source de données Common Data Model Azure Data Lake en source de données aux tables Delta et que le processus échoue, effectuez les étapes suivantes.
Conditions préalables
- Votre organisation a continué à transmettre les données Data Lake Storage via votre pipeline.
- Votre organisation a maintenu les manifestes et les schémas Data Lake Storage.
Revenir à la dernière version de la source de données Common Data Model Azure Data Lake
Accédez à Données>Sources de données.
Sélectionnez la source de données Common Data Model Azure Data Lake, puis sélectionnez revenir à la dernière version vers les tables Common Data Model.
Confirmez que vous souhaitez la rétablir. La page Source de données s’ouvre et affiche la nouvelle source de données avec le statut Actualisation en cours.
Important
N’arrêtez pas le processus d’actualisation, car cela pourrait avoir un impact négatif sur le rétablissement de la source de données.