Eine Common Data Model-Datenquelle aktualisieren, um Delta-Tabellen zu verwenden

Aktualisieren Sie eine vorhandene Datenverbindung mit Common Data Model-Tabellen und wechseln Sie zu Tabellen im Delta-Format, ohne eine vorhandene Konfiguration zu entfernen und neu zu erstellen, die von der Datenverbindung abhängt.

Hauptgründe für die Verbindung mit im Delta-Format gespeicherten Daten:

• Importieren Sie Daten im Delta-Format direkt, um Zeit und Aufwand zu sparen.
• Eliminieren Sie die Rechen- und Speicherkosten, die mit der Umwandlung und Speicherung einer Kopie Ihrer Lakehouse-Daten verbunden sind.
• Verbessern Sie automatisch die Zuverlässigkeit der Datenerfassung in Customer Insights - Data, die durch die Delta-Versionsverwaltung bereitgestellt wird.

Delta ist ein Begriff, der mit Delta Lake eingeführt wurde, der Grundlage für die Speicherung von Daten und Tabellen in der Databricks Lakehouse-Plattform. Delta Lake ist eine Open-Source-Speicherebene, die ACID-Transaktionen (Atomarität, Konsistenz, Isolation und Dauerhaftigkeit) in Big-Data-Workloads integriert. Weitere Informationen finden Sie auf der Delta-Lake-Dokumentationsseite.

Anforderungen

• Der Azure Data Lake Storage muss sich im selben Mandanten und in der gleichen Azure-Region befinden wie Customer Insights - Data.

• Der Customer Insights - Data-Dienstprinzipal muss über Berechtigungen als Storage-Blob-Datenmitwirkender haben, um auf das Speicherkonto zugreifen zu können. Weitere Informationen finden Sie unter Gewähren Sie dem Dienstprinzipal Berechtigungen für den Zugriff auf das Speicherkonto.

• Der Benutzende, der die Datenquelle einrichtet oder aktualisiert, benötigt mindestens Berechtigungen eines Storage-Blob-Datenlesers für das Azure Data Lake Storage Konto.

• Daten, die in Online-Diensten gespeichert sind, können an einem anderen Ort gespeichert werden als dort, wo die Daten verarbeitet oder gespeichert werden. Durch den Import von oder die Verbindung zu Daten, die in Onlinediensten gespeichert sind, erklären Sie sich damit einverstanden, dass die Daten übertragen werden können. Weitere Informationen finden Sie im Microsoft Trust Center.

• Die Delta-Tabellen müssen sich in einem Ordner im Speichercontainer befinden und dürfen sich nicht im Container-Stammverzeichnis befinden. Zum Beispiel:

  storageaccountcontainer/
      DeltaDataRoot/
         ADeltaTable/
               _delta_log/
                   0000.json
                   0001.json
               part-0001-snappy.parquet
               part-0002-snappy.parquet
  

• Die Delta-Tabellen und ihr Schema müssen mit den Tabellen in der vorhandenen Common Data Model-Datenquelle übereinstimmen und sich im selben Speichercontainer befinden. Die Tabellen im neuen Datenordner müssen genau mit den ausgewählten Tabellen in der Common Data Model-Datenquelle übereinstimmen. Die Tabellennamen und ihre Schemata müssen genau übereinstimmen. In Delta stimmen die Tabellennamen mit dem Namen des Ordners überein, in dem die Daten gespeichert sind. Deshalb müssen die Ordnernamen genau mit den ausgewählten Tabellen in der Common Data Model-Datenquelle übereinstimmen. Andernfalls ist das Update nicht erfolgreich.

  Wenn es sich bei den ausgewählten Common Data Model-Datenquelltabellen beispielsweise um Tabelle1 und Tabelle2 handelt, muss der Ordner, den Sie für das Update auswählen, in der Hierarchie Tabelle1 und Tabelle2 anzeigen.

  storageaccountroot/
  DeltaDataRoot/
      Table1/
      Table2/
  

Eine Common Data Model-Datentabelle in Delta-Tabellen aktualisieren

1. Wechseln Sie zu Daten>Datenquellen.

2. Wählen Sie die Common Data Model-Datenquelle von Azure Data Lake und dann Auf Delta-Tabellen aktualisieren aus. Oder wählen Sie Aktualisierung beginnen auf der Seite Tabellen hinzufügen aus, wenn Sie die Common Data Model-Datenquelle bearbeiten.

   

3. Wählen Sie Durchsuchen aus, und navigieren Sie zu dem Ordner, der die Daten im Delta-Format enthält und mit der ausgewählten Azure Data Lake-Datenquelltabelle genau übereinstimmt. Wählen Sie ihn aus, und wählen Sie dann Datenquelle aktualisieren aus.

   Die Seite Datenquellen öffnet sich und zeigt die neue Datenquelle im Status Wird aktualisiert an.

   Wichtig

   Stoppen Sie den Aktualisierungsvorgang nicht, da dies negative Auswirkungen auf die Aktualisierung der Datenquelle haben könnte.

   Tipp

   Es gibt Status für Aufgaben und Prozesse. Die meisten Prozesse hängen von anderen Upstream-Prozessen ab, wie z. B. Datenquellen- und Datenprofilerstellungs-Aktualisierungen.

   Wählen Sie den Status aus, um den Bereich Fortschrittsdetails zu öffnen und den Fortschritt der Aufgabe oder des Prozesses anzuzeigen. Um den Auftrag abzubrechen, wählen Sie Auftrag abbrechen am unteren Rand des Bereichs.

   Bei jeder Aufgabe können sie Details anzeigen wählen, um mehr Fortschrittsinformationen zu erhalten, wie Verarbeitungszeit, letztes Verarbeitungsdatum und alle zutreffenden Fehler und Warnungen im Zusammenhang mit der Aufgabe oder dem Prozess. Wählen Sie Systemstatus anzeigen am unteren Rand des Bereichs aus, um andere Prozesse im System anzuzeigen.

Wir empfehlen Ihnen, Ihre Daten weiterhin über Ihre vorhandene Pipeline an den Data Lake Storage-Standort zu streamen und die Manifeste und Schemata beizubehalten, bis Sie feststellen, dass die Aktualisierung erfolgreich war und alles wie erwartet funktioniert.

Machen Sie die Konvertierung von Common Data Model-Tabellen in Delta-Tabellen rückgängig

Wenn Sie versucht haben, eine Common Data Model-Datenquelle von Azure Data Lake in Delta-Tabellen zu konvertieren, und der Vorgang fehlschlägt, führen Sie die folgenden Schritte aus.

Anforderungen

• Ihre Organisation hat die Data Lake Storage-Daten weiterhin über Ihre Pipeline gestreamt.
• Ihre Organisation hat die Data Lake Storage-Manifeste und -Schemas gepflegt.

Die Common Data Model-Datenquelle von Azure Data Lake wiederherstellen

1. Wechseln Sie zu Daten>Datenquellen.

2. Wählen Sie die Common Data Model-Datenquelle von Azure Data Lake und dann Common Data Model-Tabellen wiederherstellen aus.

3. Bestätigen Sie, dass Sie wiederherstellen möchten. Die Seite Datenquellen öffnet sich und zeigt die neue Datenquelle im Status Wird aktualisiert an.

   Wichtig

   Stoppen Sie den Aktualisierungsvorgang nicht, da dies negative Auswirkungen auf die Wiederherstellung der Datenquelle haben könnte.