Freigeben über

Verfügbarkeit von Eventhouse OneLake

  • Artikel

Sie können eine logische Kopie der KQL-Datenbankdaten in einem Eventhouse erstellen, indem Sie die OneLake-Verfügbarkeit aktivieren. Die Aktivierung der OneLake-Verfügbarkeit bedeutet, dass Sie die Daten in Ihrer KQL-Datenbank im Delta Lake-Format über andere Fabric-Engines wie den Direct Lake-Modus in Power BI, Warehouse, Lakehouse, Notebooks usw. abfragen können.

Delta Lake ist ein einheitliches Data Lake-Tabellenformat, das einen nahtlosen Datenzugriff über alle Compute Engines in Microsoft Fabric ermöglicht. Weitere Informationen zu Delta Lake finden Sie unter Was ist Delta Lake?.

In diesem Artikel erfahren Sie, wie Sie die Verfügbarkeit von KQL-Datenbankdaten in OneLake aktivieren.

Funktionsweise

Sie können OneLake-Verfügbarkeit auf Datenbank- oder Tabellenebene aktivieren. Wenn sie auf Datenbankebene aktiviert sind, werden alle neuen Tabellen und ihre Daten in OneLake verfügbar gemacht. Wenn Sie das Feature aktivieren, können Sie diese Option auch auf vorhandene Tabellen anwenden, indem Sie die Option "Auf vorhandene Tabellen anwenden" auswählen. Das Aktivieren auf Tabellenebene macht nur diese Tabelle und die zugehörigen Daten in OneLake verfügbar. Die Datenaufbewahrungsrichtlinie Ihrer KQL-Datenbank wird auch auf die Daten in OneLake angewendet. Daten, die am Ende des Aufbewahrungszeitraums aus Ihrer KQL-Datenbank entfernt werden, werden auch aus OneLake entfernt. Wenn Sie die OneLake-Verfügbarkeit deaktivieren, werden Daten vorläufig aus OneLake gelöscht.

Während OneLake-Verfügbarkeit aktiviert ist, können Sie die folgenden Aufgaben nicht ausführen:

  • Umbenennen von Tabellen
  • Ändern von Tabellenschemas
  • Anwenden von Sicherheit auf Zeilenebene auf Tabellen
  • Daten können nicht gelöscht, abgeschnitten oder bereinigt werden.

Wenn Sie eine dieser Aufgaben ausführen müssen, führen Sie die folgenden Schritte aus:

Wichtig

Wenn Sie OneLake-Verfügbarkeit deaktivieren, werden Ihre Daten vorläufig aus OneLake gelöscht. Wenn Sie die Verfügbarkeit wieder aktivieren, werden nur neue Daten in OneLake ohne Rückfüllung der gelöschten Daten verfügbar gemacht.

  1. Deaktivieren Sie die Verfügbarkeit von OneLake.

  2. Führen Sie die gewünschte Aufgabe aus.

  3. Aktivieren Sie die OneLake-Verfügbarkeit.

Wichtig

Weitere Informationen zur Zeit, die für die Datenanzeige in OneLake benötigt werden, finden Sie unter adaptives Verhalten.

Für die Verfügbarkeit von OneLake fallen keine zusätzlichen Speicherkosten an. Weitere Informationen finden Sie unter Ressourcenverbrauch.

Voraussetzungen

Aktivieren der OneLake-Verfügbarkeit

Sie können die Verfügbarkeit von OneLake entweder auf KQL-Datenbank- oder auf Tabellenebene aktivieren.

  1. Um OneLake-Verfügbarkeit zu aktivieren, navigieren Sie zum Abschnitt OneLake im Detailbereich Ihrer KQL-Datenbank oder -Tabelle.

  2. Legen Sie Verfügbarkeit auf Ein fest.

    Screenshot des OneLake-Abschnitts des Bereichs

  3. Die Datenbank wird automatisch aktualisiert.

    Screenshot der Details des OneLake-Abschnitts in Echtzeitintelligenz, sobald die Verfügbarkeit auf „Ein“ festgelegt ist. Die Option zum Verfügbarmachen von Daten für OneLake ist aktiviert.

Sie haben die OneLake-Verfügbarkeit in Ihrer KQL-Datenbank aktiviert. Sie können jetzt auf alle neuen Daten zugreifen, die Ihrer Datenbank im angegebenen OneLake-Pfad im Delta Lake-Format hinzugefügt wurden. Sie können außerdem eine OneLake-Verknüpfung aus einem Lakehouse oder Data Warehouse erstellen oder die Daten direkt über den Power BI Direct Lake-Modus abfragen.

Adaptives Verhalten

Eventhouse verfügt über einen stabilen Mechanismus, der eingehende Streams intelligent mittels Batchverarbeitung in eine oder mehrere für die Analyse strukturierte Parquet-Dateien überführt. Die Batchverarbeitung von Streams ist wichtig beim Umgang mit nach und nach eingehenden Daten. Das Schreiben vieler kleiner Parquet-Dateien in den Lake kann ineffizient sein, was höhere Kosten und eine schlechte Leistung zur Folge hat.

Der adaptive Mechanismus von Eventhouse kann Schreibvorgänge verzögern, wenn nicht genügend Daten vorhanden sind, um optimale Parquet-Dateien zu erstellen. Dadurch wird sichergestellt, dass Parquet-Dateien eine optimale Größe haben und den bewährten Methoden für Delta Lake entsprechen. Der adaptive Mechanismus von Eventhouse stellt sicher, dass die Parquet-Dateien für die Analyse gerüstet sind, und stimmt die Notwendigkeit einer zeitnahen Datenverfügbarkeit mit Kosten- und Leistungsüberlegungen ab.

Hinweis

  • Standardmäßig kann der Schreibvorgang bis zu 3 Stunden dauern oder bis Dateien mit ausreichender Größe (in der Regel 200-256 MB) erstellt werden.
  • Sie können die Verzögerung auf einen Wert zwischen 5 Minuten und 3 Stunden anpassen.

Verwenden Sie beispielsweise den folgenden Befehl, um die Verzögerung auf 5 Minuten festzulegen:

.alter-merge table <TableName> policy mirroring dataformat=parquet with (IsEnabled=true, TargetLatencyInMinutes=5);

Vorsicht

Das Anpassen der Verzögerung auf einen kürzeren Zeitraum kann zu einer suboptimalen Delta-Tabelle mit einer großen Anzahl kleiner Dateien führen, was zu einer ineffizienten Abfrageleistung führen kann. Die in OneLake resultierende Tabelle ist schreibgeschützt und kann einmal erstellt nicht mehr optimiert werden.

Sie können überwachen, wie lange es her ist, dass neue Daten in den Lake hinzugefügt wurden, indem Sie die Datenlatenz mit dem Befehl .show table mirroring operations überprüfen.

Die Ergebnisse werden ab dem letzten Hinzufügen von Daten gemessen. Wenn sich eine Latenz von 00:00:00 ergibt, sind alle Daten in der KQL-Datenbank in OneLake verfügbar.

Dateien anzeigen

Wenn Sie die OneLake-Verfügbarkeit für eine Tabelle aktivieren, wird ein Delta-Protokollordner zusammen mit allen entsprechenden JSON- und Parquet-Dateien erstellt. Sie können die Dateien, die in OneLake verfügbar gemacht wurden, und ihre Eigenschaften anzeigen, während Sie sich weiterhin in der Real-Time Intelligence befinden.

  • Um die Dateien anzuzeigen, zeigen Sie im Explorer-Bereich auf eine Tabelle, und wählen Sie dann das Menü „Mehr“ [...]>Dateien anzeigen aus.

    Screenshot des Explorer-Fensters, das das Dropdown-Menü Weitere einer Tabelle zeigt.

  • Um die Eigenschaften des Delta-Protokoll-Ordners oder der einzelnen Dateien anzuzeigen, bewegen Sie den Mauszeiger über den Ordner oder die Datei und wählen Sie dann das Menü "Weitere" [...]>Eigenschaften aus.

  • So zeigen Sie die Dateien im Delta-Protokoll-Ordner an:

    1. Wählen Sie den Ordner _delta_log aus.
    2. Wählen Sie eine Datei aus, um die Metadaten und das Schema der Tabelle anzuzeigen. Der Editor, der geöffnet wird, ist im schreibgeschützten Format.

Zugriffsspiegelungsrichtlinie

Beim Einschalten der OneLake-Verfügbarkeit wird standardmäßig eine Spiegelungsrichtlinie aktiviert. Sie können die Richtlinie zum Überwachen der Datenlatenz nutzen oder zum Partitionieren von Deltatabellen ändern.

Hinweis

Wenn Sie die OneLake-Verfügbarkeit ausschalten, wird die Eigenschaft IsEnabled der Spiegelungsrichtlinie auf false (IsEnabled=false) gesetzt.

Partitionieren von Delta-Tabellen

Sie können Ihre Delta-Tabellen partitionieren, um die Abfragegeschwindigkeit zu verbessern. Informationen dazu, wann Ihre OneLake-Dateien partitioniert werden sollten, finden Sie unter Gründe für die Partitionierung von Tabellen. Jede Partition wird anhand des in der Partitionsliste aufgeführten PartitionName als separate Spalte dargestellt. Dies bedeutet, dass Ihre OneLake-Kopie mehr Spalten hat als die Quelltabelle.

Verwenden zum Partitionieren Ihrer Delta-Tabellen den Befehl .alter-merge table policy mirroring.

Zugehöriger Inhalt