Freigeben über

Erfassen von Event Hubs-Daten im Delta Lake-Format

  • Artikel

In diesem Artikel wird erläutert, wie Sie den No-Code-Editor zum automatischen Erfassen von Streamingdaten in Event Hubs in einem Azure Data Lake Storage Gen2-Konto im Delta Lake-Format verwenden.

Voraussetzungen

  • Ihre Azure Event Hubs- und Azure Data Lake Storage Gen2-Ressourcen müssen öffentlich zugänglich sein und dürfen sich nicht hinter einer Firewall oder in einem virtuellen Azure-Netzwerk befinden.
  • Die Daten in Ihrer Event Hubs-Instanz müssen entweder im JSON-, CSV- oder Avro-Format serialisiert werden.

Konfigurieren eines Auftrags zum Aufzeichnen von Daten

Verwenden Sie die folgenden Schritte, um einen Stream Analytics-Auftrag zum Aufzeichnen von Daten in Azure Data Lake Storage Gen2 zu konfigurieren.

  1. Navigieren Sie im Azure-Portal zu Ihrem Event Hub.

  2. Wählen Sie Features>Daten verarbeiten aus, und klicken Sie auf der Karte Daten im Delta Lake-Format in ADLS Gen2 erfassen auf Start.
    Screenshot: Startkarten zum Verarbeiten von Event Hubs-Daten.

    Alternativ dazu können Sie auch Features>Erfassen auswählen, unter „Format für die Serialisierung von Ausgabeereignissen“ auf die Option Delta Lake klicken und Datenerfassungskonfiguration starten auswählen. Screenshot: Einstiegspunkt für das Erstellen von Erfassungsdaten

  3. Geben Sie einen Namen zur Identifizierung des Stream Analytics-Auftrags ein. Klicken Sie auf Erstellen.
    Screenshot: Fenster „Neuer Stream Analytics-Auftrag“, in dem der Auftragsname eingegeben wird.

  4. Geben Sie in Event Hubs den Serialisierungstyp Ihrer Daten sowie die Authentifizierungsmethode an, die der Auftrag zum Herstellen einer Verbindung mit Event Hubs verwenden soll. Wählen Sie dann Verbinden aus. Screenshot: Event Hubs-Verbindungskonfiguration.

  5. Wenn die Verbindung erfolgreich eingerichtet worden ist, wird Folgendes angezeigt:

    • Felder, die in den Eingabedaten vorhanden sind. Sie können Feld hinzufügen oder das Symbol mit den drei Punkten neben einem Feld auswählen, um den Namen optional zu entfernen oder zu ändern.
    • Ein Livebeispiel für eingehende Daten in der Tabelle Datenvorschau unter der Diagrammansicht. Es wird regelmäßig aktualisiert. Sie können Streamingvorschau anhalten auswählen, um eine statische Ansicht der Beispieleingabe anzuzeigen.
      Screenshot: Beispieldaten unter der Datenvorschau.

  6. Wählen Sie die Kachel Azure Data Lake Storage Gen2 aus, um die Konfiguration zu bearbeiten.

  7. Führen Sie auf der Seite für die Azure Data Lake Storage Gen2-Konfiguration die folgenden Schritte aus:

    1. Wählen Sie im Dropdownmenü das Abonnement, den Speicherkontonamen und den Container aus.

    2. Wenn das Abonnement ausgewählt wurde, sollten Authentifizierungsmethode und Speicherkontoschlüssel automatisch ausgefüllt werden.

    3. Als Pfad der Deltatabelle geben Sie den Speicherort und den Namen Ihrer in Azure Data Lake Storage Gen2 gespeicherten Delta Lake-Tabelle an. Sie können ein einzelnes Pfadsegment oder mehrere Pfadsegmente verwenden, um den Pfad zur Deltatabelle sowie den Deltatabellennamen zu definieren. Weitere Informationen finden Sie unter Schreiben in eine Delta Lake-Tabelle.

    4. Wählen Sie Verbinden.

      Erster Screenshot, der das Fenster „Blob“ anzeigt, in dem Sie die Verbindungskonfiguration eines Blobs bearbeiten.

  8. Wenn die Verbindung hergestellt wurde, werden die Felder angezeigt, die in den Ausgabedaten vorhanden sind.

  9. Wählen Sie auf der Befehlsleiste Speichern aus, um Ihre Konfiguration zu speichern.

  10. Wählen Sie auf der Befehlsleiste Starten aus, um den Streamingdatenfluss zu starten und Daten zu erfassen. Gehen Sie dann im Aufgabenfenster „Stream Analytics-Auftrag starten“ folgendermaßen vor:

    1. Wählen Sie die Startzeit der Ausgabe aus.
    2. Wählen Sie die Anzahl der Streamingeinheiten (SU) aus, mit denen der Auftrag ausgeführt wird. Streamingeinheiten stellen die Computeressourcen dar, die zum Ausführen eines Stream Analytics-Auftrags zugeordnet werden. Weitere Informationen finden Sie unter Streamingeinheiten in Azure Stream Analytics.
      Screenshot: Fenster „Stream Analytics-Auftrag starten“, in dem Sie die Startzeit der Ausgabe, die Streamingeinheiten und die Fehlerbehandlung festlegen.

  11. Nachdem Sie Starten ausgewählt haben, wird der Auftrag innerhalb von zwei Minuten gestartet, und die Metriken werden unten im Registerkartenabschnitt geöffnet, wie in der nachstehenden Abbildung dargestellt. Screenshot: Metrikdiagramm.

  12. Der neue Auftrag wird auf der Registerkarte Stream Analytics-Aufträge angezeigt. Screenshot: Ausgewählter Link „Metriken öffnen“

Überprüfen der Ausgabe

Vergewissern Sie sich, dass die Parquet-Dateien im Delta Lake-Format im Azure Data Lake Storage-Container generiert werden.

Screenshot der generierten Parquet-Dateien im ADLS-Container (Azure Data Lake Storage).

Nächste Schritte

Jetzt wissen Sie, wie Sie mit dem No-Code-Editor von Stream Analytics einen Auftrag erstellen, der Event Hubs-Daten in Azure Data Lake Storage Gen2 im Delta Lake-Format erfasst. Als Nächstes können Sie mehr über Azure Stream Analytics erfahren und wie Sie den von Ihnen erstellten Auftrag überwachen.