Tutorial: Schreiben in eine Delta-Tabelle, die in Azure Data Lake Storage Gen2 gespeichert ist (Public Preview)

  • Artikel

In diesem Tutorial erfahren Sie, wie Sie einen Stream Analytics-Auftrag zum Schreiben in eine Delta-Tabelle in Azure Data Lake Storage Gen2 erstellen können. In diesem Tutorial lernen Sie Folgendes:

  • Bereitstellen eines Ereignisgenerators, der Beispieldaten an Ihren Event Hub sendet
  • Erstellen eines Stream Analytics-Auftrags
  • Konfigurieren von Azure Data Lake Storage Gen2 mit einer Delta-Tabelle
  • Ausführen des Stream Analytics-Auftrags

Voraussetzungen

Bevor Sie beginnen, führen Sie die folgenden Schritte durch:

Erstellen eines Stream Analytics-Auftrags

  1. Melden Sie sich beim Azure-Portal an.

  2. Wählen Sie im Menü links Alle Dienste aus.

  3. Bewegen Sie den Mauspunkt über Stream Analytics-Aufträge im Abschnitt Analytics- und wählen Sie + (Plus) aus.

    Screenshot that shows the selection of Stream Analytics jobs in the All services page.

  4. Klicken Sie im Azure-Portal links oben auf Ressource erstellen.

  5. Klicken Sie in der Ergebnisliste auf Analytics>Stream Analytics-Auftrag.

  6. Führen Sie auf der Seite Neuer Stream Analytics-Auftrag die folgenden Schritte aus:

    1. Wählen Sie für Abonnement Ihr Azure-Abonnement aus.
    2. Wählen Sie für Ressourcengruppe die gleiche Ressource aus, die Sie bereits bei der Bereitstellung von TollApp verwendet haben.
    3. Geben Sie für Name einen Namen für den Auftrag ein. Der Stream Analytics-Auftragsname darf nur alphanumerische Zeichen, Bindestriche und Unterstriche enthalten und muss zwischen 3 und 63 Zeichen lang sein.
    4. Bestätigen Sie für Hostingumgebung, dass Cloud ausgewählt ist.
    5. Für Streamingeinheiten wählen Sie 1 aus. Streamingeinheiten sind die Computingressourcen, die für die Ausführung eines Auftrags erforderlich sind. Informationen zum Skalieren von Streamingeinheiten finden Sie im Artikel Überblick über Streamingeinheiten und Informationen zu Anpassungen.

    Screenshot that shows the Create Stream Analytics job page.

  7. Wählen Sie am unteren Rand der Seite die Option Bewerten + erstellen aus.

  8. Überprüfen Sie auf der Seite Überprüfen und erstellen die Einstellungen und wählen Sie Erstellen aus, um eine Stream Analytics-Seite zu erstellen.

  9. Wählen Sie auf der Seite für die Bereitstellung die Option Zu Ressource wechseln aus, um zur Seite Stream Analytics-Auftrag zu navigieren.

Konfigurieren einer Auftragseingabe

Im nächsten Schritt wird für den Auftrag eine Eingabequelle zum Lesen von Daten definiert, indem Sie den in der TollApp-Bereitstellung erstellten Event Hub verwenden.

  1. Suchen Sie den im vorherigen Abschnitt erstellten Stream Analytics-Auftrag.

  2. Wählen Sie im Abschnitt Auftragstopologie des Stream Analytics-Auftrags die Option Eingaben aus.

  3. Wählen Sie + Eingabe hinzufügen und Event Hub aus.

    Screenshot that shows the Inputs page.

  4. Füllen Sie das Eingabeformular mit den folgenden Werten aus, die über die TollApp-Azure-Vorlage erstellt wurden:

    1. Geben Sie entrystream als Eingabealias ein.

    2. Wählen Sie Event Hub aus Ihren Abonnements auswählen aus.

    3. Wählen Sie für Abonnement Ihr Azure-Abonnement aus.

    4. Wählen Sie für den Event Hub-Namespace den Event Hub-Namespace aus, den Sie im vorherigen Abschnitt erstellt haben.

    5. Verwenden Sie für die restlichen Einstellungen die Standardoptionen, und klicken Sie auf Speichern.

      Screenshot that shows the selection of the input event hub.

Konfigurieren der Auftragsausgabe

Der nächste Schritt besteht darin, eine Ausgabesenke zu definieren, in die der Auftrag Daten schreiben kann. In diesem Tutorial schreiben Sie die Ausgabe in eine Delta-Tabelle in Azure Data Lake Storage Gen2.

  1. Wählen Sie im Abschnitt Auftragstopologie des Stream Analytics-Auftrags die Option Ausgaben aus.

  2. Wählen Sie + Ausgabe hinzufügen>Blob Storage/ADLS Gen2 aus.

    Screenshot that shows the Outputs page.

  3. Geben Sie folgende Informationen in das Ausgabeformular ein, und wählen Sie Speichern aus:

    1. Geben Sie für Ausgabealias den Text DeltaOutput ein.

    2. Wählen Sie BLOB-Speicher/ADLS Gen2 aus Ihren Abonnements auswählen aus.

    3. Wählen Sie für Abonnement Ihr Azure-Abonnement aus.

    4. Wählen Sie als Speicherkonto das ADLS Gen2-Konto (das Konto, das mit tollappbeginnt), das Sie erstellt haben.

    5. Wählen Sie als ContainerNeu erstellen aus, und geben Sie einen eindeutigen Containernamen an.

    6. Wählen Sie unter Ereignisserialisierungsformat die Option Delta Lake (Vorschau) aus. Obwohl Delta Lake hier als eine der Optionen aufgeführt ist, handelt es sich nicht um ein Datenformat. Delta Lake verwendet versionierte Parquet-Dateien, um Ihre Daten zu speichern. Hier erfahren Sie mehr über Delta Lake.

    7. Als Delta-Tabellenpfad geben Sie tutorial folder/delta table ein.

    8. Verwenden Sie für die restlichen Einstellungen die Standardoptionen, und klicken Sie auf Speichern.

      Screenshot that shows configuration of the output.

Erstellen von Abfragen

An diesem Punkt haben Sie einen Stream Analytics-Auftrag zum Lesen eines eingehenden Datenstroms eingerichtet. Der nächste Schritt besteht darin, eine Abfrage zu erstellen, die die Daten in Echtzeit analysiert. Die Abfragen verwenden eine SQL-ähnliche Sprache, die einige Erweiterungen speziell für Stream Analytics aufweist.

  1. Wählen Sie jetzt Abfrage unter Auftragstopologie im linken Menü aus.

  2. Geben Sie die folgende Abfrage in das Abfragefenster ein. In diesem Beispiel liest die Abfrage die Daten von Event Hubs und kopiert ausgewählte Werte in eine Delta-Tabelle in ADLS Gen2.

     SELECT State, CarModel.Make, TollAmount
 INTO DeltaOutput
 FROM EntryStream TIMESTAMP BY EntryTime

  3. Wählen Sie Abfrage speichern auf der Symbolleiste aus.

    Screenshot that shows query for the job.

Starten des Stream Analytics-Auftrags und Überprüfen der Ausgabe

  1. Kehren Sie zur Übersichtsseite des Auftrags im Azure-Portal zurück, und wählen Sie Starten aus.

    Screenshot that shows the selection of Start job button on the Overview page.

  2. Bestätigen Sie auf der Seite Auftrag starten, dass Jetzt für „Startzeit der Auftragsausgabe“ ausgewählt ist, und wählen Sie dann Starten unten auf der Seite aus.

    Screenshot that shows the selection of Start job page.

  3. Navigieren Sie nach einigen Minuten im Portal zu dem Speicherkonto und dem Container, die Sie als Ausgabe für den Auftrag konfiguriert haben. Sie können jetzt die Delta-Tabelle in dem im Container angegebenen Ordner sehen. Beim ersten Mal dauert es einige Minuten, bis der Auftrag gestartet wird. Nach dem Start wird er weiterhin ausgeführt, während die Daten eingehen.

    Screenshot that shows output data files in the container.

Bereinigen von Ressourcen

Löschen Sie die Ressourcengruppe, den Stream Analytics-Auftrag und alle dazugehörigen Ressourcen, wenn Sie sie nicht mehr benötigen. Durch das Löschen des Auftrags verhindern Sie, dass Kosten für die vom Auftrag verbrauchten Streamingeinheiten anfallen. Wenn Sie den Auftrag in Zukunft verwenden möchten, können Sie ihn beenden und später bei Bedarf neu starten. Wenn Sie diesen Auftrag nicht mehr verwenden möchten, löschen Sie alle Ressourcen, die im Rahmen dieses Tutorials erstellt wurden, mithilfe der folgenden Schritte:

  1. Klicken Sie im Azure-Portal im Menü auf der linken Seite auf Ressourcengruppen und dann auf den Namen der erstellten Ressource.
  2. Klicken Sie auf der Seite mit Ihrer Ressourcengruppe auf Löschen, geben Sie im Textfeld den Namen der zu löschenden Ressource ein, und klicken Sie dann auf Löschen.

Nächste Schritte

In diesem Tutorial haben Sie einen einfachen Stream Analytics-Auftrag erstellt, die eingehenden Daten gefiltert und die Ergebnisse in eine Delta-Tabelle im ADLS Gen2-Konto geschrieben. So erfahren Sie mehr über Stream Analytics-Aufträge

ASA-Schreibvorgänge in die Delta Lake-Ausgabe