Filtern und Erfassen in Azure Synapse SQL mit dem No-Code-Editor von Stream Analytics

Artikel
06/01/2023

In diesem Artikel wird beschrieben, wie Sie den No-Code-Editor verwenden können, um unkompliziert einen Stream Analytics-Auftrag zu erstellen. Er liest kontinuierlich aus Ihren Event Hubs-Instanzen, filtert die eingehenden Daten und schreibt dann die Ergebnisse kontinuierlich in eine Synapse SQL-Tabelle.

Voraussetzungen

Ihre Azure Event Hubs-Ressourcen müssen öffentlich zugänglich sein und dürfen sich nicht hinter einer Firewall oder in einem virtuellen Azure-Netzwerk befinden.
Die Daten in Ihrer Event Hubs-Instanz müssen entweder im JSON-, CSV- oder Avro-Format serialisiert werden.

Erstellen eines Stream Analytics-Auftrags zum Filtern und Erfassen von Daten

Befolgen Sie diese Schritte, um einen Stream Analytics-Auftrag für das Filtern und Erfassen von Echtzeitdaten in einer Synapse SQL-Tabelle zu erstellen:

Suchen Sie im Azure-Portal nach der Azure Event Hubs-Instanz, und wählen Sie sie aus.
Wählen Sie Features>Daten verarbeiten und dann auf der Karte Filtern und in Synapse SQL erfassen die Option Starten aus.
Geben Sie einen Namen für den Stream Analytics-Auftrag ein, damit Sie diesen erkennen, und wählen Sie Erstellen aus.
Geben Sie im Fenster „Event Hubs“ den Serialisierungstyp Ihrer Daten sowie die Authentifizierungsmethode an, die der Auftrag zum Herstellen einer Verbindung mit Event Hubs verwendet. Wählen Sie dann Verbinden aus.
Wenn die Verbindung erfolgreich eingerichtet wurde und Datenströme bei der Event Hubs-Instanz eingehen, werden sofort zwei Dinge angezeigt:
- Felder, die in den Eingabedaten vorhanden sind. Sie können Feld hinzufügen oder das Symbol mit den drei Punkten neben einem Feld auswählen, um den Typ zu entfernen, umzubenennen oder zu ändern.
- Ein Livebeispiel für eingehende Daten in der Tabelle Datenvorschau unter der Diagrammansicht. Es wird in regelmäßigen Abständen automatisch aktualisiert. Sie können Streamingvorschau anhalten auswählen, um eine statische Ansicht der Beispieleingabedaten anzuzeigen.
Wählen Sie im Filterbereich ein Feld aus, um die eingehenden Daten mit einer Bedingung zu filtern.
Wählen Sie die Synapse SQL-Tabelle aus, an die die gefilterten Daten gesendet werden sollen:
1. Wählen Sie aus dem Dropdownmenü Abonnement > Datenbank (Name des dedizierten SQL-Pools) > Authentifizierungsmethode aus.
2. Geben Sie den Namen der Tabelle ein, in der die gefilterten Daten erfasst werden. Wählen Sie Verbinden.
Hinweis

Das Tabellenschema muss exakt mit der Anzahl der Felder und deren Typen übereinstimmen, die Ihre Datenvorschau generiert.
Wählen Sie optional Statische Vorschau abrufen/Statische Vorschau aktualisieren aus, um die Datenvorschau anzuzeigen, die in der ausgewählten Synapse SQL-Tabelle erfasst wird.
Wählen Sie Speichern und anschließend Starten aus, um den Stream Analytics-Auftrag zu starten.
Geben Sie Folgendes an, um den Auftrag zu starten:
- Die Anzahl der Streamingeinheiten (SU), mit denen der Auftrag ausgeführt wird. Streamingeinheiten stellen die Menge an Computeressourcen und den Arbeitsspeicher dar, die dem Auftrag zugeordnet sind. Es wird empfohlen, mit drei zu beginnen und die Anzahl dann nach Bedarf anzupassen.
- Die Fehlerbehandlung für Ausgabedaten ermöglicht es Ihnen, das gewünschte Verhalten anzugeben, wenn die Ausgabe eines Auftrags an Ihr Ziel aufgrund von Datenfehlern fehlschlägt. Der Auftrag wird standardmäßig wiederholt, bis der Schreibvorgang erfolgreich ist. Sie können auch festlegen, dass solche Ausgabeereignisse gelöscht werden.
Nachdem Sie Starten ausgewählt haben, wird der Auftrag innerhalb von zwei Minuten gestartet, und die Metriken werden unten im Registerkartenabschnitt geöffnet.

Sie können den Auftrag auch auf der Registerkarte Stream Analytics-Aufträge im Abschnitt „Daten verarbeiten“ anzeigen. Wählen Sie Metriken öffnen aus, um ihn zu überwachen oder bei Bedarf zu beenden und neu zu starten.