Freigeben über

JOIN-Vorgang für Verweisdaten

✅ Azure Stream Analytics ✅ Fabric Eventstream

In einem üblichen Szenario verwenden wir ein Ereignisverarbeitungsmodul, um Streamingdaten mit sehr geringer Latenz zu berechnen. In vielen Fällen müssen Benutzer beibehaltene historische Daten oder ein langsames Dataset (auch als Referenzdaten bezeichnet) mit dem Echtzeitereignisdatenstrom korrelieren, um intelligentere Entscheidungen über das System zu treffen. Nehmen Sie beispielsweise an meinem Ereignisdatenstrom an einem statischen Dataset teil, das IP-Adressen an Speicherorten zuordnet. Dies ist die einzige JOIN-Unterstützung in Stream Analytics, bei der eine zeitliche Grenze nicht erforderlich ist. Referenzdaten können auch verwendet werden, um gerätespezifische Schwellenwerte zu haben.

Beispiel

Wenn ein Nutzfahrzeuge bei der Mautgesellschaft registriert ist, können sie den Mautstand durchlaufen, ohne zur Inspektion angehalten zu werden. Wir werden eine Nachschlagetabelle für Nutzfahrzeuge verwenden, um alle Nutzfahrzeuge mit abgelaufener Zulassung zu identifizieren.

SELECT I1.EntryTime, I1.LicensePlate, I1.TollId, R.RegistrationId  
FROM Input1 I1 TIMESTAMP BY EntryTime  
JOIN Registration R  
ON I1.LicensePlate = R.LicensePlate  
WHERE R.Expired = '1'

Besonderheiten der ReferenzdatenVERKNNUNG

  • Für die Verwendung von Referenzdaten JOIN muss eine Eingabequelle für Referenzdaten definiert werden.
  • Referenzdaten JOIN wird für innerEN JOIN (Standard) und linken äußeren JOIN unterstützt, mit Referenzdaten auf der rechten Seite des JOIN-Operators.
  • Datentypen sind ein wichtiger Aspekt bei der Auswertung des Join-Prädikats (ON Klausel). Ähnliche Werte für verschiedene Datentypen (1.0 und "1") werden möglicherweise nicht übereinstimmen. Explizite Konvertierung von Schlüsseln in einen allgemeinen Typ wird empfohlen.
  • Referenzdaten können statisch (nur einmal geladen) oder dynamisch (regelmäßig aktualisiert) sein. Auch im dynamischen Fall nehmen Referenzdaten keinen Zeitfortschritt vor, sodass der Datenstrom auf der linken Seite neue Ereignisse abrufen muss, um Ausgaben zu erzeugen. Weitere Informationen finden Sie auch im Verlauf der Zeit in Azure Stream Analytics .

Leistungsüberlegungen

Um Leistungsbeeinträchtigungen zu verhindern, sollten Referenzverknödungs-Prädikate (ON Klausel) über einfache SchlüsselgleichheitenON s.myKey = r.myKey () definiert werden. Die Verwendung komplexer Ausdrücke oder Ungleichheiten führt intern zu Kreuzverknuppungen, gefolgt von Filtern (vollständiger Scan und Nachschlagevorgang), was sich auf die gesamtlatenz auswirken kann.

Verschieben Sie diese komplexen Ausdrücke nach Möglichkeit in die WHERE Klausel des Abfrageschritts, oder verknüpfen Sie dieselben Referenzdaten mehrmals mit einfacheren Bedingungen.

Siehe auch

  • Last updated on