Strumienie zdarzeń usługi Microsoft Fabric — omówienie
Funkcja strumieni zdarzeń w środowisku analizy czasu rzeczywistego usługi Microsoft Fabric umożliwia przenoszenie zdarzeń w czasie rzeczywistym do sieci szkieletowej, przekształcanie ich, a następnie kierowanie ich do różnych miejsc docelowych bez konieczności pisania kodu (bez kodu). Tworzysz strumień zdarzeń, który jest wystąpieniem elementu Eventstream w sieci szkieletowej, dodaje źródła danych zdarzeń do strumienia, opcjonalnie dodaje przekształcenia, aby przekształcić dane zdarzenia, a następnie kierować dane do obsługiwanych miejsc docelowych. Ponadto w przypadku punktów końcowych platformy Apache Kafka dostępnych w elemencie Eventstream można wysyłać zdarzenia lub korzystać z nich w czasie rzeczywistym przy użyciu protokołu Kafka.
Wprowadzanie zdarzeń do sieci szkieletowej
Funkcja strumieni zdarzeń udostępnia różne łączniki źródłowe do pobierania danych zdarzeń z różnych źródeł. W momencie tworzenia strumienia zdarzeń dostępnych jest więcej źródeł, jeśli włączysz rozszerzone możliwości.
Ważne
Ulepszone możliwości strumieni zdarzeń sieci Szkieletowej są obecnie dostępne w wersji zapoznawczej.
| Źródła | opis |
|---|---|
| Azure Event Hubs | Jeśli masz centrum zdarzeń platformy Azure, możesz pozyskiwać dane centrum zdarzeń do usługi Microsoft Fabric przy użyciu strumienia zdarzeń. |
| Azure IoT Hub | Jeśli masz centrum Azure IoT, możesz pozyskiwać dane IoT do usługi Microsoft Fabric przy użyciu usługi Eventstream. |
| Przechwytywanie zmian danych w usłudze Azure SQL Database (CDC) | Łącznik źródłowy usługi Azure SQL Database CDC umożliwia przechwycenie migawki bieżących danych w bazie danych Azure SQL Database. Następnie łącznik monitoruje i rejestruje wszelkie przyszłe zmiany na poziomie wiersza w tych danych. |
| CdC bazy danych PostgreSQL | Łącznik źródłowy przechwytywania zmian danych bazy danych PostgreSQL (CDC) umożliwia przechwycenie migawki bieżących danych w bazie danych PostgreSQL. Następnie łącznik monitoruje i rejestruje wszelkie przyszłe zmiany na poziomie wiersza w tych danych. |
| Usługa CDC bazy danych MySQL | Łącznik źródła przechwytywania zmian danych w usłudze Azure MySQL (CDC) umożliwia przechwycenie migawki bieżących danych w bazie danych usługi Azure Database for MySQL. Możesz określić tabele do monitorowania, a strumień zdarzeń rejestruje wszelkie przyszłe zmiany na poziomie wiersza w tabelach. |
| Azure Cosmos DB CDC | Łącznik źródła przechwytywania zmian danych (CDC) usługi Azure Cosmos DB dla strumieni zdarzeń usługi Microsoft Fabric umożliwia przechwycenie migawki bieżących danych w bazie danych usługi Azure Cosmos DB. Następnie łącznik monitoruje i rejestruje wszelkie przyszłe zmiany na poziomie wiersza w tych danych. |
| Program SQL Server w bazie danych maszyny wirtualnej (CDC) | Łącznik źródłowy programu SQL Server w usłudze VM DB (CDC) dla strumieni zdarzeń sieci szkieletowej umożliwia przechwycenie migawki bieżących danych w bazie danych programu SQL Server na maszynie wirtualnej. Następnie łącznik monitoruje i rejestruje wszelkie przyszłe zmiany na poziomie wiersza w danych. |
| Azure SQL Managed Instance CDC | Łącznik źródłowy usługi CdC usługi Azure SQL Managed Instance dla strumieni zdarzeń usługi Microsoft Fabric umożliwia przechwycenie migawki bieżących danych w bazie danych usługi SQL Managed Instance. Następnie łącznik monitoruje i rejestruje wszelkie przyszłe zmiany na poziomie wiersza w tych danych. |
| Google Cloud Pub/Sub | Google Pub/Sub to usługa obsługi komunikatów, która umożliwia publikowanie i subskrybowanie strumieni zdarzeń. Możesz dodać usługę Google Pub/Sub jako źródło do strumienia zdarzeń w celu przechwytywania, przekształcania i kierowania zdarzeń w czasie rzeczywistym do różnych miejsc docelowych w usłudze Fabric. |
| Strumienie danych Amazon Kinesis | Strumienie danych Amazon Kinesis to wysoce skalowalne, wysoce trwałe pozyskiwanie danych i usługa przetwarzania zoptymalizowana pod kątem danych przesyłanych strumieniowo. Integrując strumienie danych Amazon Kinesis jako źródło w strumieniu zdarzeń, można bezproblemowo przetwarzać strumienie danych w czasie rzeczywistym przed kierowaniem ich do wielu miejsc docelowych w sieci szkieletowej. |
| Confluent Cloud Kafka | Confluent Cloud Kafka to platforma przesyłania strumieniowego oferująca zaawansowane funkcje przesyłania strumieniowego i przetwarzania danych przy użyciu platformy Apache Kafka. Integrując platformę Confluent Cloud Kafka jako źródło w strumieniu zdarzeń, można bezproblemowo przetwarzać strumienie danych w czasie rzeczywistym przed kierowaniem ich do wielu miejsc docelowych w sieci szkieletowej. |
| Apache Kafka | Apache Kafka to rozproszona platforma typu open source do tworzenia skalowalnych systemów danych w czasie rzeczywistym. Dzięki zintegrowaniu platformy Apache Kafka jako źródła w strumieniu zdarzeń można bezproblemowo przenieść zdarzenia w czasie rzeczywistym z platformy Apache Kafka i przetworzyć je przed routingiem do wielu miejsc docelowych w usłudze Fabric. |
| Amazon MSK Kafka | Amazon MSK Kafka to w pełni zarządzana usługa platformy Kafka, która upraszcza konfigurowanie, skalowanie i zarządzanie. Dzięki zintegrowaniu platformy Amazon MSK Kafka jako źródła w strumieniu zdarzeń można bezproblemowo przenieść zdarzenia w czasie rzeczywistym z platformy MSK Kafka i przetworzyć je przed routingiem do wielu miejsc docelowych w usłudze Fabric. |
| Zdarzenia usługi Azure Blob Storage | Zdarzenia usługi Azure Blob Storage są wyzwalane, gdy klient tworzy, zastępuje lub usuwa obiekt blob. Łącznik umożliwia łączenie zdarzeń usługi Blob Storage z zdarzeniami sieci szkieletowej w centrum czasu rzeczywistego. Te zdarzenia można przekonwertować na ciągłe strumienie danych i przekształcić je przed kierowaniem ich do różnych miejsc docelowych w sieci szkieletowej. |
| Zdarzenia elementu obszaru roboczego sieci szkieletowej | Zdarzenia elementu obszaru roboczego sieci szkieletowej to odrębne zdarzenia sieci szkieletowej, które występują po wprowadzeniu zmian w obszarze roboczym sieci szkieletowej. Te zmiany obejmują tworzenie, aktualizowanie lub usuwanie elementu sieci szkieletowej. Strumienie zdarzeń sieci szkieletowej umożliwiają przechwytywanie tych zdarzeń obszaru roboczego sieci szkieletowej, przekształcanie ich i kierowanie ich do różnych miejsc docelowych w sieci szkieletowej w celu dalszej analizy. |
| Dane przykładowe | Możesz wybrać pozycję Rowery, Żółta taksówka lub Zdarzenia giełdowe jako przykładowe źródło danych, aby przetestować pozyskiwanie danych podczas konfigurowania strumienia zdarzeń. |
| Niestandardowy punkt końcowy (tj. aplikacja niestandardowa w standardowej możliwości) | Funkcja niestandardowego punktu końcowego umożliwia aplikacjom lub klientom platformy Kafka łączenie się z strumieniem zdarzeń przy użyciu parametry połączenia, co umożliwia płynne pozyskiwanie danych przesyłanych strumieniowo do usługi Eventstream. |
Przetwarzanie zdarzeń przy użyciu środowiska bez kodu
Środowisko przeciągania i upuszczania zapewnia intuicyjny i łatwy sposób tworzenia przetwarzania danych zdarzeń, przekształcania i routingu bez konieczności pisania kodu. Kompleksowy diagram przepływu danych w strumieniu zdarzeń umożliwia kompleksowe zrozumienie przepływu danych i organizacji. Edytor procesora zdarzeń to środowisko bez kodu, które umożliwia przeciąganie i upuszczanie w celu zaprojektowania logiki przetwarzania danych zdarzeń.
| Przekształcenie | opis |
|---|---|
| Filtr | Użyj przekształcenia filtru, aby filtrować zdarzenia na podstawie wartości pola w danych wejściowych. W zależności od typu danych (liczby lub tekstu) przekształcenie zachowuje wartości zgodne z wybranym warunkiem, takimi jak is null lub is not null. |
| Zarządzanie polami | Przekształcenie Zarządzaj polami umożliwia dodawanie, usuwanie, zmienianie typu danych lub zmienianie nazwy pól przychodzących z danych wejściowych lub innej transformacji. |
| Agregacja | Użyj przekształcenia Agregacja, aby obliczyć agregację (Suma, Minimum, Maksimum lub Średnia) za każdym razem, gdy nowe zdarzenie występuje w danym okresie. Ta operacja umożliwia również zmianę nazw tych kolumn obliczeniowych oraz filtrowanie lub fragmentowanie agregacji na podstawie innych wymiarów w danych. W tej samej transformacji można mieć co najmniej jedną agregację. |
| Grupuj według | Użyj przekształcenia Grupuj według, aby obliczyć agregacje we wszystkich zdarzeniach w określonym przedziale czasu. Można grupować według wartości w co najmniej jednym polu. Jest to podobne do przekształcenia Agregacja umożliwia zmianę nazw kolumn, ale udostępnia więcej opcji agregacji i zawiera bardziej złożone opcje dla okien czasowych. Podobnie jak agregacja, można dodać więcej niż jedną agregację na transformację. |
| Unia | Użyj przekształcenia Unii, aby połączyć co najmniej dwa węzły i dodać zdarzenia z polami udostępnionymi (o tej samej nazwie i typie danych) do jednej tabeli. Pola, które nie są zgodne, są porzucane i nie są uwzględniane w danych wyjściowych. |
| Rozwiń | Użyj przekształcenia Rozwiń tablicę, aby utworzyć nowy wiersz dla każdej wartości w tablicy. |
| Dołączanie | Użyj przekształcenia Join, aby połączyć dane z dwóch strumieni na podstawie zgodnego warunku między nimi. |
Jeśli włączono rozszerzone możliwości podczas tworzenia strumienia zdarzeń, operacje przekształcania są obsługiwane dla wszystkich miejsc docelowych (z pochodnym strumieniem działającym jako pośredni mostek dla niektórych miejsc docelowych, takich jak Niestandardowy punkt końcowy, Refleks). Jeśli tak nie jest, operacje przekształcania są dostępne tylko dla lokalizacji docelowych Lakehouse i Eventhouse (przetwarzanie zdarzeń przed pozyskiwaniem).
Kierowanie zdarzeń do miejsc docelowych
Funkcja strumieni zdarzeń sieci szkieletowej obsługuje wysyłanie danych do następujących obsługiwanych miejsc docelowych.
| Element docelowy | opis |
|---|---|
| Niestandardowy punkt końcowy (tj. aplikacja niestandardowa w standardowej możliwości) | Dzięki temu miejscu docelowym można łatwo kierować zdarzenia w czasie rzeczywistym do niestandardowego punktu końcowego. Możesz połączyć własne aplikacje z strumieniem zdarzeń i korzystać z danych zdarzenia w czasie rzeczywistym. To miejsce docelowe jest przydatne, gdy chcesz wychodzące dane w czasie rzeczywistym do systemu zewnętrznego poza usługą Microsoft Fabric. |
| Eventhouse | To miejsce docelowe umożliwia pozyskiwanie danych zdarzeń w czasie rzeczywistym do magazynu zdarzeń, w którym można użyć zaawansowanych język zapytań Kusto (KQL) do wykonywania zapytań i analizowania danych. Dzięki danym w usłudze Eventhouse możesz uzyskać bardziej szczegółowy wgląd w dane zdarzeń i tworzyć zaawansowane raporty i pulpity nawigacyjne. Można wybrać między dwoma trybami pozyskiwania: pozyskiwaniem bezpośrednim i przetwarzaniem zdarzeń przed pozyskiwaniem. |
| Lakehouse | To miejsce docelowe zapewnia możliwość przekształcania zdarzeń w czasie rzeczywistym przed pozyskiwaniem ich do jeziora. Zdarzenia w czasie rzeczywistym są konwertowane na format usługi Delta Lake, a następnie przechowują je w wyznaczonych tabelach lakehouse. To miejsce docelowe obsługuje scenariusze magazynowania danych. |
| Odruch | To miejsce docelowe umożliwia bezpośrednie połączenie danych zdarzeń w czasie rzeczywistym z refleksem. Refleks to rodzaj inteligentnego agenta, który zawiera wszystkie informacje niezbędne do nawiązania połączenia z danymi, monitorowania warunków i działania. Gdy dane osiągną określone progi lub pasują do innych wzorców, odruch automatycznie podejmuje odpowiednie działania, takie jak powiadamianie użytkowników lub rozpoczynanie przepływów pracy usługi Power Automate. |
| Strumień pochodny | Strumień pochodny to wyspecjalizowany typ miejsca docelowego, który można utworzyć po dodaniu operacji strumienia, takich jak filtrowanie lub zarządzanie polami, do strumienia zdarzeń. Strumień pochodny reprezentuje przekształcony domyślny strumień po przetwarzaniu strumienia. Strumień pochodny można kierować do wielu miejsc docelowych w sieci szkieletowej i wyświetlić strumień pochodny w centrum czasu rzeczywistego. |
Możesz dołączyć wiele miejsc docelowych w strumieniu zdarzeń, aby jednocześnie odbierać dane ze strumieni zdarzeń bez zakłócania siebie nawzajem.
Uwaga
Zalecamy używanie funkcji strumieni zdarzeń usługi Microsoft Fabric z co najmniej 4 jednostkami pojemności (SKU: F4)
Strumienie zdarzeń platformy Apache Kafka w usłudze Fabric
Funkcja strumieni zdarzeń sieci szkieletowej oferuje punkt końcowy platformy Apache Kafka w elemencie Eventstream, umożliwiając użytkownikom łączenie się ze zdarzeniami przesyłania strumieniowego i korzystanie z nich za pośrednictwem protokołu Kafka. Jeśli masz już aplikację, która używa protokołu Apache Kafka do wysyłania lub korzystania z zdarzeń przesyłania strumieniowego z określonymi tematami platformy Kafka, możesz bez wysiłku dostosować tę samą aplikację do wysyłania lub korzystania z zdarzeń przesyłanych strumieniowo zdarzeń, aktualizując ustawienia połączenia, aby wskazać punkt końcowy platformy Kafka podany w strumieniu zdarzeń.
Funkcja strumieni zdarzeń sieci szkieletowej jest obsługiwana przez usługę Azure Event Hubs, w pełni zarządzaną usługę natywną dla chmury. Po utworzeniu strumienia zdarzeń przestrzeń nazw centrum zdarzeń jest automatycznie aprowizowana, a centrum zdarzeń jest przydzielane do domyślnego strumienia bez konieczności wykonywania żadnych konfiguracji aprowizacji. Aby dowiedzieć się więcej na temat funkcji zgodnych z platformą Kafka w usłudze Azure Event Hubs, zobacz Azure Event Hubs for Apache Kafka
Aby dowiedzieć się więcej o sposobie uzyskiwania szczegółów punktu końcowego platformy Kafka na potrzeby wysyłania zdarzeń do strumienia zdarzeń, zobacz Dodawanie niestandardowego źródła punktu końcowego do strumienia zdarzeń. Aby dowiedzieć się więcej na temat używania zdarzeń, zobacz Dodawanie niestandardowego miejsca docelowego punktu końcowego do strumienia zdarzeń
Ulepszone możliwości (wersja zapoznawcza)
Dostępnych jest więcej funkcji, źródeł i miejsc docelowych po włączeniu opcji Rozszerzone możliwości (wersja zapoznawcza) podczas tworzenia strumienia zdarzeń. Użyj kart Możliwości rozszerzonych (wersja zapoznawcza) i Możliwości standardowe, aby dowiedzieć się więcej o dodatkowych źródłach i miejscach docelowych obsługiwanych za pomocą rozszerzonych możliwości.
Oto kilka innych godnych uwagi funkcji rozszerzonych (wersja zapoznawcza):
- Tryb edycji i widok na żywo. Poznaj dwa odrębne tryby wizualizacji i projektowania przetwarzania strumienia.
- Strumienie domyślne i pochodne. Utwórz ciągły przepływ strumieni z formatem, który projektujesz, z procesorem zdarzeń, który może być używany później w centrum czasu rzeczywistego.
- Routing strumienia danych na podstawie zawartości. Przekształć i skierować strumienie danych w dowolnym miejscu w sieci Szkieletowej na podstawie zawartości strumienia danych zaprojektowanej za pomocą procesora zdarzeń.