Strumienie zdarzeń usługi Microsoft Fabric — omówienie
Funkcja strumieni zdarzeń w środowisku analizy czasu rzeczywistego usługi Microsoft Fabric umożliwia przenoszenie zdarzeń w czasie rzeczywistym do sieci szkieletowej, przekształcanie ich, a następnie kierowanie ich do różnych miejsc docelowych bez konieczności pisania kodu (bez kodu). Tworzysz strumień zdarzeń, który jest wystąpieniem elementu Eventstream w sieci szkieletowej, dodaje źródła danych zdarzeń do strumienia, opcjonalnie dodaje przekształcenia, aby przekształcić dane zdarzenia, a następnie kierować dane do obsługiwanych miejsc docelowych.
Wprowadzanie zdarzeń do sieci szkieletowej
Funkcja strumieni zdarzeń udostępnia różne łączniki źródłowe do pobierania danych zdarzeń z różnych źródeł. W momencie tworzenia strumienia zdarzeń dostępnych jest więcej źródeł, jeśli włączysz rozszerzone możliwości.
Ważne
Ulepszone możliwości strumieni zdarzeń sieci Szkieletowej są obecnie dostępne w wersji zapoznawczej.
| Źródła | opis |
|---|---|
| Azure Event Hubs | Jeśli masz centrum zdarzeń platformy Azure, możesz pozyskiwać dane centrum zdarzeń do usługi Microsoft Fabric przy użyciu strumienia zdarzeń. |
| Azure IoT Hub | Jeśli masz centrum Azure IoT, możesz pozyskiwać dane IoT do usługi Microsoft Fabric przy użyciu usługi Eventstream. |
| Przechwytywanie zmian danych w usłudze Azure SQL Database (CDC) | Łącznik źródłowy usługi Azure SQL Database CDC umożliwia przechwycenie migawki bieżących danych w bazie danych Azure SQL Database. Następnie łącznik monitoruje i rejestruje wszelkie przyszłe zmiany na poziomie wiersza w tych danych. |
| CdC bazy danych PostgreSQL | Łącznik źródłowy przechwytywania zmian danych bazy danych PostgreSQL (CDC) umożliwia przechwycenie migawki bieżących danych w bazie danych PostgreSQL. Następnie łącznik monitoruje i rejestruje wszelkie przyszłe zmiany na poziomie wiersza w tych danych. |
| Usługa CDC bazy danych MySQL | Łącznik źródła przechwytywania zmian danych w usłudze Azure MySQL (CDC) umożliwia przechwycenie migawki bieżących danych w bazie danych usługi Azure Database for MySQL. Możesz określić tabele do monitorowania, a strumień zdarzeń rejestruje wszelkie przyszłe zmiany na poziomie wiersza w tabelach. |
| Azure Cosmos DB CDC | Łącznik źródła przechwytywania zmian danych (CDC) usługi Azure Cosmos DB dla strumieni zdarzeń usługi Microsoft Fabric umożliwia przechwycenie migawki bieżących danych w bazie danych usługi Azure Cosmos DB. Następnie łącznik monitoruje i rejestruje wszelkie przyszłe zmiany na poziomie wiersza w tych danych. |
| Google Cloud Pub/Sub | Google Pub/Sub to usługa obsługi komunikatów, która umożliwia publikowanie i subskrybowanie strumieni zdarzeń. Możesz dodać usługę Google Pub/Sub jako źródło do strumienia zdarzeń w celu przechwytywania, przekształcania i kierowania zdarzeń w czasie rzeczywistym do różnych miejsc docelowych w usłudze Fabric. |
| Strumienie danych Amazon Kinesis | Usługa Amazon Kinesis Data Strumienie to wysoce skalowalne, wysoce trwałe pozyskiwanie danych i usługa przetwarzania zoptymalizowana pod kątem danych przesyłanych strumieniowo. Dzięki integracji Strumienie danych Amazon Kinesis jako źródła w strumieniu zdarzeń można bezproblemowo przetwarzać strumienie danych w czasie rzeczywistym przed kierowaniem ich do wielu miejsc docelowych w sieci szkieletowej. |
| Confluent Cloud Kafka | Confluent Cloud Kafka to platforma przesyłania strumieniowego oferująca zaawansowane funkcje przesyłania strumieniowego i przetwarzania danych przy użyciu platformy Apache Kafka. Integrując platformę Confluent Cloud Kafka jako źródło w strumieniu zdarzeń, można bezproblemowo przetwarzać strumienie danych w czasie rzeczywistym przed kierowaniem ich do wielu miejsc docelowych w sieci szkieletowej. |
| Zdarzenia usługi Azure Blob Storage | Zdarzenia usługi Azure Blob Storage są wyzwalane, gdy klient tworzy, zastępuje lub usuwa obiekt blob. Łącznik umożliwia łączenie zdarzeń usługi Blob Storage z zdarzeniami sieci szkieletowej w centrum czasu rzeczywistego. Te zdarzenia można przekonwertować na ciągłe strumienie danych i przekształcić je przed kierowaniem ich do różnych miejsc docelowych w sieci szkieletowej. |
| Zdarzenia elementu obszaru roboczego sieci szkieletowej | Zdarzenia elementu obszaru roboczego sieci szkieletowej to odrębne zdarzenia sieci szkieletowej, które występują po wprowadzeniu zmian w obszarze roboczym sieci szkieletowej. Te zmiany obejmują tworzenie, aktualizowanie lub usuwanie elementu sieci szkieletowej. Strumienie zdarzeń sieci szkieletowej umożliwiają przechwytywanie tych zdarzeń obszaru roboczego sieci szkieletowej, przekształcanie ich i kierowanie ich do różnych miejsc docelowych w sieci szkieletowej w celu dalszej analizy. |
| Dane przykładowe | Możesz wybrać pozycję Rowery, Żółta taksówka lub Zdarzenia giełdowe jako przykładowe źródło danych, aby przetestować pozyskiwanie danych podczas konfigurowania strumienia zdarzeń. |
| Niestandardowy punkt końcowy (była aplikacja niestandardowa) | Funkcja niestandardowego punktu końcowego umożliwia aplikacjom lub klientom platformy Kafka łączenie się z strumieniem zdarzeń przy użyciu parametry połączenia, co umożliwia płynne pozyskiwanie danych przesyłanych strumieniowo do usługi Eventstream. |
Przetwarzanie zdarzeń przy użyciu środowiska bez kodu
Środowisko przeciągania i upuszczania zapewnia intuicyjny i łatwy sposób tworzenia przetwarzania danych zdarzeń, przekształcania i routingu bez konieczności pisania kodu. Kompleksowy diagram przepływu danych w strumieniu zdarzeń umożliwia kompleksowe zrozumienie przepływu danych i organizacji. Edytor procesora zdarzeń to środowisko bez kodu, które umożliwia przeciąganie i upuszczanie w celu zaprojektowania logiki przetwarzania danych zdarzeń.
| Przekształcenie | opis |
|---|---|
| Filtr | Użyj przekształcenia filtru, aby filtrować zdarzenia na podstawie wartości pola w danych wejściowych. W zależności od typu danych (liczby lub tekstu) przekształcenie zachowuje wartości zgodne z wybranym warunkiem, takimi jak is null lub is not null. |
| Zarządzanie polami | Przekształcenie Zarządzaj polami umożliwia dodawanie, usuwanie, zmienianie typu danych lub zmienianie nazwy pól przychodzących z danych wejściowych lub innej transformacji. |
| Agregacja | Użyj przekształcenia Agregacja, aby obliczyć agregację (Suma, Minimum, Maksimum lub Średnia) za każdym razem, gdy nowe zdarzenie występuje w danym okresie. Ta operacja umożliwia również zmianę nazw tych kolumn obliczeniowych oraz filtrowanie lub fragmentowanie agregacji na podstawie innych wymiarów w danych. W tej samej transformacji można mieć co najmniej jedną agregację. |
| Grupuj według | Użyj przekształcenia Grupuj według, aby obliczyć agregacje we wszystkich zdarzeniach w określonym przedziale czasu. Można grupować według wartości w co najmniej jednym polu. Jest to podobne do przekształcenia Agregacja umożliwia zmianę nazw kolumn, ale udostępnia więcej opcji agregacji i zawiera bardziej złożone opcje dla okien czasowych. Podobnie jak agregacja, można dodać więcej niż jedną agregację na transformację. |
| Unia | Użyj przekształcenia Unii, aby połączyć co najmniej dwa węzły i dodać zdarzenia z polami udostępnionymi (o tej samej nazwie i typie danych) do jednej tabeli. Pola, które nie są zgodne, są porzucane i nie są uwzględniane w danych wyjściowych. |
| Rozwiń | Użyj przekształcenia Rozwiń tablicę, aby utworzyć nowy wiersz dla każdej wartości w tablicy. |
| Dołączanie | Użyj przekształcenia Join, aby połączyć dane z dwóch strumieni na podstawie zgodnego warunku między nimi. |
Jeśli włączono rozszerzone możliwości podczas tworzenia strumienia zdarzeń, operacje przekształcania są obsługiwane dla wszystkich miejsc docelowych (z pochodnym strumieniem działającym jako pośredni mostek dla niektórych miejsc docelowych, takich jak Niestandardowy punkt końcowy, Refleks). Jeśli tak nie jest, operacje przekształcania są dostępne tylko dla lokalizacji docelowych Lakehouse i KQL Database (przetwarzanie zdarzeń przed pozyskiwaniem).
Kierowanie zdarzeń do miejsc docelowych
Funkcja strumieni zdarzeń sieci szkieletowej obsługuje wysyłanie danych do następujących obsługiwanych miejsc docelowych.
| Element docelowy | opis |
|---|---|
| Niestandardowy punkt końcowy (była aplikacja niestandardowa) | Dzięki temu miejscu docelowym można łatwo kierować zdarzenia w czasie rzeczywistym do niestandardowego punktu końcowego. Możesz połączyć własne aplikacje z strumieniem zdarzeń i korzystać z danych zdarzenia w czasie rzeczywistym. To miejsce docelowe jest przydatne, gdy chcesz wychodzące dane w czasie rzeczywistym do systemu zewnętrznego poza usługą Microsoft Fabric. |
| Baza danych KQL | To miejsce docelowe umożliwia pozyskiwanie danych zdarzeń w czasie rzeczywistym do bazy danych KQL, gdzie można używać zaawansowanych język zapytań Kusto (KQL) do wykonywania zapytań i analizowania danych. Dzięki danym w bazie danych Kusto możesz uzyskać bardziej szczegółowy wgląd w dane zdarzeń i tworzyć zaawansowane raporty i pulpity nawigacyjne. Można wybrać między dwoma trybami pozyskiwania: pozyskiwaniem bezpośrednim i przetwarzaniem zdarzeń przed pozyskiwaniem. |
| Lakehouse | To miejsce docelowe zapewnia możliwość przekształcania zdarzeń w czasie rzeczywistym przed pozyskiwaniem ich do jeziora. Zdarzenia w czasie rzeczywistym są konwertowane na format usługi Delta Lake, a następnie przechowują je w wyznaczonych tabelach lakehouse. To miejsce docelowe obsługuje scenariusze magazynowania danych. |
| Reflex | To miejsce docelowe umożliwia bezpośrednie połączenie danych zdarzeń w czasie rzeczywistym z refleksem. Refleks to rodzaj inteligentnego agenta, który zawiera wszystkie informacje niezbędne do nawiązania połączenia z danymi, monitorowania warunków i działania. Gdy dane osiągną określone progi lub pasują do innych wzorców, odruch automatycznie podejmuje odpowiednie działania, takie jak powiadamianie użytkowników lub rozpoczynanie przepływów pracy usługi Power Automate. |
| Strumień pochodny | Strumień pochodny to wyspecjalizowany typ miejsca docelowego, który można utworzyć po dodaniu operacji strumienia, takich jak filtrowanie lub zarządzanie polami, do strumienia zdarzeń. Strumień pochodny reprezentuje przekształcony domyślny strumień po przetwarzaniu strumienia. Strumień pochodny można kierować do wielu miejsc docelowych w sieci szkieletowej i wyświetlić strumień pochodny w centrum czasu rzeczywistego. |
Możesz dołączyć wiele miejsc docelowych w strumieniu zdarzeń, aby jednocześnie odbierać dane ze strumieni zdarzeń bez zakłócania siebie nawzajem.
Uwaga
Zalecamy używanie funkcji strumieni zdarzeń usługi Microsoft Fabric z co najmniej 4 jednostkami pojemności (SKU: F4)
Ulepszone możliwości (wersja zapoznawcza)
Dostępnych jest więcej funkcji, źródeł i miejsc docelowych po włączeniu opcji Rozszerzone możliwości (wersja zapoznawcza) podczas tworzenia strumienia zdarzeń. Użyj kart Możliwości rozszerzonych (wersja zapoznawcza) i Możliwości standardowe, aby dowiedzieć się więcej o dodatkowych źródłach i miejscach docelowych obsługiwanych za pomocą rozszerzonych możliwości.
Oto kilka innych godnych uwagi funkcji rozszerzonych (wersja zapoznawcza):
- Tryb edycji i widok na żywo. Poznaj dwa odrębne tryby wizualizacji i projektowania przetwarzania strumienia.
- Strumienie domyślne i pochodne. Utwórz ciągły przepływ strumieni z formatem, który projektujesz, z procesorem zdarzeń, który może być używany później w centrum czasu rzeczywistego.
- Routing strumienia danych na podstawie zawartości. Przekształć i skierować strumienie danych w dowolnym miejscu w sieci Szkieletowej na podstawie zawartości strumienia danych zaprojektowanej za pomocą procesora zdarzeń.
Powiązana zawartość
Opinia
Dostępne już wkrótce: W 2024 r. będziemy stopniowo wycofywać zgłoszenia z serwisu GitHub jako mechanizm przesyłania opinii na temat zawartości i zastępować go nowym systemem opinii. Aby uzyskać więcej informacji, sprawdź: https://aka.ms/ContentUserFeedback.
Prześlij i wyświetl opinię dla