Dodawanie miejsca docelowego lakehouse do strumienia zdarzeń
W tym artykule pokazano, jak dodać usługę Lakehouse jako miejsce docelowe do strumieni zdarzeń w strumieniach zdarzeń usługi Microsoft Fabric.
Uwaga
Jeśli chcesz użyć rozszerzonych możliwości dostępnych w wersji zapoznawczej, wybierz pozycję Rozszerzone możliwości u góry. W przeciwnym razie wybierz pozycję Standardowe możliwości. Aby uzyskać informacje o rozszerzonych możliwościach dostępnych w wersji zapoznawczej, zobacz Wprowadzenie do strumieni zdarzeń usługi Fabric.
Ważne
Istnieje wymuszanie schematu do zapisywania danych w tabeli docelowej lakehouse. Wszystkie nowe zapisy w tabeli muszą być zgodne ze schematem tabeli docelowej w czasie zapisu, zapewniając jakość danych.
Gdy dane wyjściowe są zapisywane w nowej tabeli różnicowej, schemat tabeli jest tworzony na podstawie pierwszego rekordu. Wszystkie rekordy danych wyjściowych są rzutowane na schemat istniejącej tabeli.
Jeśli dane przychodzące mają kolumny, które nie znajdują się w istniejącym schemacie tabeli, dodatkowe kolumny nie są uwzględniane w danych zapisanych w tabeli. Podobnie, jeśli w istniejącym schemacie tabeli brakuje danych przychodzących, brakujące kolumny zapisują w tabeli z wartościami ustawionymi na wartość null.
Wymagania wstępne
- Dostęp do obszaru roboczego Premium sieci szkieletowej, w którym znajduje się strumień zdarzeń z uprawnieniami współautora lub wyższymi uprawnieniami.
- Dostęp do obszaru roboczego w warstwie Premium, w którym znajduje się usługa Lakehouse z uprawnieniami współautora lub wyższymi uprawnieniami.
Uwaga
Maksymalna liczba źródeł i miejsc docelowych dla jednego strumienia zdarzeń wynosi 11.
Dodawanie magazynu lakehouse jako miejsca docelowego
Aby dodać miejsce docelowe usługi Lakehouse do domyślnego lub pochodnego strumienia zdarzeń, wykonaj następujące kroki.
W trybie edycji dla strumienia zdarzeń wybierz pozycję Dodaj miejsce docelowe na wstążce i wybierz pozycję Lakehouse z listy rozwijanej.
Połączenie węzeł lakehouse do węzła lub operatora strumienia.
Na ekranie konfiguracji usługi Lakehouse wypełnij następujące informacje:
- Wprowadź nazwę miejsca docelowego.
- Wybierz obszar roboczy zawierający swoją usługę Lakehouse.
- Wybierz istniejącą usługę Lakehouse z określonego obszaru roboczego.
- Wybierz istniejącą tabelę delty lub utwórz nową, aby odbierać dane.
- Wybierz format danych wejściowych, który jest wysyłany do usługi Lakehouse. Obsługiwane formaty danych to JSON, Avro i CSV (z nagłówkiem).
Wybierz opcję Zaawansowane.
Dwa tryby pozyskiwania są dostępne dla miejsca docelowego lakehouse. W zależności od scenariusza skonfiguruj te tryby, aby zoptymalizować sposób zapisywania strumieni zdarzeń w usłudze Fabric w usłudze Lakehouse.
Minimalna liczba wierszy to minimalna liczba wierszy pozyskiwanych przez usługę Lakehouse w jednym pliku. Wartość minimalna to 1 wiersz, a maksymalna to 2 miliony wierszy na plik. Mniejsza minimalna liczba wierszy, tym więcej plików tworzonych przez lakehouse podczas pozyskiwania.
Maksymalny czas trwania to maksymalny czas trwania, jaki zajmuje lakehouse pozyskiwanie pojedynczego pliku. Minimalna wartość to 1 minuta, a maksymalna to 2 godziny. Dłuższy czas trwania, tym więcej wierszy jest pozyskiwanych w pliku.
Wybierz pozycję Zapisz.
Aby zaimplementować nowo dodane miejsce docelowe usługi Lakehouse, wybierz pozycję Publikuj.
Po wykonaniu tych kroków miejsce docelowe usługi Lakehouse będzie dostępne dla wizualizacji w widoku na żywo. W okienku Szczegóły możesz wybrać skrót Optymalizuj tabelę w notesie , aby uruchomić zadanie platformy Apache Spark w notesie, które konsoliduje małe pliki przesyłane strumieniowo w docelowej tabeli lakehouse.
Powiązana zawartość
Aby dowiedzieć się, jak dodać inne miejsca docelowe do strumienia zdarzeń, zobacz następujące artykuły:
Wymagania wstępne
Przed rozpoczęciem należy spełnić następujące wymagania wstępne:
- Uzyskaj dostęp do obszaru roboczego w warstwie Premium z uprawnieniami współautora lub wyższymi uprawnieniami, w których znajduje się strumień zdarzeń.
- Uzyskaj dostęp do obszaru roboczego w warstwie Premium z uprawnieniami współautora lub wyższymi uprawnieniami, w których znajduje się usługa Lakehouse.
Uwaga
Maksymalna liczba źródeł i miejsc docelowych dla jednego strumienia zdarzeń wynosi 11.
Dodawanie magazynu lakehouse jako miejsca docelowego
Jeśli masz utworzoną usługę Lakehouse w obszarze roboczym, wykonaj następujące kroki, aby dodać usługę Lakehouse do strumienia zdarzeń jako miejsce docelowe:
Wybierz pozycję Nowe miejsce docelowe na wstążce lub "+" na kanwie edytora głównego, a następnie wybierz pozycję Lakehouse. Zostanie wyświetlony ekran konfiguracji miejsca docelowego usługi Lakehouse .
Wprowadź nazwę miejsca docelowego strumienia zdarzeń i uzupełnij informacje o urządzeniu lakehouse.
Lakehouse: wybierz istniejący lakehouse z określonego obszaru roboczego.
Tabela delty: wybierz istniejącą tabelę delty lub utwórz nową, aby odbierać dane.
Uwaga
Podczas zapisywania danych w tabeli lakehouse istnieje wymuszanie schematu. Oznacza to, że wszystkie nowe operacje zapisu w tabeli muszą być zgodne ze schematem tabeli docelowej w czasie zapisu, zapewniając jakość danych.
Wszystkie rekordy danych wyjściowych są rzutowane na schemat istniejącej tabeli. Podczas zapisywania danych wyjściowych w nowej tabeli delty schemat tabeli jest tworzony na podstawie pierwszego rekordu. Jeśli dane przychodzące mają dodatkową kolumnę w porównaniu z istniejącym schematem tabeli, zapisuje w tabeli bez uwzględniania dodatkowej kolumny. Z drugiej strony, jeśli brakuje kolumny danych przychodzących w porównaniu z istniejącym schematem tabeli, zapisuje w tabeli wartość z wartością kolumny ustawioną na wartość null.
Format danych wejściowych: wybierz format danych (danych wejściowych) wysyłanych do usługi Lakehouse.
Uwaga
Obsługiwane formaty danych zdarzeń wejściowych to pliki JSON, Avro i CSV (z nagłówkiem).
Przetwarzanie zdarzeń: edytor przetwarzania zdarzeń umożliwia określenie sposobu przetwarzania danych przed wysłaniem ich do usługi Lakehouse. Wybierz pozycję Otwórz procesor zdarzeń, aby otworzyć edytor przetwarzania zdarzeń. Aby dowiedzieć się więcej na temat przetwarzania w czasie rzeczywistym przy użyciu procesora zdarzeń, zobacz Przetwarzanie danych zdarzeń za pomocą edytora procesora zdarzeń. Po zakończeniu pracy z edytorem wybierz pozycję Gotowe , aby powrócić do ekranu konfiguracji docelowej usługi Lakehouse .
Dwa tryby pozyskiwania są dostępne dla miejsca docelowego lakehouse. Wybierz jeden z tych trybów, aby zoptymalizować sposób zapisywania funkcji strumieni zdarzeń w usłudze Fabric w usłudze Lakehouse na podstawie scenariusza.
Wiersze na plik — minimalna liczba wierszy pozyskanych przez usługę Lakehouse w jednym pliku. Mniejsza minimalna liczba wierszy, tym więcej plików tworzonych przez usługę Lakehouse podczas pozyskiwania. Minimalna wartość to 1 wiersz. Maksymalna liczba to 2 mln wierszy na plik.
Czas trwania — maksymalny czas trwania pozyskiwania pojedynczego pliku przez usługę Lakehouse. Dłuższy czas trwania, więcej wierszy jest pozyskiwanych w pliku. Minimalna wartość to 1 minuta, a wartość maksymalna to 2 godziny.
Wybierz pozycję Dodaj , aby dodać miejsce docelowe lakehouse.
Skrót optymalizacji tabeli dostępny w miejscu docelowym usługi Lakehouse. To rozwiązanie ułatwia uruchomienie zadania platformy Spark w notesie, które konsoliduje te małe pliki przesyłane strumieniowo w docelowej tabeli Lakehouse.
Miejsce docelowe lakehouse pojawia się na kanwie z obracającym się wskaźnikiem stanu. Zmiana stanu systemu na Aktywny trwa kilka minut.
Zarządzanie miejscem docelowym
Edytuj/usuń: możesz edytować lub usunąć miejsce docelowe strumienia zdarzeń za pośrednictwem okienka nawigacji lub kanwy.
Po wybraniu pozycji Edytuj okienko edycji zostanie otwarte po prawej stronie edytora głównego. Konfigurację można zmodyfikować zgodnie z życzeniem, w tym logikę przekształcania zdarzeń za pośrednictwem edytora procesora zdarzeń.
Powiązana zawartość
Aby dowiedzieć się, jak dodać inne miejsca docelowe do strumienia zdarzeń, zobacz następujące artykuły:
Opinia
Dostępne już wkrótce: W 2024 r. będziemy stopniowo wycofywać zgłoszenia z serwisu GitHub jako mechanizm przesyłania opinii na temat zawartości i zastępować go nowym systemem opinii. Aby uzyskać więcej informacji, sprawdź: https://aka.ms/ContentUserFeedback.
Prześlij i wyświetl opinię dla