Co nowego i planowanego dla usługi Data Factory w usłudze Microsoft Fabric
Ważne
Plany wydania opisują funkcje, które mogą lub nie zostały jeszcze wydane. Harmonogramy dostarczania i przewidywane funkcje mogą ulec zmianie lub nie mogą być dostarczane. Aby uzyskać więcej informacji, zapoznaj się z zasadami firmy Microsoft.
Usługa Data Factory w usłudze Microsoft Fabric łączy możliwości integracji danych obywateli i integracji danych pro w jedno nowoczesne środowisko integracji danych. Zapewnia ona łączność z ponad 100 relacyjnymi i nierelacyjnymi bazami danych, magazynami danych, interfejsami ogólnymi, takimi jak interfejsy API REST, OData i inne.
Przepływy danych: przepływ danych Gen2 umożliwia wykonywanie przekształceń danych na dużą skalę i obsługuje różne miejsca docelowe danych wyjściowych, które zapisują się w usłudze Azure SQL Database, Lakehouse, Data Warehouse i nie tylko. Edytor przepływów danych oferuje ponad 300 przekształceń, w tym opcji opartych na sztucznej inteligencji, i umożliwia łatwe przekształcanie danych z większą elastycznością niż jakiekolwiek inne narzędzie. Niezależnie od tego, czy wyodrębniasz dane ze źródła danych bez struktury, takiego jak strona internetowa, czy zmieniasz istniejącą tabelę w edytorze Power Query, możesz łatwo zastosować wyodrębnianie danych dodatku Power Query według przykładu, które używa sztucznej inteligencji (AI) i upraszcza proces.
Potoki danych: potoki danych oferują możliwość tworzenia wszechstronnych przepływów pracy orkiestracji danych, które łączą zadania, takie jak wyodrębnianie danych, ładowanie do preferowanych magazynów danych, wykonywanie notesu, wykonywanie skryptów SQL i nie tylko. Możesz szybko tworzyć zaawansowane potoki danych oparte na metadanych, które automatyzują powtarzające się zadania. Na przykład ładowanie i wyodrębnianie danych z różnych tabel w bazie danych, iterowanie za pomocą wielu kontenerów w usłudze Azure Blob Storage i nie tylko. Ponadto za pomocą potoków danych można uzyskać dostęp do danych z platformy Microsoft 365 przy użyciu łącznika połączenia danych programu Microsoft Graph (MGDC).
Aby dowiedzieć się więcej, zobacz dokumentację.
Obszary inwestycyjne
W ciągu najbliższych kilku miesięcy usługa Data Factory w usłudze Microsoft Fabric rozszerzy swoje opcje łączności i będzie nadal dodawać do bogatej biblioteki przekształceń i działań potoku danych. Ponadto umożliwia wykonywanie replikacji danych w czasie rzeczywistym z operacyjnych baz danych o wysokiej wydajności i przenoszenie tych danych do magazynu typu lake na potrzeby analizy.
Copilot for Data Factory (przepływ danych)
Szacowana oś czasu wydania: Q3 2024
Typ wydania: ogólna dostępność
Copilot for Data Factory (Dataflow) umożliwia klientom wyrażanie wymagań przy użyciu języka naturalnego podczas tworzenia rozwiązań integracji danych z usługą Dataflows Gen2.
Obsługa odświeżania przyrostowego w przepływie danych Gen2
Szacowana oś czasu wydania: Q3 2024
Typ wydania: publiczna wersja zapoznawcza
Dodajemy obsługę odświeżania przyrostowego w usłudze Dataflow Gen2. Ta funkcja umożliwia przyrostowe wyodrębnianie danych ze źródeł danych, stosowanie przekształceń dodatku Power Query i ładowanie ich do różnych miejsc docelowych danych wyjściowych.
Obsługa potoku danych dla zadań usługi Azure Databricks
Szacowana oś czasu wydania: Q3 2024
Typ wydania: publiczna wersja zapoznawcza
Aktualizujemy potoki danych usługi Data Factory w usłudze Azure Databricks, aby teraz korzystać z najnowszego interfejsu API zadań, co umożliwia wykonywanie ekscytujących funkcji przepływu pracy, takich jak wykonywanie zadań DLT.
Obsługa potoku danych dla interfejsu wiersza polecenia DBT
Szacowana oś czasu wydania: Q3 2024
Typ wydania: publiczna wersja zapoznawcza
Orkiestracja interfejsu wiersza polecenia DBT (narzędzie do kompilacji danych): zawiera narzędzie do kompilacji danych (dbt) na potrzeby przepływów pracy przekształcania danych.
Obsługa szybkiego kopiowania w przepływie danych Gen2
Szacowana oś czasu wydania: Q3 2024
Typ wydania: ogólna dostępność
Dodajemy obsługę pozyskiwania danych na dużą skalę bezpośrednio w środowisku usługi Dataflow Gen2, korzystając z możliwości działania kopiowania potoków. To ulepszenie znacznie skaluje w górę pojemność przetwarzania danych w usłudze Dataflow Gen2, zapewniając możliwości ELT (Extract-Load-Transform).
Zadanie kopiowania
Szacowana oś czasu wydania: Q3 2024
Typ wydania: publiczna wersja zapoznawcza
Zadanie kopiowania upraszcza środowisko dla klientów, którzy muszą pozyskiwać dane bez konieczności tworzenia przepływu danych lub potoku danych. Zadanie kopiowania obsługuje pełne i przyrostowe kopiowanie z dowolnych źródeł danych do dowolnych miejsc docelowych danych.
Zarządzanie tożsamościami źródła danych (tożsamość zarządzana)
Szacowana oś czasu wydania: Q3 2024
Typ wydania: publiczna wersja zapoznawcza
Umożliwia to skonfigurowanie tożsamości zarządzanej na poziomie obszaru roboczego. Tożsamości zarządzane sieci szkieletowej umożliwiają bezpieczne łączenie ze źródłem danych.
Zarządzanie tożsamościami źródła danych (Azure Key Vault)
Szacowana oś czasu wydania: Q3 2024
Typ wydania: publiczna wersja zapoznawcza
Obsługa usługi Azure Key Vault — klucze i wpisy tajne można przechowywać w usłudze Azure Key Vault i łączyć się z nimi. Dzięki temu można zarządzać kluczami w jednym miejscu.
Copilot for Data Factory (potok danych)
Szacowana oś czasu wydania: Q3 2024
Typ wydania: publiczna wersja zapoznawcza
Rozwiązanie Copilot for Data Factory (potok danych) umożliwia klientom tworzenie potoków danych przy użyciu języka naturalnego i zawiera wskazówki dotyczące rozwiązywania problemów.
Ulepszone powiadomienia e-mail dotyczące niepowodzeń odświeżania
Szacowana oś czasu wydania: Q3 2024
Typ wydania: publiczna wersja zapoznawcza
Powiadomienia e-mail umożliwiają twórcom przepływu danych Gen2 monitorowanie wyników (powodzenie/niepowodzenie) operacji odświeżania przepływu danych.
Obsługa wywoływania potoków danych między obszarami roboczymi
Szacowana oś czasu wydania: Q3 2024
Typ wydania: publiczna wersja zapoznawcza
Wywołaj aktualizację działania Potoki: włączamy nowe i ekscytujące aktualizacje działania Wywołaj potok. W odpowiedzi na przytłaczające żądania klientów i społeczności włączamy uruchamianie potoków danych w różnych obszarach roboczych. Teraz będzie można wywoływać potoki z innych obszarów roboczych, do których masz dostęp. Umożliwi to bardzo ekscytujące wzorce przepływu pracy danych, które mogą korzystać ze współpracy z zespołami inżynieryjnymi i integracyjnymi danych w obszarach roboczych i w różnych zespołach funkcjonalnych.
Umożliwienie klientom parametryzacji połączeń
Szacowana oś czasu wydania: Q4 2024
Typ wydania: publiczna wersja zapoznawcza
Połączenia zapewniają wspólną platformę do definiowania łączności i uwierzytelniania dla magazynów danych. Te połączenia mogą być współużytkowane przez różne elementy. Dzięki obsłudze parametryzacji będzie można tworzyć złożone i wielokrotnego użytku potoki, notesy, przepływy danych i inne typy elementów.
Dostarczane funkcje
Nowe łączniki dla działania kopiowania
Wysłane (Q2 2024)
Typ wydania: publiczna wersja zapoznawcza
Nowe łączniki zostaną dodane do działanie Kopiuj, aby umożliwić klientowi pozyskiwanie z następujących źródeł przy użyciu potoku danych: Oracle, MySQL, Azure AI Search, Azure Files, Dynamics AX, Google BigQuery.
Przepływy pracy danych: tworzenie potoków danych obsługiwanych przez platformę Apache Airflow
Wysłane (Q2 2024)
Typ wydania: publiczna wersja zapoznawcza
Przepływy pracy danych są obsługiwane przez platformę Apache Airflow i oferują zintegrowane środowisko uruchomieniowe Apache Airflow, co umożliwia łatwe tworzenie, wykonywanie i planowanie grup DAG języka Python.
Obsługa potoku danych dla elementu SparkJobDefinition
Wysłane (Q2 2024)
Typ wydania: ogólna dostępność
Teraz możesz wykonać kod platformy Spark, w tym pliki JAR, bezpośrednio z działania potoku. Wystarczy wskazać kod platformy Spark, a potok wykona zadanie w klastrze Spark w sieci szkieletowej. To nowe działanie umożliwia ekscytujące wzorce przepływu pracy danych, które wykorzystują możliwości aparatu Spark usługi Fabric, w tym przepływ sterowania usługi Data Factory i przepływ danych w tym samym potoku co zadania platformy Spark.
Obsługa potoku danych dla usługi Azure HDInsight
Wysłane (Q2 2024)
Typ wydania: ogólna dostępność
HDInsight to usługa PaaS platformy Azure dla platformy Hadoop, która umożliwia deweloperom tworzenie bardzo zaawansowanych rozwiązań do obsługi danych big data w chmurze. Nowe działanie potoku usługi HDI umożliwi działania zadań usługi HDInsights wewnątrz potoków danych usługi Data Factory podobne do istniejącej funkcji, które zostały włączone przez lata w potokach usług ADF i Synapse. Teraz ta funkcja została przeniesiona bezpośrednio do potoków danych sieci szkieletowej.
Obsługa potoku danych dla wyzwalaczy sterowanych zdarzeniami
Wysłane (Q2 2024)
Typ wydania: publiczna wersja zapoznawcza
Typowym przypadkiem użycia wywoływania potoków danych usługi Data Factory jest wyzwalanie potoku po zdarzeniach plików, takich jak przybycie pliku i usuwanie plików. W przypadku klientów pochodzących z usług ADF lub Synapse do sieci szkieletowej użycie zdarzeń magazynu usługi ADLS/blogów jest bardzo powszechne jako sposób sygnału dla nowego wykonania potoku lub przechwytywania nazw utworzonych plików. Wyzwalacze w usłudze Fabric Data Factory wykorzystują możliwości platformy sieci szkieletowej, w tym wyzwalacze EventStreams i Refleks. Wewnątrz kanwy projektu potoku usługi Fabric Data Factory będzie dostępny przycisk Wyzwalacz, który można nacisnąć, aby utworzyć wyzwalacz refleksu dla potoku lub utworzyć wyzwalacz bezpośrednio z poziomu środowiska aktywowania danych.
Domyślne ustawienia przejściowe dla miejsca docelowego wyjściowego przepływu danych 2. generacji
Wysłane (Q2 2024)
Typ wydania: publiczna wersja zapoznawcza
Usługa Dataflow Gen2 zapewnia możliwości pozyskiwania danych z szerokiego zakresu źródeł danych do usługi Fabric OneLake. W przypadku przemieszczania tych danych można je przekształcić na dużą skalę przy użyciu aparatu Dataflows Gen2 o dużej skali (opartego na obliczeniach SQL usługi Fabric Lakehouse/Warehouse).
Domyślnym zachowaniem dla przepływów danych Gen2 jest przygotowanie danych w usłudze OneLake w celu włączenia przekształceń danych na dużą skalę. Chociaż działa to świetnie w przypadku scenariuszy o dużej skali, nie działa tak dobrze w scenariuszach obejmujących pozyskiwanie małych ilości danych, biorąc pod uwagę, że wprowadza dodatkowy przeskok (przejściowy) dla danych, zanim ostatecznie zostanie załadowany do miejsca docelowego przepływu danych wyjściowych.
Dzięki zaplanowanym ulepszeniom dostrajamy domyślne zachowanie przejściowe, które ma zostać wyłączone, w przypadku zapytań z miejscem docelowym danych wyjściowych, które nie wymaga przemieszczania (czyli usługi Fabric Lakehouse i Azure SQL Database).
Zachowanie przejściowe można skonfigurować ręcznie dla poszczególnych zapytań za pośrednictwem okienka Ustawienia zapytania lub menu kontekstowego zapytania w okienku Zapytania.
Zarządzanie tożsamościami źródła danych (SPN)
Wysłane (Q2 2024)
Typ wydania: ogólna dostępność
Jednostka usługi — aby uzyskać dostęp do zasobów zabezpieczonych przez dzierżawę usługi Azure AD, jednostka, która wymaga dostępu, musi być reprezentowana przez jednostkę zabezpieczeń. Połączenie ze źródłami danych będzie możliwe za pomocą jednostki usługi.
Uzyskiwanie ulepszeń środowiska danych (Przeglądanie zasobów platformy Azure)
Wysłane (Q1 2024)
Typ wydania: publiczna wersja zapoznawcza
Przeglądanie zasobów platformy Azure zapewnia bezproblemową nawigację w celu przeglądania zasobów platformy Azure. Możesz łatwo nawigować po subskrypcjach platformy Azure i łączyć się ze źródłami danych za pomocą intuicyjnego interfejsu użytkownika. Ułatwia szybkie znajdowanie potrzebnych danych i łączenie się z nimi.
Obsługa lokalnej bramy danych (OPDG) dodana do potoków danych
Wysłane (Q1 2024)
Typ wydania: publiczna wersja zapoznawcza
Ta funkcja umożliwia potokom danych używanie bram danych sieci szkieletowej do uzyskiwania dostępu do danych lokalnych i za siecią wirtualną. W przypadku użytkowników korzystających z własnych środowisk Integration Runtime (SHIR) będą mogli przejść do lokalnych bram danych w sieci szkieletowej.
Obsługa szybkiego kopiowania w przepływie danych Gen2
Wysłane (Q1 2024)
Typ wydania: publiczna wersja zapoznawcza
Dodajemy obsługę pozyskiwania danych na dużą skalę bezpośrednio w środowisku usługi Dataflow Gen2, korzystając z możliwości działania kopiowania potoków. Obsługuje to źródła takich baz danych Azure SQL Database, CSV i Parquet w usługach Azure Data Lake Storage i Blob Storage.
To ulepszenie znacznie skaluje w górę pojemność przetwarzania danych w usłudze Dataflow Gen2, zapewniając możliwości ELT (Extract-Load-Transform).
Integracja usługi Data Factory z usługą Git dla potoków danych
Wysłane (Q1 2024)
Typ wydania: publiczna wersja zapoznawcza
Możesz połączyć się z repozytorium Git, aby tworzyć potoki danych w sposób współpracy. Integracja potoków danych z funkcją zarządzania cyklem życia aplikacji (ALM) platformy Fabric umożliwia kontrolę wersji, rozgałęzianie, zatwierdzenia i żądania ściągnięcia.
Ulepszenia miejsc docelowych danych wyjściowych w przepływie danych Gen2 (schemat zapytania)
Wysłane (Q1 2024)
Typ wydania: publiczna wersja zapoznawcza
Ulepszamy miejsca docelowe danych wyjściowych w usłudze Dataflow Gen2 przy użyciu następujących wysoce żądanych możliwości:
- Możliwość obsługi zmian schematu zapytania po skonfigurowaniu miejsca docelowego danych wyjściowych.
- Domyślne ustawienia docelowe przyspieszające tworzenie przepływów danych.
Aby dowiedzieć się więcej, zobacz Dataflow Gen2 data destinations and managed settings (Miejsca docelowe danych przepływu danych gen2 i ustawienia zarządzane)
Anulowanie obsługi odświeżania w usłudze Dataflow Gen2
Wysłane (Q4 2023)
Typ wydania: publiczna wersja zapoznawcza
Dodajemy obsługę anulowania trwających odświeżeń przepływu danych Gen2 z widoku elementów obszaru roboczego.