Ograniczenia przepływu

Poniżej przedstawiono ograniczenia deklaratywnych potoków Lakeflow Spark, które są ważne podczas opracowywania potoków:

• Środowisko robocze usługi Azure Databricks jest ograniczone do 200 równoczesnych aktualizacji potoku. Liczba zestawów danych, które może zawierać pojedynczy potok, zależy od konfiguracji potoku i złożoności obciążenia.
• Zestawy danych potoku można definiować tylko raz. W związku z tym mogą one być celem tylko jednej operacji we wszystkich potokach. Wyjątkiem są tabele przesyłania strumieniowego z przetwarzaniem przyrostowym, co umożliwia zapisywanie danych w takiej tabeli z wielu różnych źródeł strumieniowych. Zobacz Używanie wielu przepływów do zapisu w jednym obiekcie docelowym.
• Kolumny tożsamości mają następujące ograniczenia. Aby dowiedzieć się więcej o kolumnach tożsamości w tabelach delty, zobacz Używanie kolumn tożsamości w usłudze Delta Lake.
  • Kolumny tożsamości nie są obsługiwane w przypadku tabel, które są obiektem docelowym automatycznego przetwarzania CDC.
  • Kolumny tożsamości mogą zostać ponownie przeliczone podczas aktualizacji widoków materializowanych. W związku z tym usługa Databricks zaleca używanie kolumn identyfikacyjnych w potokach tylko z tabelami przesyłania strumieniowego.
• Materializowane widoki i tabele przesyłania strumieniowego opublikowane z potoków, w tym te utworzone przez usługę Databricks SQL, mogą być dostępne tylko dla klientów i aplikacji usługi Azure Databricks. Jednak aby zmaterializowane widoki i tabele przesyłania strumieniowego były dostępne zewnętrznie, możesz użyć interfejsu sink API do zapisywania w tabelach w zewnętrznym wystąpieniu usługi Delta. Zobacz Sinks in Lakeflow Spark Deklaratative Pipelines (Ujścia w potokach deklaratywnych platformy Spark w usłudze Lakeflow).
• Istnieją ograniczenia dotyczące obliczeń usługi Databricks wymaganych do uruchamiania potoków Unity Catalog i wykonywania zapytań względem tych potoków. Zobacz Wymagania dotyczące potoków publikowanych w Unity Catalog.
• Zapytania dotyczące podróży w czasie usługi Delta Lake są obsługiwane tylko w przypadku tabel przesyłania strumieniowego i nie są obsługiwane w przypadku zmaterializowanych widoków. Zobacz Pracuj z historią tabeli Delta Lake.
• Nie można włączyć Iceberg reads na zmaterializowanych widokach i tabelach strumieniowych.
• Funkcja pivot() nie jest obsługiwana. Operacja pivot na platformie Spark wymaga załadowania danych wejściowych, aby obliczyć schemat wyjściowy. Ta funkcja nie jest obsługiwana w potokach.