Ograniczenia rurociągu

Poniżej przedstawiono ograniczenia potoków Lakeflow, które warto znać podczas tworzenia potoków:

• Obszar roboczy usługi Azure Databricks jest ograniczony do 1000 równoczesnych aktualizacji potoku. Liczba zestawów danych, które może zawierać pojedynczy potok, zależy od konfiguracji potoku i złożoności obciążenia.

• Konfiguracja potoku obejmuje odwołania do plików źródłowych i folderów.

  • Jeśli konfiguracja odwołuje się tylko do pojedynczych notesów lub plików, limit na potok wynosi 100 plików źródłowych.

  • Jeśli konfiguracja zawiera foldery, można uwzględnić maksymalnie 50 wpisów źródłowych składających się z plików lub folderów.

    Odwoływanie się do folderu pośrednio odwołuje się do plików w tym folderze. W takim przypadku limit liczby plików, do których odwołuje się (bezpośrednio lub pośrednio) wynosi 1000.

  Jeśli potrzebujesz więcej niż 100 plików źródłowych, organizuj je w folderach. Aby dowiedzieć się, jak używać folderów do przechowywania plików źródłowych, zobacz Przeglądarkę zasobów pipeline’u w edytorze pipeline’u Lakeflow.

• Zestawy danych potoku można definiować tylko raz. W związku z tym mogą one być celem tylko jednej operacji we wszystkich potokach. Wyjątkiem są tabele przesyłania strumieniowego z przetwarzaniem przyrostowym, co umożliwia zapisywanie danych w takiej tabeli z wielu różnych źródeł strumieniowych. Zobacz przepływy domyślne i dołączane.

• Kolumny tożsamości mają następujące ograniczenia. Aby dowiedzieć się więcej o kolumnach tożsamości w tabelach delty, zobacz Kolumny tożsamości.

  • Kolumny tożsamości nie są obsługiwane w przypadku tabel, które są obiektem docelowym automatycznego przetwarzania CDC.
  • Kolumny tożsamości mogą zostać ponownie przeliczone podczas aktualizacji widoków materializowanych. W związku z tym usługa Databricks zaleca używanie kolumn identyfikacyjnych w potokach tylko z tabelami przesyłania strumieniowego.

• Domyślnie zmaterializowane widoki i tabele strumieniowe są dostępne tylko dla klientów i aplikacji usługi Azure Databricks. Aby udostępnić je systemom zewnętrznym, zobacz Access materialized views and streaming tables using external systems (Uzyskiwanie dostępu do zmaterializowanych widoków i tabel przesyłania strumieniowego przy użyciu systemów zewnętrznych).

• Istnieją ograniczenia dotyczące obliczeń usługi Databricks wymaganych do uruchamiania potoków Unity Catalog i wykonywania zapytań względem tych potoków. Zobacz Wymagania dotyczące potoków publikowanych w Unity Catalog.

• Zapytania czasowe w Delta Lake są obsługiwane tylko dla tabel strumieniowych i nie są obsługiwane dla zmaterializowanych widoków. Zobacz Praca z historią tabel.

• Funkcja pivot() nie jest obsługiwana. Operacja pivot na platformie Spark wymaga załadowania danych wejściowych, aby obliczyć schemat wyjściowy. Ta funkcja nie jest obsługiwana w potokach.

Informacje o limitach zasobów potoków Lakeflow znajdują się w sekcji Limity zasobów.