Ograniczenia rurociągu

Następujące ograniczenia są ważne do poznania podczas tworzenia pipeline'ów:

• Przestrzeń robocza Azure Databricks jest ograniczona do 1 000 równoczesnych aktualizacji potoków. Liczba zbiorów danych, które może zawierać pojedynczy potok, jest ograniczona do 1 000, ale podczas aktualizacji potoku może zabraknąć pamięci lub innych zasobów przed osiągnięciem tego limitu. Praktyczny limit jest określany przez konfigurację potoku i złożoność obciążenia. Limity zasobów znajdziesz w artykule Limity zasobów.

• Konfiguracja potoku obejmuje odwołania do plików źródłowych i folderów.

  • Jeśli konfiguracja odwołuje się tylko do pojedynczych notesów lub plików, limit na potok wynosi 100 plików źródłowych.

  • Jeśli konfiguracja zawiera foldery, można uwzględnić maksymalnie 50 wpisów źródłowych składających się z plików lub folderów.

    Odwoływanie się do folderu pośrednio odwołuje się do plików w tym folderze. W takim przypadku limit liczby plików, do których odwołuje się (bezpośrednio lub pośrednio) wynosi 1000.

  Jeśli potrzebujesz więcej niż 100 plików źródłowych, organizuj je w folderach. Aby dowiedzieć się, jak używać folderów do przechowywania plików źródłowych, zobacz Przeglądarkę zasobów pipeline’u w edytorze pipeline’u Lakeflow.

• Zestawy danych potoku można definiować tylko raz. W związku z tym mogą one być celem tylko jednej operacji we wszystkich potokach. Wyjątkiem są tabele przesyłania strumieniowego z przetwarzaniem przyrostowym, co umożliwia zapisywanie danych w takiej tabeli z wielu różnych źródeł strumieniowych. Zobacz przepływy domyślne i dołączane.

• Kolumny tożsamości mają następujące ograniczenia. Aby dowiedzieć się więcej o kolumnach tożsamości w tabelach delty, zobacz Kolumny tożsamości.

  • Kolumny tożsamości nie są obsługiwane w przypadku tabel, które są obiektem docelowym automatycznego przetwarzania CDC.
  • Kolumny tożsamości mogą zostać ponownie przeliczone podczas aktualizacji widoków materializowanych. W związku z tym usługa Databricks zaleca używanie kolumn identyfikacyjnych w potokach tylko z tabelami przesyłania strumieniowego.

• Domyślnie zmaterializowane widoki i tabele strumieniowe są dostępne tylko dla klientów i aplikacji usługi Azure Databricks. Aby udostępnić je systemom zewnętrznym, zobacz Access materialized views and streaming tables using external systems (Uzyskiwanie dostępu do zmaterializowanych widoków i tabel przesyłania strumieniowego przy użyciu systemów zewnętrznych).

• Istnieją ograniczenia dotyczące obliczeń usługi Databricks wymaganych do uruchamiania potoków Unity Catalog i wykonywania zapytań względem tych potoków. Zobacz Wymagania dotyczące potoków publikowanych w Unity Catalog.

• Zapytania czasowe w Delta Lake są obsługiwane tylko dla tabel strumieniowych i nie są obsługiwane dla zmaterializowanych widoków. Zobacz Praca z historią tabel.

• Funkcja pivot() nie jest obsługiwana. Operacja pivot na platformie Spark wymaga załadowania danych wejściowych, aby obliczyć schemat wyjściowy. Ta funkcja nie jest obsługiwana w potokach.

• Tożsamość run-as potoku może być grupą kont, ale grupa musi być grupą kont przypisaną do przestrzeni roboczej. Grupy lokalne dla obszaru roboczego nie mogą służyć jako tożsamość uruchomieniowa; nie dotyczy to również ogólnych grup wbudowanych admins, users i account users. Zobacz Ustaw tożsamość run-as na grupę.

• W tabeli systemowejpipeline_events zdarzenia dla tabel z ponad 2 500 kolumnami lub przepływów z ponad 1 000 oczekiwań mogą być skróconedetails.

Informacje o limitach zasobów potoków Lakeflow znajdują się w sekcji Limity zasobów.