Ograniczenia trybu dostępu obliczeniowego dla wykazu aparatu Unity

  • Artykuł

Usługa Databricks zaleca używanie wykazu aparatu Unity i trybu dostępu współdzielonego dla większości obciążeń. W tym artykule opisano różne ograniczenia dotyczące poszczególnych trybów dostępu w wykazie aparatu Unity. Aby uzyskać szczegółowe informacje na temat trybów dostępu, zobacz Tryby dostępu.

Usługa Databricks zaleca używanie zasad obliczeniowych w celu uproszczenia opcji konfiguracji dla większości użytkowników. Zobacz Tworzenie zasad obliczeniowych i zarządzanie nimi.

Uwaga

Udostępnianie bez izolacji jest starszym trybem dostępu, który nie obsługuje wykazu aparatu Unity.

Ważne

Skrypty inicjowania i biblioteki mają różne wsparcie dla trybów dostępu i wersji środowiska Databricks Runtime. Zobacz Gdzie można zainstalować skrypty inicjowania? i Biblioteki o zakresie klastra.

Ograniczenia trybu dostępu pojedynczego użytkownika w wykazie aparatu Unity

Tryb dostępu pojedynczego użytkownika w katalogu aparatu Unity ma następujące ograniczenia. Są to oprócz ogólnych ograniczeń dla wszystkich trybów dostępu wykazu aparatu Unity. Zobacz Ogólne ograniczenia dotyczące wykazu aparatu Unity.

Szczegółowe ograniczenia kontroli dostępu dla trybu dostępu pojedynczego użytkownika wykazu aparatu Unity

  • Widoki dynamiczne nie są obsługiwane.

  • Aby odczytać z widoku, musisz mieć SELECT wszystkie przywołyane tabele i widoki.

  • Nie można uzyskać dostępu do tabeli z filtrem wiersza lub maską kolumny.

  • Nie można użyć pojedynczego obliczeniowego użytkownika do wykonywania zapytań dotyczących tabel utworzonych przez potok tabel delta live tables z obsługą wykazu aparatu Unity, w tym tabel przesyłania strumieniowego i zmaterializowanych widoków utworzonych w usłudze Databricks SQL. Aby wykonać zapytania dotyczące tabel utworzonych przez potok delta Live Tables, należy użyć współużytkowanego środowiska obliczeniowego przy użyciu środowiska Databricks Runtime 13.3 LTS lub nowszego.

Ograniczenia przesyłania strumieniowego dla trybu dostępu pojedynczego użytkownika wykazu aparatu Unity

  • Asynchroniczne punkty kontrolne nie są obsługiwane w środowisku Databricks Runtime 11.3 LTS i poniżej.

Ograniczenia trybu dostępu współdzielonego w wykazie aparatu Unity

Tryb dostępu współdzielonego w katalogu aparatu Unity ma następujące ograniczenia. Są to oprócz ogólnych ograniczeń dla wszystkich trybów dostępu wykazu aparatu Unity. Zobacz Ogólne ograniczenia dotyczące wykazu aparatu Unity.

  • Biblioteka MLlib (MLlib) środowiska Databricks Runtime ML i spark machine Edukacja nie jest obsługiwana.

  • Zadania przesyłania na platformie Spark nie są obsługiwane.

  • W środowisku Databricks Runtime 13.3 lub nowszym pojedyncze wiersze nie mogą przekraczać maksymalnego rozmiaru 128 MB.

  • W przypadku użycia z przekazywaniem poświadczeń funkcje wykazu aparatu Unity są wyłączone.

  • Kontenery niestandardowe nie są obsługiwane.

Obsługa języka dla trybu dostępu współdzielonego wykazu aparatu Unity

  • Język R nie jest obsługiwany.
  • Język Scala jest obsługiwany w środowisku Databricks Runtime 13.3 lub nowszym.

Ograniczenia interfejsu API platformy Spark dla trybu dostępu współdzielonego wykazu aparatu Unity

  • Interfejsy API RDD nie są obsługiwane.
  • Narzędzia DBUtils i inni klienci, którzy bezpośrednio odczytują dane z magazynu w chmurze, są obsługiwane tylko w przypadku korzystania z lokalizacji zewnętrznej w celu uzyskania dostępu do lokalizacji magazynu. Zobacz Tworzenie lokalizacji zewnętrznej w celu połączenia magazynu w chmurze z usługą Azure Databricks.
  • Kontekst platformy Spark (sc)spark.sparkContexti sqlContext nie są obsługiwane w przypadku języka Scala w żadnym środowisku Databricks Runtime i nie są obsługiwane w przypadku języka Python w środowisku Databricks Runtime 14.0 lub nowszym.
    • Usługa Databricks zaleca używanie zmiennej spark do interakcji z wystąpieniem SparkSession .
    • Następujące sc funkcje nie są również obsługiwane: emptyRDD, , range, init_batched_serializersetLocalPropertyrunJobtextFilesetSystemPropertysetJobGroupuniongetConfstopuiWebUrlhadoopRDDhadoopFilenewAPIHadoopRDDnewAPIHadoopFilebinaryRecordswholeTextFilessequenceFileparallelizepickleFilebinaryFiles.

Ograniczenia funkcji UDF dla trybu dostępu współdzielonego wykazu aparatu Unity

Ważne

Obsługa funkcji UDF języka Scala w środowisku obliczeniowym z obsługą wykazu aparatu Unity z trybem dostępu współdzielonego jest dostępna w publicznej wersji zapoznawczej.

Funkcje zdefiniowane przez użytkownika (UDF) mają następujące ograniczenia dotyczące trybu dostępu współdzielonego:

  • Funkcje zdefiniowane przez użytkownika programu Hive nie są obsługiwane.

  • applyInPandas i mapInPandas nie są obsługiwane w środowisku Databricks Runtime 14.2 lub nowszym.

  • W środowisku Databricks Runtime 14.2 lub nowszym obsługiwane są skalarne funkcje zdefiniowane przez użytkownika. Inne funkcje UDF i UDF języka Scala nie są obsługiwane.

  • W środowisku Databricks Runtime 13.3 LTS i nowszym obsługiwane są skalarne funkcje zdefiniowane przez użytkownika języka Python i funkcje zdefiniowane przez użytkownika biblioteki Pandas. Inne funkcje zdefiniowane przez użytkownika języka Python, w tym funkcje UDAFs, funkcje zdefiniowane przez użytkownika i biblioteki Pandas na platformie Spark nie są obsługiwane.

Zobacz Funkcje zdefiniowane przez użytkownika (UDF) w wykazie aparatu Unity.

Ograniczenia przesyłania strumieniowego dla trybu dostępu współdzielonego wykazu aparatu Unity

Uwaga

Niektóre z wymienionych opcji platformy Kafka mają ograniczoną obsługę w przypadku użycia w przypadku obsługiwanych konfiguracji w usłudze Azure Databricks. Zobacz Przetwarzanie strumieniowe przy użyciu platform Apache Kafka i Azure Databricks.

  • W przypadku języka Scala foreach i foreachBatch nie są obsługiwane.
  • W przypadku języka Python foreachBatch ma nowe zachowanie w środowisku Databricks Runtime 14.0 lub nowszym. Zobacz Zmiany zachowania foreachBatch w środowisku Databricks Runtime 14.0.
  • W przypadku języka Scala from_avro wymaga środowiska Databricks Runtime w wersji 14.2 lub nowszej.
  • applyInPandasWithState nie jest obsługiwana.
  • Praca ze źródłami gniazd nie jest obsługiwana.
  • Element sourceArchiveDir musi znajdować się w tej samej lokalizacji zewnętrznej co źródło, gdy jest używane option("cleanSource", "archive") ze źródłem danych zarządzanym przez wykaz aparatu Unity.
  • W przypadku źródeł i ujść platformy Kafka nie są obsługiwane następujące opcje:
    • kafka.sasl.client.callback.handler.class
    • kafka.sasl.login.callback.handler.class
    • kafka.sasl.login.class
    • kafka.partition.assignment.strategy
  • Następujące opcje platformy Kafka są obsługiwane w środowisku Databricks Runtime 13.3 LTS i nowszym, ale nieobsługiwane w środowisku Databricks Runtime 12.2 LTS. Dla tych opcji można określić tylko lokalizacje zewnętrzne zarządzane przez wykaz aparatu Unity:
    • kafka.ssl.truststore.location
    • kafka.ssl.keystore.location

Ograniczenia dostępu do sieci i systemu plików dla trybu dostępu współdzielonego wykazu aparatu Unity

  • Musi uruchamiać polecenia w węzłach obliczeniowych jako użytkownik o niskim poziomie uprawnień zabroniony dostęp do poufnych części systemu plików.

  • W środowisku Databricks Runtime 11.3 LTS i poniżej można tworzyć połączenia sieciowe tylko z portami 80 i 443.

  • Nie można nawiązać połączenia z usługą metadanych wystąpienia lub usługą Azure WireServer.

Ogólne ograniczenia dotyczące wykazu aparatu Unity

Następujące ograniczenia dotyczą wszystkich trybów dostępu z obsługą wykazu aparatu Unity.

Ograniczenia przesyłania strumieniowego dla wykazu aparatu Unity

  • Tryb ciągłego przetwarzania platformy Apache Spark nie jest obsługiwany. Zobacz Ciągłe przetwarzanie w przewodniku programowania przesyłania strumieniowego ze strukturą platformy Spark.
  • StreamingQueryListener Program nie może używać poświadczeń ani wchodzić w interakcje z obiektami zarządzanymi przez wykaz aparatu Unity.

Zobacz również Ograniczenia przesyłania strumieniowego dla trybu dostępu pojedynczego użytkownika w wykazie aparatu Unity i ograniczenia przesyłania strumieniowego dla trybu dostępu współdzielonego wykazu aparatu Unity.

Aby uzyskać więcej informacji na temat przesyłania strumieniowego za pomocą wykazu aparatu Unity, zobacz Używanie wykazu aparatu Unity z przesyłaniem strumieniowym ze strukturą.