Wymagania i ograniczenia wykazu aparatu Unity

Na tej stronie opisano wymagania obliczeniowe, obsługiwane formaty plików, ograniczenia nazewnictwa i znane ograniczenia dotyczące wykazu aparatu Unity.

Obsługa regionów

Wszystkie regiony obsługują Unity Catalog. Aby uzyskać szczegółowe informacje, zobacz Regiony usługi Azure Databricks.

Wymagania dotyczące obliczeń

Unity Catalog jest obsługiwany na klastrach z uruchomionym Databricks Runtime 11.3 LTS lub nowszym. Katalog Unity jest domyślnie obsługiwany we wszystkich wersjach obliczeniowych SQL Warehouse.

Klastry działające we wcześniejszych wersjach Databricks Runtime nie zapewniają obsługi wszystkich funkcji i możliwości Unity Catalog w wersji GA.

Aby uzyskać dostęp do danych w Unity Catalog, klastry muszą być skonfigurowane z odpowiednim trybem dostępu. Katalog aparatu Unity jest domyślnie bezpieczny. Jeśli klaster nie jest skonfigurowany w standardowym lub dedykowanym trybie dostępu, nie może uzyskać dostępu do danych w Unity Catalog. Zobacz tryby dostępu.

Aby uzyskać szczegółowe informacje o zmianach w funkcjonalności Unity Catalog w każdej wersji Databricks Runtime, zobacz uwagi o wersji.

Obsługa formatu pliku

Katalog Unity obsługuje następujące formaty tabel.

Zabezpieczane wymagania dotyczące nazewnictwa obiektów

Obowiązują następujące ograniczenia dotyczące wszystkich nazw obiektów w katalogu Unity.

  • Nazwy obiektów nie mogą przekraczać 255 znaków.
  • Następujące znaki specjalne są niedozwolone:
    • Okres (.)
    • Spacja ( )
    • Ukośnik do przodu (/)
    • Wszystkie znaki sterujące ASCII (szesnastkowy 00-1F)
    • Znak DELETE (7F w systemie szesnastkowym)
  • Unity Catalog przechowuje wszystkie nazwy obiektów w formie małych liter.
  • W przypadku odwoływania się do nazw UC w języku SQL należy użyć znaków odwrotnych apostrofów, aby odpowiednio oznaczyć nazwy zawierające znaki specjalne, takie jak łączniki (-).

Note

Nazwy kolumn mogą używać znaków specjalnych, ale muszą być zapisane w cudzysłowie odwrotnym we wszystkich poleceniach SQL, gdy używa się znaków specjalnych. Katalog Unity zachowuje wielkość liter nazw kolumn, ale zapytania względem tabel Katalogu Unity są niewrażliwe na wielkość liter.

Ograniczenia

Katalog Unity ma następujące ograniczenia. Niektóre z nich są specyficzne dla starszych wersji środowiska Databricks Runtime i trybów dostępu obliczeniowego.

Obciążenia strukturalnego przesyłania strumieniowego mają dodatkowe ograniczenia, w zależności od wersji Databricks Runtime i trybu dostępu. Zobacz Wymagania i ograniczenia dotyczące obliczeń standardowych orazwymagania i ograniczenia dotyczące dedykowanych zasobów obliczeniowych.

Usługa Databricks udostępnia nowe funkcje, które regularnie zmniejszają tę listę.

  • Nie można używać grup utworzonych wcześniej w obszarze roboczym (czyli grupach na poziomie obszaru roboczego) w instrukcjach wykazu GRANT aparatu Unity. Ma to na celu zapewnienie spójnego widoku grup, które mogą rozciągać się na różne obszary robocze. Aby użyć grup w GRANT instrukcjach, utwórz grupy na poziomie konta i zaktualizuj dowolną automatyzację zarządzania podmiotami lub grupami (takimi jak łączniki SCIM, Okta, Microsoft Entra ID oraz Terraform), aby odnosić się do punktów końcowych konta zamiast punktów końcowych obszaru roboczego. Zobacz Źródła grup.
  • Obciążenia w języku R nie obsługują używania widoków dynamicznych na poziomie wiersza lub na poziomie kolumny w obliczeniach z uruchomionym środowiskiem Databricks Runtime 15.3 lub starszym.
    • Użyj dedykowanego zasobu obliczeniowego z uruchomionym środowiskiem Databricks Runtime 15.4 LTS lub nowszym dla obciążeń w języku R, które wysyłają zapytania o dynamiczne widoki. Takie obciążenia wymagają również obszaru roboczego, który jest włączony dla bezserwerowych obliczeń. Aby uzyskać szczegółowe informacje, zobacz Szczegółowa kontrola dostępu w dedykowanych obliczeniach.
  • Tabelę zarządzaną można płytko sklonować do innej zarządzanej tabeli w środowisku Databricks Runtime 13.3 LTS lub nowszym. Można płytko sklonować tabelę zewnętrzną do innej tabeli zewnętrznej na Databricks Runtime 14.2 lub nowszym. Nie można płytko sklonować tabeli zarządzanej do tabeli zewnętrznej. Ponadto tabela zewnętrzna nie może być płytko sklonowana do zarządzanej tabeli. Aby uzyskać więcej informacji, zobacz Płytkie klonowanie tabel w katalogu Unity.
  • Partycjonowanie nie jest obsługiwane w przypadku tabel Unity Catalog. Jeśli wykonasz polecenia, które próbują utworzyć tabelę zgrupowaną w Unity Catalog, zostanie zgłoszony wyjątek.
  • Zapisywanie w tej samej lokalizacji lub tabeli usługi Delta Lake z obszarów roboczych w wielu regionach może prowadzić do nieprzewidywalnej wydajności, jeśli niektóre klastry uzyskują dostęp do Unity Catalog, a inne nie.
  • Manipulowanie partycjami dla tabel zewnętrznych przy użyciu poleceń, takich jak ALTER TABLE ADD PARTITION wymaga włączenia rejestrowania metadanych partycji. Zobacz Wykrywanie partycji dla tabel zewnętrznych.
  • W przypadku używania trybu zastępowania dla tabel, które nie są w formacie delty, użytkownik musi mieć uprawnienia CREATE TABLE w schemacie nadrzędnym i musi być właścicielem istniejącego obiektu LUB mieć uprawnienie MODIFY w obiekcie.
  • Wersje 12.2 LTS i wcześniejsze środowiska Databricks Runtime nie obsługują funkcji zdefiniowanych przez użytkownika w języku Python. Obejmuje to funkcje agregacyjne zdefiniowane przez użytkownika (UDAFs), funkcje tabelaryczne zdefiniowane przez użytkownika (UDTFs) oraz biblioteki Pandas na platformie Spark (applyInPandas i mapInPandas). Skalarne funkcje zdefiniowane przez użytkownika w języku Python są obsługiwane w Databricks Runtime w wersji 13.3 LTS i wyższej.
  • Funkcje zdefiniowane przez użytkownika języka Scala nie są obsługiwane w środowisku Databricks Runtime 14.1 i nowszym w środowisku obliczeniowym ze standardowym trybem dostępu. Skalarne funkcje zdefiniowane przez użytkownika są obsługiwane w środowisku Databricks Runtime 14.2 lub nowszym w środowisku obliczeniowym ze standardowym trybem dostępu.
  • Pule wątków w języku Scala w wariancie standardowym nie są obsługiwane. Zamiast tego użyj specjalnych pul wątków w org.apache.spark.util.ThreadUtils, na przykład org.apache.spark.util.ThreadUtils.newDaemonFixedThreadPool. Jednak następujące pule wątków w ThreadUtils nie są obsługiwane: ThreadUtils.newForkJoinPool oraz pula wątków w ScheduledExecutorService.
  • Dzienniki diagnostyczne platformy Azure rejestrują tylko zdarzenia Unity Catalog na poziomie obszaru roboczego. Aby wyświetlić akcje na poziomie konta, należy użyć tabeli systemu dzienników inspekcji. Zobacz tabela systemu dziennika audytu.

Modele zarejestrowane w Unity Catalog mają dodatkowe ograniczenia. Zobacz Ograniczenia.

Przydziały zasobów

Unity Catalog wymusza limity przydziału zasobów dla wszystkich zabezpieczanych obiektów. Te limity przydziału są wymienione w temacie Limity zasobów. Jeśli oczekujesz przekroczenia tych limitów zasobów, skontaktuj się z zespołem ds. kont Azure Databricks.

Można monitorować użycie limitu przydziału przy użyciu API do zarządzania limitami zasobów Unity Catalog. Zobacz Monitorowanie użycia przydziałów zasobów w Unity Catalog.

  • Last updated on