Omezení režimu výpočetního přístupu pro katalog Unity

Databricks doporučuje pro většinu úloh používat katalog Unity a režim sdíleného přístupu. Tento článek popisuje různá omezení pro každý režim přístupu pomocí katalogu Unity. Podrobnosti o režimech přístupu najdete v tématu Režimy přístupu.

Databricks doporučuje používat zásady výpočetních prostředků ke zjednodušení možností konfigurace pro většinu uživatelů. Viz Vytvoření a správa zásad výpočetních prostředků.

Poznámka:

Sdílení bez izolace je starší režim přístupu, který nepodporuje katalog Unity.

Důležité

Inicializační skripty a knihovny mají různé podpory napříč režimy přístupu a verzemi Databricks Runtime. Podívejte se , kde lze inicializační skripty nainstalovat? a knihovny v oboru clusteru.

Omezení režimu přístupu jednoho uživatele v katalogu Unity

Režim přístupu jednoho uživatele v katalogu Unity má následující omezení. Toto jsou kromě obecných omezení pro všechny režimy přístupu ke katalogu Unity. Viz Obecná omezení pro katalog Unity.

Jemně odstupňovaná omezení řízení přístupu pro režim přístupu jednoho uživatele v katalogu Unity

• Dynamická zobrazení nejsou podporována.

• Pokud chcete číst ze zobrazení, musíte mít SELECT všechny odkazované tabulky a zobrazení.

• Nelze získat přístup k tabulce, která má filtr řádků nebo masku sloupce.

• K dotazování tabulek vytvořených kanálem Delta Live Tables s podporou katalogu Unity, včetně streamovaných tabulek a materializovaných zobrazení vytvořených v Databricks SQL, nemůžete použít výpočetní prostředky jednoho uživatele. Pokud chcete dotazovat tabulky vytvořené kanálem Delta Live Tables, musíte použít sdílený výpočetní výkon pomocí Databricks Runtime 13.3 LTS a vyšší.

Omezení streamování pro režim přístupu jednoho uživatele v katalogu Unity

• Asynchronní vytváření kontrolních bodů není podporováno v Databricks Runtime 11.3 LTS a níže.

Omezení režimu sdíleného přístupu v katalogu Unity

Režim sdíleného přístupu v katalogu Unity má následující omezení. Toto jsou kromě obecných omezení pro všechny režimy přístupu ke katalogu Unity. Viz Obecná omezení pro katalog Unity.

• Databricks Runtime ML a knihovna Učení Spark Machine (MLlib) se nepodporují.

• Úlohy odeslání Sparku se nepodporují.

• V Databricks Runtime 13.3 a vyšší nesmí jednotlivé řádky překročit maximální velikost 128 MB.

• Při použití s předáváním přihlašovacích údajů jsou funkce katalogu Unity zakázané.

• Vlastní kontejnery nejsou podporovány.

Podpora jazyků pro režim sdíleného přístupu katalogu Unity

• Jazyk R se nepodporuje.
• Scala se podporuje ve službě Databricks Runtime 13.3 a vyšší.

Omezení rozhraní Spark API pro režim sdíleného přístupu katalogu Unity

• Rozhraní API sady RDD se nepodporují.
• DbUtils a další klienti, kteří přímo čtou data z cloudového úložiště, se podporují jenom v případech, kdy pro přístup k umístění úložiště používáte externí umístění. Viz Vytvoření externího umístění pro připojení cloudového úložiště k Azure Databricks.
• Kontext Sparku (sc),spark.sparkContexta sqlContext nejsou podporovány pro Scala v jakémkoli modulu Databricks Runtime a nejsou podporovány pro Python v Databricks Runtime 14.0 a vyšší.
  • Databricks doporučuje používat spark proměnnou k interakci SparkSession s instancí.
  • sc Následující funkce se také nepodporují: emptyRDD, , range, init_batched_serializer, parallelize, pickleFile, textFile, wholeTextFiles, , setJobGroupsetSystemPropertyrunJobuiWebUrlunionstopsetLocalPropertybinaryRecordsnewAPIHadoopFilegetConfsequenceFilenewAPIHadoopRDDhadoopFilehadoopRDDbinaryFiles

Omezení definovaná uživatelem pro režim sdíleného přístupu katalogu Unity

Důležité

Podpora uživatelem definovaných funkcí Scala ve výpočetním režimu s podporou katalogu Unity s režimem sdíleného přístupu je ve verzi Public Preview.

Uživatelem definované funkce (UDF) mají následující omezení s režimem sdíleného přístupu:

• Funkce definované uživatelem Hivu se nepodporují.

• applyInPandas a mapInPandas nejsou podporovány v Databricks Runtime 14.2 a níže.

• Ve službě Databricks Runtime 14.2 a novějších jsou podporovány skalární uživatelem definované uživatelem scala. Jiné uživatelem definované funkce Scala a UDAF se nepodporují.

• Ve službě Databricks Runtime 13.3 LTS a vyšší jsou podporované skalární uživatelem definované funkce Pythonu a uživatelem definované uživatelem pandas. Jiné uživatelem definované funkce Pythonu, včetně UDAF, UDTFs a Pandas ve Sparku, se nepodporují.

Viz uživatelem definované funkce (UDF) v katalogu Unity.

Omezení streamování pro režim sdíleného přístupu katalogu Unity

Poznámka:

Některé z uvedených možností Kafka mají omezenou podporu při použití pro podporované konfigurace v Azure Databricks. Viz Zpracování datových proudů s využitím Apache Kafka a Azure Databricks.

• Pro Scala foreach a foreachBatch nejsou podporované.
• Pro Python foreachBatch má nové chování v Databricks Runtime 14.0 a vyšší. Viz Změny chování foreachBatch v Databricks Runtime 14.0.
• Pro Scala vyžaduje from_avro Databricks Runtime 14.2 nebo vyšší.
• applyInPandasWithState není podporováno.
• Práce se zdroji soketů není podporována.
• Musí sourceArchiveDir být ve stejném externím umístění jako zdroj při použití option("cleanSource", "archive") se zdrojem dat spravovaným katalogem Unity.
• Pro zdroje a jímky Kafka nejsou podporovány následující možnosti:
  • kafka.sasl.client.callback.handler.class
  • kafka.sasl.login.callback.handler.class
  • kafka.sasl.login.class
  • kafka.partition.assignment.strategy
• Následující možnosti Kafka jsou podporovány v Databricks Runtime 13.3 LTS a vyšší, ale nepodporuje se v Databricks Runtime 12.2 LTS. Pro tyto možnosti můžete zadat pouze externí umístění spravovaná katalogem Unity:
  • kafka.ssl.truststore.location
  • kafka.ssl.keystore.location

Omezení přístupu k síti a systému souborů pro režim sdíleného přístupu katalogu Unity

• Musí spouštět příkazy na výpočetních uzlech jako uživatel s nízkými oprávněními zakázáno přistupovat k citlivým částem systému souborů.

• V Databricks Runtime 11.3 LTS a níže můžete vytvořit pouze síťová připojení k portům 80 a 443.

• Nejde se připojit ke službě metadat instance nebo k Azure WireServeru.

Obecná omezení pro katalog Unity

Následující omezení platí pro všechny režimy přístupu s podporou katalogu Unity.

Omezení streamování pro katalog Unity

• Režim průběžného zpracování Apache Sparku se nepodporuje. Viz průběžné zpracování v průvodci programováním strukturovaného streamování Sparku.
• StreamingQueryListener nemůže používat přihlašovací údaje nebo pracovat s objekty spravovanými katalogem Unity.

Viz také omezení streamování pro režim přístupu jednoho uživatele v katalogu Unity a omezení streamování pro režim sdíleného přístupu katalogu Unity.

Další informace o streamování pomocí katalogu Unity najdete v tématu Použití katalogu Unity se strukturovaným streamováním.