A Unity Catalog számítási hozzáférési módra vonatkozó korlátozásai

  • Cikk

A Databricks a Unity Catalog és a megosztott hozzáférési mód használatát javasolja a legtöbb számítási feladathoz. Ez a cikk a Unity Catalog egyes hozzáférési módjaira vonatkozó különböző korlátozásokat ismerteti. A hozzáférési módokról további információt az Access módokat ismertető cikkben talál.

A Databricks számítási szabályzatok használatát javasolja a legtöbb felhasználó konfigurációs beállításainak egyszerűsítése érdekében. Lásd: Számítási szabályzatok létrehozása és kezelése.

Feljegyzés

A megosztott elkülönítés nélküli mód egy örökölt hozzáférési mód, amely nem támogatja a Unity Katalógust.

Fontos

Az Init-szkriptek és -kódtárak különböző támogatással rendelkeznek a hozzáférési módok és a Databricks Runtime-verziók között. Lásd: Hol telepíthetők init-szkriptek? és fürt hatókörű kódtárak.

Az egyfelhasználós hozzáférési mód korlátozásai a Unity-katalógusban

A Unity Catalog egyfelhasználós hozzáférési módja az alábbi korlátozásokkal rendelkezik. Ezek a Unity Catalog összes hozzáférési módjára vonatkozó általános korlátozásokon kívül vannak. Lásd a Unity Catalog általános korlátozásait.

A Unity Catalog egyfelhasználós hozzáférési módjának részletes hozzáférés-vezérlési korlátozásai

  • A dinamikus nézetek nem támogatottak.

  • A nézetből való olvasáshoz minden hivatkozott táblán és nézeten rendelkeznie SELECT kell.

  • Sorszűrővel vagy oszlopmaszkpal rendelkező táblázat nem érhető el.

  • Egyetlen felhasználói számítással nem kérdezhet le egy Unity Catalog-kompatibilis Delta Live Tables-folyamat által létrehozott táblákat, beleértve a Databricks SQL-ben létrehozott streamelési táblákat és materializált nézeteket . A Delta Live Tables-folyamat által létrehozott táblák lekérdezéséhez közös számítást kell használnia a Databricks Runtime 13.3 LTS és újabb használatával.

Streamelési korlátozások a Unity Catalog egyfelhasználós hozzáférési módjához

  • Az aszinkron ellenőrzőpont-készítés nem támogatott a Databricks Runtime 11.3 LTS-ben és alább.

Megosztott hozzáférési mód korlátozásai a Unity-katalógusban

A Unity Catalog megosztott hozzáférési módja az alábbi korlátozásokkal rendelkezik. Ezek a Unity Catalog összes hozzáférési módjára vonatkozó általános korlátozásokon kívül vannak. Lásd a Unity Catalog általános korlátozásait.

  • A Databricks Runtime ML és a Spark Machine Tanulás Library (MLlib) nem támogatott.

  • A Spark küldési feladatok nem támogatottak.

  • A Databricks Runtime 13.3-nál vagy újabb verzióiban az egyes sorok mérete nem haladhatja meg a 128 MB maximális méretet.

  • Hitelesítő adatok átengedésekor a Unity Catalog funkciói le vannak tiltva.

  • Az egyéni tárolók nem támogatottak.

A Unity Catalog megosztott hozzáférési módjának nyelvi támogatása

  • Az R nem támogatott.
  • A Scala a Databricks Runtime 13.3-at és újabb verzióját támogatja.

A Spark API korlátozásai a Unity Catalog megosztott hozzáférési módjához

  • Az RDD API-k nem támogatottak.
  • A DBUtils és más ügyfelek, amelyek közvetlenül olvassák az adatokat a felhőbeli tárolóból, csak akkor támogatottak, ha külső helyet használ a tárolási hely eléréséhez. Lásd: Külső hely létrehozása a felhőbeli tároló Azure Databrickshez való csatlakoztatásához.
  • Spark-környezet (sc),spark.sparkContext, és sqlContext a Scala nem támogatott egyetlen Databricks-futtatókörnyezetben sem, és a Python nem támogatott a Databricks Runtime 14.0-s vagy újabb verziókban.
    • A Databricks azt javasolja, hogy használja a spark változót a SparkSession példány kezeléséhez.
    • A következő sc függvények szintén nem támogatottak: emptyRDD, range, , init_batched_serializer, pickleFileparallelize, textFilebinaryFileswholeTextFiles, binaryRecords, sequenceFile, newAPIHadoopFile, hadoopFilenewAPIHadoopRDD, . hadoopRDDunionrunJobsetSystemPropertyuiWebUrlstopsetJobGroupsetLocalPropertygetConf

A Unity Catalog megosztott hozzáférési módjának UDF-korlátozásai

Fontos

A Scala UDF-ek támogatása a Unity katalógusbarát számítási verziójában megosztott hozzáférési módban nyilvános előzetes verzióban érhető el.

A felhasználó által definiált függvények (UDF-ek) a következő korlátozásokkal rendelkeznek a megosztott hozzáférési móddal:

  • A Hive UDF-ek nem támogatottak.

  • applyInPandas és mapInPandas nem támogatottak a Databricks Runtime 14.2-ben és alatta.

  • A Databricks Runtime 14.2 és újabb verziókban a Scala skaláris UDF-ek támogatottak. Más Scala UDF-ek és UDAF-ek nem támogatottak.

  • A Databricks Runtime 13.3 LTS és újabb verziókban a Python skaláris UDF-ek és a Pandas UDF-ek támogatottak. Más Python-UDF-ek, köztük az UDAF-ek, az UDTF-ek és a Sparkon lévő Pandas nem támogatottak.

Lásd a felhasználó által definiált függvényeket (UDF-eket) a Unity Catalogban.

Streamelési korlátozások a Unity Catalog megosztott hozzáférési módjához

Feljegyzés

A felsorolt Kafka-beállítások némelyike korlátozottan támogatott az Azure Databricks támogatott konfigurációihoz. Tekintse meg az Apache Kafka és az Azure Databricks streamfeldolgozását.

  • Scala esetén, foreach és foreachBatch nem támogatottak.
  • Python foreachBatch esetén a Databricks Runtime 14.0-s vagy újabb verziója új viselkedést vált ki. Tekintse meg a ForeachBatch viselkedési változásait a Databricks Runtime 14.0-ban.
  • A Scala from_avro esetében a Databricks Runtime 14.2-s vagy újabb verziójára van szükség.
  • applyInPandasWithState nem támogatott.
  • A szoftvercsatorna-források használata nem támogatott.
  • A sourceArchiveDir Unity Catalog által felügyelt adatforrás használatakor a forrással option("cleanSource", "archive") azonos külső helyen kell lennie.
  • A Kafka-források és -fogadók esetében a következő lehetőségek nem támogatottak:
    • kafka.sasl.client.callback.handler.class
    • kafka.sasl.login.callback.handler.class
    • kafka.sasl.login.class
    • kafka.partition.assignment.strategy
  • A Következő Kafka-beállítások támogatottak a Databricks Runtime 13.3 LTS és újabb verziókban, de a Databricks Runtime 12.2 LTS-ben nem támogatottak. Ezekhez a beállításokhoz csak a Unity Catalog által felügyelt külső helyeket adhatja meg:
    • kafka.ssl.truststore.location
    • kafka.ssl.keystore.location

Hálózati és fájlrendszer-hozzáférési korlátozások a Unity Catalog megosztott hozzáférési módjához

  • A parancsokat a számítási csomópontokon olyan alacsony jogosultságú felhasználóként kell futtatnia, aki nem fér hozzá a fájlrendszer bizalmas részeihez.

  • A Databricks Runtime 11.3 LTS-ben és az alábbi verziókban csak a 80-443-as portokhoz hozhat létre hálózati kapcsolatokat.

  • Nem lehet csatlakozni a példány metaadat-szolgáltatásához vagy az Azure WireServerhez.

A Unity Catalog általános korlátozásai

Az alábbi korlátozások az összes Unity Catalog-kompatibilis hozzáférési módra vonatkoznak.

A Unity Catalog streamelési korlátozásai

  • Az Apache Spark folyamatos feldolgozási módja nem támogatott. Tekintse meg a folyamatos feldolgozást a Spark strukturált streamelési programozási útmutatójában.
  • StreamingQueryListener nem használhat hitelesítő adatokat, és nem kezelheti a Unity Catalog által felügyelt objektumokat.

Lásd még a Unity Catalog egyfelhasználós hozzáférési módjára és a Streamelési korlátozásokra vonatkozó korlátozásokat a Unity Catalog megosztott hozzáférési módjára vonatkozóan.

A Unity Catalog használatával történő streamelésről további információt a Unity Katalógus strukturált streameléssel való használatával kapcsolatban talál.