Megosztás a következőn keresztül:

A Unity Catalog számítási hozzáférési módra vonatkozó korlátozásai

  • Cikk

A Databricks a Unity Catalog és a megosztott hozzáférési mód használatát javasolja a legtöbb számítási feladathoz. Ez a cikk a Unity Catalog egyes hozzáférési módjaira vonatkozó korlátozásokat és követelményeket ismerteti. A hozzáférési módokról további információt az Access módokat ismertető cikkben talál.

A Databricks számítási szabályzatok használatát javasolja a legtöbb felhasználó konfigurációs beállításainak egyszerűsítése érdekében. Lásd: Számítási szabályzatok létrehozása és kezelése.

Feljegyzés

A megosztott elkülönítés nélküli mód egy örökölt hozzáférési mód, amely nem támogatja a Unity Katalógust.

Fontos

Az Init-szkriptek és -kódtárak különböző támogatással rendelkeznek a hozzáférési módok és a Databricks Runtime-verziók között. Lásd: Hol telepíthetők init-szkriptek? és fürt hatókörű kódtárak.

Az egyfelhasználós hozzáférési mód korlátozásai a Unity-katalógusban

A Unity Catalog egyfelhasználós hozzáférési módja az alábbi korlátozásokkal rendelkezik. Ezek a Unity Catalog összes hozzáférési módjára vonatkozó általános korlátozásokon kívül vannak. Lásd a Unity Catalog általános korlátozásait.

A Unity Catalog egyfelhasználós hozzáférési módjának részletes hozzáférés-vezérlési korlátozásai

A Databricks Runtime 15.3 és újabb verzió esetén az egyfelhasználós számítás részletes hozzáférés-vezérlése nem támogatott. Ezek konkrétan a következők:

  • Sorszűrővel vagy oszlopmaszkpal rendelkező táblázat nem érhető el.
  • A dinamikus nézetek nem érhetők el.
  • Bármely nézetből való olvasáshoz minden olyan táblán és nézeten rendelkeznie SELECT kell, amelyekre a nézet hivatkozik.

Dinamikus nézetek, az alapul szolgáló táblákon és nézeteken nem SELECT szereplő nézetek, valamint sorszűrőkkel vagy oszlopmaszkokkal rendelkező táblák lekérdezéséhez használja az alábbiak egyikét:

  • EGY SQL-raktár.

  • Számítás megosztott hozzáférési móddal.

  • Számítás egyfelhasználós hozzáférési móddal a Databricks Runtime 15.4 LTS vagy újabb verzióján (nyilvános előzetes verzió).

    A Databricks Runtime 15.4 LTS és újabb verziók támogatják az egyfelhasználós számítások részletes hozzáférés-vezérlését. A Databricks Runtime 15.4 LTS és újabb verzióiban biztosított adatszűrés előnyeinek kihasználásához azt is ellenőriznie kell, hogy a munkaterület engedélyezve van-e a kiszolgáló nélküli számításhoz, mert a részletes hozzáférés-vezérlést támogató adatszűrési funkciók kiszolgáló nélküli számításon futnak. Ezért előfordulhat, hogy a kiszolgáló nélküli számítási erőforrásokért díjat kell fizetnie, ha egyfelhasználós számítást használ az adatszűrési műveletek futtatásához. Lásd az egyfelhasználós számítás részletes hozzáférés-vezérlését.

Streamelési táblázat és materializált nézetkorlátozások a Unity Catalog egyfelhasználós hozzáférési módjához

A Databricks Runtime 15.3-s és újabb verziójában nem használhat egyfelhasználós számítást a Delta Live Tables-folyamattal létrehozott táblák lekérdezéséhez, beleértve a streamelő táblákat és a materializált nézeteket is, ha ezek a táblák más felhasználók tulajdonában vannak. A táblát létrehozó felhasználó a tulajdonos.

A Delta Live Tables által létrehozott és más felhasználók tulajdonában lévő táblák lekérdezéséhez használja az alábbiak egyikét:

  • EGY SQL-raktár.

  • Számítás megosztott hozzáférési móddal a Databricks Runtime 13.3 LTS vagy újabb verzióján.

  • Számítás egyfelhasználós hozzáférési móddal a Databricks Runtime 15.4 LTS vagy újabb verzióján (nyilvános előzetes verzió).

    A Databricks Runtime 15.4 LTS és újabb verziók támogatják az egyfelhasználós számításon létrehozott Delta Live Tables által létrehozott táblák lekérdezéseit. A Databricks Runtime 15.4 LTS és újabb verzióiban biztosított adatszűrés előnyeinek kihasználásához azt is ellenőriznie kell, hogy a munkaterület engedélyezve van-e a kiszolgáló nélküli számításhoz, mert a Delta Live Tables által létrehozott táblákat támogató adatszűrési funkciók kiszolgáló nélküli számításon futnak. Ezért előfordulhat, hogy a kiszolgáló nélküli számítási erőforrásokért díjat kell fizetnie, ha egyfelhasználós számítást használ az adatszűrési műveletek futtatásához. Lásd az egyfelhasználós számítás részletes hozzáférés-vezérlését.

Streamelési korlátozások a Unity Catalog egyfelhasználós hozzáférési módjához

  • Az aszinkron ellenőrzőpont-készítés nem támogatott a Databricks Runtime 11.3 LTS-ben és alább.
  • StreamingQueryListener A Databricks Runtime 15.1 vagy újabb verziójának használatához hitelesítő adatokat kell használnia, vagy a Unity Catalog által felügyelt objektumokkal kell egyfelhasználós számítást használnia.

Megosztott hozzáférési mód korlátozásai a Unity-katalógusban

A Unity Catalog megosztott hozzáférési módja az alábbi korlátozásokkal rendelkezik. Ezek az összes Unity Catalog-hozzáférési módra vonatkozó általános korlátozásokon kívül vannak. Lásd a Unity Catalog általános korlátozásait.

  • A Databricks Runtime ML és a Spark Machine Learning Library (MLlib) nem támogatott.

  • A Spark küldési feladatok nem támogatottak.

  • A Databricks Runtime 13.3 és újabb verziókban az egyes sorok száma nem haladhatja meg a 128 MB-ot.

  • A PySpark UDF-jei nem férnek hozzá a Git-mappákhoz, munkaterületfájlokhoz vagy kötetekhez a Databricks Runtime 14.2-ben és alatta lévő modulok importálásához.

  • A DBFS-gyökér és a csatlakoztatások nem támogatják a FUSE-t.

  • Ha megosztott hozzáférési módot használ hitelesítő adatok átengedésekor, a Unity Catalog funkciói le lesznek tiltva.

  • Az egyéni tárolók nem támogatottak.

A Unity Catalog megosztott hozzáférési módjának nyelvi támogatása

  • Az R nem támogatott.
  • A Scala támogatott a Databricks Runtime 13.3-ban és újabb verziókban.
    • A Databricks Runtime 15.4 LTS és újabb verziókban a Databricks Runtime-tal csomagolt Összes Java- vagy Scala-kódtár (JAR-fájl) elérhető a számításhoz Unity Catalog hozzáférési módban.
    • A Databricks Runtime 15.3 vagy újabb verziójához a megosztott hozzáférési módot használó számítás esetén állítsa a Spark konfigurációt spark.databricks.scala.kernel.fullClasspath.enabled a következőre true: .

A Spark API korlátozásai és követelményei a Unity Catalog megosztott hozzáférési módjához

  • Az RDD API-k nem támogatottak.
  • A DBUtils és más ügyfelek, amelyek közvetlenül olvassák az adatokat a felhőbeli tárolóból, csak akkor támogatottak, ha külső helyet használ a tárolási hely eléréséhez. Lásd: Külső hely létrehozása a felhőbeli tároló Azure Databrickshez való csatlakoztatásához.
  • Spark-környezet (sc),spark.sparkContext, és sqlContext a Scala nem támogatott egyetlen Databricks-futtatókörnyezetben sem, és a Python nem támogatott a Databricks Runtime 14.0-s vagy újabb verziókban.
    • A Databricks azt javasolja, hogy használja a spark változót a SparkSession példány kezeléséhez.
    • A következő sc függvények szintén nem támogatottak: emptyRDD, range, , init_batched_serializer, pickleFileparallelize, textFilebinaryFileswholeTextFiles, binaryRecords, sequenceFile, newAPIHadoopFile, hadoopFilenewAPIHadoopRDD, . hadoopRDDunionrunJobsetSystemPropertyuiWebUrlstopsetJobGroupsetLocalPropertygetConf
  • Az alábbi Scala Dataset API-műveletekhez a Databricks Runtime 15.4 LTS vagy újabb verziója szükséges: map, mapPartitions, foreachPartition, flatMapreduce és filter.

A Unity Catalog megosztott hozzáférési módjának UDF-korlátozásai és követelményei

A felhasználó által definiált függvények (UDF-ek) a következő korlátozásokkal rendelkeznek a megosztott hozzáférési móddal:

  • A Hive UDF-ek nem támogatottak.

  • applyInPandas és mapInPandas a Databricks Runtime 14.3 vagy újabb verziójának megkövetelése.

  • A Scala skaláris UDF-jeihez a Databricks Runtime 14.2 vagy újabb verziója szükséges. Más Scala UDF-ek és UDAF-ek nem támogatottak.

  • A Databricks Runtime 14.2-es és újabb verzióiban a , vagy protobuf pySpark UDF egyéni verziójának grpcpyarrowhasználata jegyzetfüzet-hatókörű vagy fürt hatókörű kódtárakon keresztül nem támogatott, mert mindig a telepített verziót részesíti előnyben. A telepített kódtárak verziójának megkereséséhez tekintse meg az adott Databricks Runtime-verzió kibocsátási megjegyzéseinek System Environment szakaszát.

  • A Python skaláris UDF-jeihez és Pandas UDF-jeihez a Databricks Runtime 13.3 LTS vagy újabb verziója szükséges. Más Python-UDF-ek, köztük az UDAF-ek, az UDTF-ek és a Sparkon lévő Pandas nem támogatottak.

  • A Private Linkkel konfigurált munkaterületeken az UDF-ek nem tudnak olyan hívásokat kezdeményezni, amelyek munkaterület-fájlokkal vagy Unity-katalóguskötetekkel kommunikálnak.

Lásd a felhasználó által definiált függvényeket (UDF-eket) a Unity Catalogban.

Streamelési korlátozások és követelmények a Unity Catalog megosztott hozzáférési módjához

Feljegyzés

A felsorolt Kafka-beállítások némelyike korlátozottan támogatott az Azure Databricks támogatott konfigurációihoz. A felsorolt Kafka-korlátozások a kötegelt és a streamfeldolgozásra egyaránt érvényesek. Tekintse meg az Apache Kafka és az Azure Databricks streamfeldolgozását.

  • Scala esetén, foreachforeachBatch, StreamingListeners, és FlatMapGroupWithState nem támogatott.
  • Python foreachBatch esetén a Databricks Runtime 14.0-s és újabb verziója a következő viselkedési változásokat követi:
    • print() parancsok írnak kimenetet az illesztőprogram-naplókba.
    • A függvényen belüli almodul nem érhető el dbutils.widgets .
    • A függvényben hivatkozott fájloknak, moduloknak és objektumoknak szerializálhatónak kell lenniük, és elérhetőnek kell lenniük a Sparkban.
  • A Scala from_avro esetében a Databricks Runtime 14.2-s vagy újabb verziójára van szükség.
  • applyInPandasWithState A Databricks Runtime 14.3 LTS-t vagy újabb verziót igényel.
  • A szoftvercsatorna-források használata nem támogatott.
  • A sourceArchiveDir Unity Catalog által felügyelt adatforrás használatakor a forrással option("cleanSource", "archive") azonos külső helyen kell lennie.
  • A Kafka-források és -fogadók esetében a következő lehetőségek nem támogatottak:
    • kafka.sasl.client.callback.handler.class
    • kafka.sasl.login.callback.handler.class
    • kafka.sasl.login.class
    • kafka.partition.assignment.strategy
  • A Következő Kafka-beállítások nem támogatottak a Databricks Runtime 13.3 LTS és újabb verziókban, de a Databricks Runtime 12.2 LTS-ben nem támogatottak. Ezekhez a beállításokhoz csak a Unity Catalog által felügyelt külső helyeket adhatja meg:
    • kafka.ssl.truststore.location
    • kafka.ssl.keystore.location
  • StreamingQueryListener A Databricks Runtime 14.3 LTS-t vagy újabb verziót igényel a hitelesítő adatok használatához, vagy a Unity Catalog által felügyelt objektumok közös számítási feladatokon való használatához.

Hálózati és fájlrendszer-hozzáférési korlátozások és követelmények a Unity Catalog megosztott hozzáférési módjához

  • A parancsokat a számítási csomópontokon olyan alacsony jogosultságú felhasználóként kell futtatnia, aki nem fér hozzá a fájlrendszer bizalmas részeihez.

  • A Databricks Runtime 11.3 LTS-ben és az alábbi verziókban csak a 80-443-as portokhoz hozhat létre hálózati kapcsolatokat.

  • Nem csatlakozhat a példány metaadat-szolgáltatásához vagy az Azure WireServerhez.

A Unity Catalog általános korlátozásai

Az alábbi korlátozások az összes Unity Catalog-kompatibilis hozzáférési módra vonatkoznak.

A Unity Catalog streamelési korlátozásai

  • Az Apache Spark folyamatos feldolgozási módja nem támogatott. Tekintse meg a folyamatos feldolgozást a Spark strukturált streamelési programozási útmutatójában.

Lásd még a Unity Catalog egyfelhasználós hozzáférési módjára vonatkozó streamelési korlátozásokat, valamint a Unity Catalog megosztott hozzáférési módjára vonatkozó korlátozásokat és követelményeket.

A Unity Catalog használatával történő streamelésről további információt a Unity Katalógus strukturált streameléssel való használatával kapcsolatban talál.