共用方式為

Unity 目錄的計算存取模式限制

  • 發行項

Databricks 建議針對大部分工作負載使用 Unity 目錄和共用存取模式。 本文概述 Unity 目錄的每個存取模式的限制和需求。 如需存取模式的詳細資訊，請參閱存取模式。

Databricks 建議使用計算原則來簡化大部分使用者的設定選項。 請參閱建立和管理計算原則。

注意

無隔離共用是不支援 Unity 目錄的舊版存取模式。

重要

Init 指令碼和程式庫在存取模式和 Databricks 執行時間版本之間有不同的支援。 請參閱 Init 指令碼可以安裝在哪裡？和叢集範圍程式庫。

Unity 目錄上的單一使用者存取模式限制

Unity 目錄上的單一使用者存取模式有下列限制。 這些是所有 Unity 目錄存取模式的一般限制之外的限制。 請參閱 Unity 目錄的一般限制。

Unity 目錄單一使用者存取模式的精細存取控制限制

在 Databricks Runtime 15.3 和以下版本上，不支援單一使用者計算的精細訪問控制。 具體而言：

若要查詢動態檢視，您在基礎表和檢視上沒有 SELECT 的檢視，以及具有資料列篩選或資料行遮罩的資料表，請使用下列其中一項：

  • SQL 倉儲。

  • 使用共用存取模式計算。

  • 在 Databricks Runtime 15.4 LTS 或更新版本上使用單一使用者存取模式進行計算。

    Databricks Runtime 15.4 LTS 和更新版本支援單一用戶計算的精細訪問控制。 若要利用 Databricks Runtime 15.4 LTS 和更新版本所提供的數據篩選，請確認 您的工作區已啟用無伺服器計算。

    無伺服器計算會處理數據篩選，允許存取檢視，而不需要其基礎表和檢視的許可權。 由於無伺服器計算會處理數據篩選，因此當您使用單一使用者計算來查詢檢視時，可能會產生無伺服器計算費用。 如需詳細資訊，請參閱 單一用戶計算的精細訪問控制。

Unity 目錄單一使用者存取模式的串流資料表和具體化檢視限制

在 Databricks Runtime 15.3 和以下版本上，如果數據表是由其他用戶擁有，您無法使用單一使用者計算來查詢使用 Delta Live Tables 管線建立的數據表，包括串流數據表和具體化檢視。 建立資料表的使用者是擁有者。

若要查詢 Delta Live Tables 所建立且由其他用戶擁有的串流數據表和具體化檢視，請使用下列其中一項：

  • SQL 倉儲。

  • 在 Databricks Runtime 13.3 LTS 或以上版本上以共用存取模式計算。

  • 在 Databricks Runtime 15.4 LTS 或更新版本上使用單一使用者存取模式進行計算。

    您的工作區也必須啟用無伺服器計算。 如需詳細資訊，請參閱 單一用戶計算的精細訪問控制。

Unity 目錄單一使用者存取模式的串流限制

  • Databricks Runtime 11.3 LTS 和以下版本不支援非同步檢查點。
  • StreamingQueryListener 需要 Databricks Runtime 15.1 或更新版本才能使用認證，或在單一使用者計算上與 Unity 目錄所管理的物件互動。

Unity 目錄的共用存取模式限制

Unity 目錄中的共用存取模式有下列限制。 這些除了所有 Unity 目錄存取模式的一般限制之外。 請參閱 Unity 目錄的一般限制。

  • 不支援 Databricks Runtime ML 和 Spark 機器學習程式庫 (MLlib)。

  • 不支援 Spark 提交作業。

  • 在 Databricks Runtime 13.3 和更新版本中，個別資料列不得超過 128MB。

  • PySpark UDF 無法存取 Git 資料夾、工作區檔案或磁碟區，以在 Databricks Runtime 14.2 和以下版本匯入模組。

  • DBFS 根目錄和掛接不支援 FUSE。

  • 當您搭配認證傳遞使用共用存取模式時，會停用 Unity 目錄功能。

  • 不支援自訂容器。

Unity 目錄共用存取模式的語言支援

  • 不支援 R。
  • Databricks Runtime 13.3 及更新版本支援 Scala。
    • 在 Databricks Runtime 15.4 LTS 和更新版本中，所有與 Databricks Runtime 配套的 Java 或 Scala 程式庫(JAR 檔案)都可以在 Unity 目錄存取模式中計算。
    • 針對使用共用存取模式之計算上的 Databricks Runtime 15.3 或以下版本，請將 Spark 設定 spark.databricks.scala.kernel.fullClasspath.enabled 設定為。true

Spark API 對於 Unity 目錄共用存取模式的限制與需求

  • 不支援 RDD API。
  • 只有當您使用外部位置來存取儲存體位置時，才支援直接從雲端儲存體讀取資料的 DBUtils 和其他用戶端。 如需相關資訊，請參閱建立外部位置以將雲端儲存連線到 Azure Databricks。
  • 任何 Databricks Runtime 中的 Scala 都不支援 Spark 內容 (sc)、spark.sparkContext 和 sqlContext，而且在 Databricks Runtime 14.0 和更新版本不支援 Python。
    • Databricks 建議使用 spark 變數來與 SparkSession 執行個體互動。
    • 也不支援下列 sc 函式：emptyRDD、range、init_batched_serializer、parallelize、pickleFile、textFile、wholeTextFiles、binaryFiles、binaryRecords、sequenceFile、newAPIHadoopFile、newAPIHadoopRDD、hadoopFile、hadoopRDD、union、runJob、setSystemProperty、uiWebUrl、stop、setJobGroup、setLocalProperty、getConf。
  • 下列 Scala 資料集 API 作業需要 Databricks Runtime 15.4 LTS 或更新版本：map、mapPartitions、foreachPartition、flatMap、reduce 和 filter。

Unity 目錄共用存取模式的 UDF 限制與需求

使用者定義函式 (UDF) 具有下列共享存取模式的限制：

  • 不支援 Hive UDF。

  • applyInPandas 和 mapInPandas 需要 Databricks Runtime 14.3 或更新版本。

  • Scala UDF 需要 Databricks Runtime 14.2 或更新版本。 不支援其他 Scala UDF 和 UDAF。

  • 在 Databricks Runtime 14.2 和以下版本中，不支援透過筆記本範圍或叢集範圍程式庫在 PySpark UDF 中使用自訂版本的grpc、pyarrow 或protobuf，因為一律偏好安裝的版本。 若要尋找已安裝的程式庫版本，請參閱特定 Databricks Runtime 版本版本資訊的＜系統環境＞一節。

  • Python 純量 UDF 和 Pandas UDF 需要 Databricks Runtime 13.3 LTS 或更新版本。

  • 非純量 Python 和 Pandas UDF，包括 Spark 上的 UDAF、UDF 和 Pandas，都需要 Databricks Runtime 14.3 LTS 或更新版本。

請參閱 Unity 目錄中的使用者定義函式 (UDF)。

Unity 目錄共用存取模式的串流限制和需求

注意

某些列出的 Kafka 選項用於 Azure Databricks 上受支援的設定時，支援有限。 所有列出的 Kafka 限制都適用於批次和串流處理。 請參閱使用 Apache Kafka 和 Azure Databricks 進行串流處理。

  • 針對 Scala，不支援 foreach、foreachBatch、StreamingListeners 和 FlatMapGroupWithState。
  • 針對 Python，foreachBatch 在 Databricks Runtime 14.0 和更新版本中有下列行為變更：
    • print() 命令會將輸出寫入驅動程式記錄。
    • 您無法存取函式內的 dbutils.widgets 子模組。
    • 函式中參考的任何檔案、模組或對象都必須可串行化，且可在 Spark 上使用。
  • 針對 Scala，from_avro 需要 Databricks Runtime 14.2 或更新版本。
  • applyInPandasWithState 需要 Databricks Runtime 14.3 LTS 或更新版本。
  • 不支援使用通訊端來源。
  • sourceArchiveDir當您搭配 Unity 目錄管理的資料來源使用 option("cleanSource", "archive") 時，必須位於與來源相同的外部位置。
  • 對於 Kafka 來源和接收，不支援下列選項：
    • kafka.sasl.client.callback.handler.class
    • kafka.sasl.login.callback.handler.class
    • kafka.sasl.login.class
    • kafka.partition.assignment.strategy
  • 以下 Kafka 選項在 Databricks Runtime 13.3 LTS 及以上版本中不受支援，但在 Databricks Runtime 12.2 LTS 中不受支援。 您只能針對下列選項指定 Unity 目錄所管理的外部位置：
    • kafka.ssl.truststore.location
    • kafka.ssl.keystore.location
  • StreamingQueryListener 需要 Databricks Runtime 14.3 LTS 或更新版本才能使用認證，或在共用計算上與 Unity 目錄所管理的物件互動。

Unity 目錄共用存取模式的網路和檔案系統存取限制和需求

  • 您必須以禁止存取檔案系統敏感部分的低權限使用者身分，在計算節點上執行命令。

  • 在 Databricks Runtime 11.3 LTS 和以下版本中，您只能建立埠 80 和 443 的網路連線。

  • 您無法連線到執行個體中繼資料服務或 Azure WireServer。

Unity 目錄的一般限制

下列限制適用於所有已啟用 Unity 目錄的存取模式。

Unity 目錄的串流限制

另請參閱 Unity 目錄單一使用者存取模式的串流限制，以及 Unity 目錄共用存取模式的串流限制和需求。

如需使用 Unity 目錄串流的詳細資訊，請參閱搭配結構化串流使用 Unity 目錄。