Share via

Unity Catalog のコンピューティング アクセス モードの制限事項

  • [アーティクル]

Databricks では、ほとんどのワークロードで Unity Catalogと共有アクセス モードを使用することをお勧めします。 この記事では、Unity Catalog での各アクセス モードのさまざまな制限について概説します。 アクセス モードの詳細については、「アクセス モード」を参照してください。

Databricks では、コンピューティング ポリシーを使用して、ほとんどのユーザーの構成オプションを簡略化することをお勧めします。 「コンピューティング ポリシーの作成と管理」を参照してください。

Note

分離なし共有は、Unity Catalog をサポートしないレガシ アクセス モードです。

重要

Init スクリプトとライブラリでは、アクセス モードと Databricks Runtime バージョンで異なるサポートがあります。 「init スクリプトをインストールできる場所」を参照してください。クラスター スコープのライブラリ。

Unity Catalog でのシングル ユーザー アクセス モードの制限事項

Unity Catalog のシングル ユーザー アクセス モードには、次の制限があります。 これらは、すべての Unity Catalog アクセス モードの一般的な制限事項に追加されるものです。 「Unity Catalog の一般的な制限事項」を参照してください。

Unity Catalog シングル ユーザー アクセス モードの詳細なアクセス制御の制限事項

  • 動的ビューはサポートされません。

  • ビューから読み取るには、すべての参照先テーブルとビューで SELECT が必要です。

  • 行フィルターまたは列マスクがあるテーブルにはアクセスできません。

  • 単一ユーザー コンピューティングを使用して、Databricks SQL で作成されたストリーミング テーブルや具体化されたビューなど、Unity Catalog 対応 Delta Live Tables パイプラインで作成されたテーブルに対してクエリを実行することはできません。 Delta Live Tables パイプラインで作成されたテーブルにクエリを実行するには、Databricks Runtime 13.3 LTS 以降を使用する共有コンピューティングを使用する必要があります。

Unity Catalog シングル ユーザー アクセス モードのストリーミングの制限事項

  • 非同期チェックポイント処理は、Databricks Runtime 11.3 以前でサポートされていません。

Unity Catalog での共有アクセス モードの制限事項

Unity Catalog の共有アクセス モードには、次の制限があります。 これらは、すべての Unity Catalog アクセス モードの一般的な制限事項に追加されるものです。 「Unity Catalog の一般的な制限事項」を参照してください。

  • Databricks Runtime ML と Spark Machine Learning Library (MLlib) はサポートされていません。

  • Spark-submit ジョブはサポートされていません。

  • Databricks Runtime 13.3 以上で、個々の行が最大サイズの 128 MB を超えないようにする必要があります。

  • 資格情報パススルーを使用した場合は、Unity Catalog 機能は無効になります。

  • カスタム コンテナーはサポートされていません。

Unity Catalog 共有アクセス モードの言語サポート

  • R はサポートされていません。
  • Scala は Databricks Runtime 13.3 以降でサポートされています。

Unity Catalog 共有アクセス モードの Spark API の制限事項

  • RDD API はサポートされていません。
  • DBUtils と、クラウド ストレージからデータを直接読み取るその他のクライアントは、外部の場所を使用してストレージの場所にアクセスする場合にのみサポートされます。 「クラウド ストレージを Azure Databricks に接続するための外部の場所を作成する」を参照してください。
  • Spark コンテキスト (sc)、spark.sparkContext、sqlContext は、Databricks Runtime の Scala ではサポートされておらず、Databricks Runtime 14.0 以降の Python ではサポートされていません。
    • Databricks では、spark 変数を使用して SparkSession インスタンスを操作することをお勧めします。
    • 次の sc 関数はサポートされていません: emptyRDD、range、init_batched_serializer、parallelize、pickleFile、textFile、wholeTextFiles、binaryFiles、binaryRecords、sequenceFile、newAPIHadoopFile、newAPIHadoopRDD、hadoopFile、hadoopRDD、union、runJob、setSystemProperty、uiWebUrl、stop、setJobGroup、setLocalProperty、getConf。

Unity Catalog 共有アクセス モードの UDF の制限事項

重要

共有アクセス モードの Unity Catalog 対応コンピューティングでの Scala UDF のサポートは、パブリック プレビューです。

ユーザー定義関数 (UDF) には、共有アクセス モードについて次の制限があります。

  • Hive UDF はサポートされていません。

  • applyInPandas と mapInPandas は、Databricks Runtime 14.2 以下ではサポートされていません。

  • Databricks Runtime 14.2 以降では、Scala スカラー UDF がサポートされています。 その他の Scala UDF と UDAF はサポートされていません。

  • Databricks Runtime 13.3 LTS 以降では、Python スカラー UDF と Pandas UDF がサポートされています。 Spark 上の UDAF、UDTF、Pandas など、他の Python UDF はサポートされていません。

「Unity Catalog のユーザー定義関数 (UDF)」を参照してください。

Unity Catalog 共有アクセス モードのストリーミングの制限事項

Note

一覧に示されている Kafka オプションの一部では、Azure Databricks でサポートされている構成に使用する場合のサポートが制限されています。 「Apache Kafka と Azure Databricks を使用したストリーム処理」を参照してください。

  • Scala の場合、foreach と foreachBatch はサポートされていません。
  • Python の場合、foreachBatch には Databricks Runtime 14.0 以降で新しいビヘイビアーがあります。 Databricks Runtime 14.0 の foreachBatch の動作変更に関するページを参照してください。
  • Scala の場合、from_avro には Databricks Runtime 14.2 以降が必要です。
  • applyInPandasWithState はサポートされません。
  • ソケット ソースの操作はサポートされません。
  • Unity Catalog で管理されているデータ ソースで option("cleanSource", "archive") を使用する場合、sourceArchiveDir はソースと同じ外部の場所にある必要があります。
  • Kafka ソースおよびシンクの場合、次のオプションはサポートされていません。
    • kafka.sasl.client.callback.handler.class
    • kafka.sasl.login.callback.handler.class
    • kafka.sasl.login.class
    • kafka.partition.assignment.strategy
  • Databricks Runtime 13.3 LTS 以降では次の Kafka オプションがサポートされていますが、Databricks Runtime 12.2 LTS ではサポートされていません。 Unity Catalog によって管理される外部の場所は、次のオプションの場合にのみ指定できます。
    • kafka.ssl.truststore.location
    • kafka.ssl.keystore.location

Unity Catalog 共有アクセス モードのネットワークとファイル システムのアクセス制限

  • ファイル システムの機密性の高い部分へのアクセスが禁じられている特権の低いユーザーとして、計算ノードでコマンドを実行する必要があります。

  • Databricks Runtime 11.3 LTS 以下では、ポート 80 と 443 へのネットワーク接続のみを確立できます。

  • インスタンス メタデータ サービスまたは Azure WireServer に接続できません。

Unity Catalog の一般的な制限事項

Unity Catalog 対応のすべてのアクセス モードには、次の制限事項が適用されます。

Unity Catalog のストリーミングの制限事項

  • Apache Spark の連続処理モードはサポートされていません。 詳しくは、「Spark 構造化ストリーミング プログラミング ガイド」の「継続的処理」をご覧ください。
  • StreamingQueryListener では、資格情報を使用したり、Unity Catalog によって管理されるオブジェクトを操作したりすることはできません。

「Unity Catalog シングル ユーザー アクセス モードのストリーミングの制限事項」と「Unity Catalog 共有アクセス モードのストリーミングの制限事項」も参照してください。

Unity Catalog でのストリーミングの詳細については、「構造化ストリーミングで Unity Catalog を使用する」を参照してください。