次の方法で共有

Databricks Connect for Python の制限事項

  • [アーティクル]

Note

この記事では、Databricks Runtime 13.0 以降用の Databricks Connect について説明します。

この記事では、Databricks Connect for Python の制限事項を一覧で示します。 Databricks Connect を使用すると、一般的な IDE、ノートブック サーバー、カスタム アプリケーションを Azure Databricks クラスターに接続できます。 「Databricks Connect とは」を参照してください。 この記事の Scala バージョンについては、「Databricks Connect for Scala の制限事項」を参照してください。

Databricks Runtime 13.3 LTS 以前用の Databricks Connect では使用できません。

  • foreachBatch のストリーミング
  • 128 MB を超えるデータフレームの作成
  • 3,600 秒を超える長いクエリ

Databricks Runtime 13.0 用の Databricks Connect で使用不可:

  • UDF
  • Pandas UDF
  • Pandas on Spark
  • ストリーミング (foreachBatch なし)
  • Databricks ユーティリティ: fs、ls、secrets
  • OAuth
  • シングル ユーザー クラスターを使用した ApplyinPandas() と Cogroup()

使用できません。

  • データセット API
  • データセット型の API ( reduce() や flatMap() など)
  • Databricks ユーティリティ: credentials、library、notebook workflow、widgets
  • SparkContext
  • RDDs
  • MLflow モデルの推論: pyfunc.spark_udf() API
  • モザイク地理空間
  • CREATE TABLE <table-name> AS SELECT (代わりに spark.sql("SELECT ...").write.saveAsTable("table") を使用してください)
  • 共有クラスターを使用した ApplyinPandas() と Cogroup()
  • SparkContext を使用した Log4j ログ レベルの変更
  • 分散 ML トレーニング
  • ローカル開発環境とリモート クラスターの同期