Databricks アセットバンドルのライブラリ依存関係

2025-05-05

この記事では、Databricks アセットバンドルのライブラリ依存関係を宣言するための構文について説明します。バンドルを使用すると、Lakeflow ジョブをプログラムで管理できます。「Databricks アセットバンドルとは」をご覧ください。

ノートブックとソースファイルに加えて、ジョブは期待どおりに動作するためにライブラリに依存する可能性があります。ライブラリの依存関係はバンドル構成ファイルで宣言され、多くの場合、ジョブタスクの種類の仕様の一部として必要になります。

バンドルでは、次のライブラリ依存関係がサポートされます。

Python ホイールファイル
JAR ファイル (Java または Scala)
PyPI、Maven、または CRAN パッケージ

Python の場合は、 requirements.txt ファイルでジョブタスクの依存関係を指定し、バンドルに含めることもできます。 Python requirements.txtを参照してください。

注記

ライブラリがサポートされているかどうかは、クラスター構成とライブラリソースによって異なります。ライブラリの完全なサポート情報については、「ライブラリのインストール」を参照してください。

Python ホイールファイル

Python ホイールファイルをジョブタスクに追加するには、libraries で、インストールする各ライブラリの whl マッピングを指定します。ワークスペースファイル、Unity カタログボリューム、クラウドオブジェクトストレージ、またはローカルファイルパスからホイールファイルをインストールできます。

重要

Databricks Runtime 14.3 LTS 以下を使用する場合は、DBFS からライブラリをインストールできます。ただし、ワークスペースユーザーは、DBFS に格納されているライブラリファイルを変更できます。 Azure Databricks ワークスペース内のライブラリのセキュリティを向上させるために、Databricks Runtime 15.1 以降では、ライブラリファイルを DBFS ルートに格納することは非推奨となり、既定では無効になっています。「DBFS ルートにライブラリを格納することは非推奨であり、既定では無効になっている」を参照してください。

代わりに、Databricks では、Python ライブラリ、JAR ファイル、Spark コネクタなど、すべてのライブラリをワークスペースファイルまたは Unity カタログボリュームにアップロードするか、ライブラリパッケージリポジトリを使用することをお勧めします。ワークロードでこれらのパターンがサポートされない場合、クラウドオブジェクトストレージに格納されているライブラリも使用できます。

次の例は、1 つのジョブタスクに 3 つの Python ホイールファイルをインストールする方法を示しています。

最初の Python ホイールファイルは、以前に Azure Databricks ワークスペースにアップロードされたか、includesyncの項目として追加されて、バンドル構成ファイルと同じローカルフォルダーにあります。
2 番目の Python ホイールファイルは、Azure Databricks ワークスペース内の指定したワークスペースファイルの場所に格納されます。
3 番目の Python ホイールファイルは、Azure Databricks ワークスペースの my-volume という名前のボリュームに以前にアップロードされました。

resources:
  jobs:
    my_job:
      # ...
      tasks:
        - task_key: my_task
          # ...
          libraries:
            - whl: ./my-wheel-0.1.0.whl
            - whl: /Workspace/Shared/Libraries/my-wheel-0.0.1-py3-none-any.whl
            - whl: /Volumes/main/default/my-volume/my-wheel-0.1.0.whl

JAR ファイル (Java または Scala)

JAR ファイルをジョブタスクに追加するには、libraries で、インストールする各ライブラリの jar マッピングを指定します。 Unity カタログボリューム、クラウドオブジェクトストレージ、またはローカルファイルパスから JAR をインストールできます。

重要

次の例は、Azure Databricks ワークスペースで my-volume という名前のボリュームに以前にアップロードされた JAR ファイルをインストールする方法を示しています。

resources:
  jobs:
    my_job:
      # ...
      tasks:
        - task_key: my_task
          # ...
          libraries:
            - jar: /Volumes/main/default/my-volume/my-java-library-1.0.jar

JAR をビルドしてデプロイする構成例については、JAR ファイルを Unity カタログにアップロードするバンドルを参照してください。 Scala JAR をビルドしてデプロイするバンドルプロジェクトを作成するチュートリアルについては、「 Databricks Asset Bundles を使用した Scala JAR のビルド」を参照してください。

PyPI パッケージ

ジョブタスクの定義に PyPI パッケージを追加するには、libraries で、インストールする各 PyPI パッケージの pypi マッピングを指定します。マッピングごとに、以下を指定します。

package で、インストールする PyPI パッケージの名前を指定します。オプションの正確なバージョン指定もサポートされています。
必要に応じて、repoの場合は、PyPI パッケージが見つかるリポジトリを指定します。指定しないと、既定の pip インデックスが使われます (https://pypi.org/simple/)。

次の例では、2 つの PyPI パッケージをインストールする方法を示します。

1 つ目の PyPI パッケージでは、指定したパッケージバージョンと既定の pip インデックスが使われます。
2 つ目の PyPI パッケージでは、指定したパッケージバージョンと明示的に指定した pip インデックスが使われます。

resources:
  jobs:
    my_job:
      # ...
      tasks:
        - task_key: my_task
          # ...
          libraries:
            - pypi:
                package: wheel==0.41.2
            - pypi:
                package: numpy==1.25.2
                repo: https://pypi.org/simple/

Maven パッケージ

ジョブタスクの定義に Maven パッケージを追加するには、libraries で、インストールする各 Maven パッケージの maven マッピングを指定します。マッピングごとに、以下を指定します。

coordinates で、パッケージの Gradle スタイルの Maven 座標を指定します。
必要に応じて、repo で、Maven パッケージをインストールする Maven リポジトリを指定します。省略すると、Maven Central リポジトリと Spark Packages リポジトリの両方が検索されます。
必要に応じて、exclusions で、明示的に除外する依存関係を指定します。 Maven 依存関係の除外に関する説明をご覧ください。

次の例では、2 つの Maven パッケージをインストールする方法を示します。

1 つ目の Maven パッケージでは、指定したパッケージ座標が使われ、Maven Central リポジトリと Spark Packages リポジトリの両方でこのパッケージが検索されます。
2 番目の Maven パッケージは、指定されたパッケージ座標を使用し、Maven Central Repository でのみこのパッケージを検索し、指定されたパターンに一致するこのパッケージの依存関係は含まれません。

resources:
  jobs:
    my_job:
      # ...
      tasks:
        - task_key: my_task
          # ...
          libraries:
            - maven:
                coordinates: com.databricks:databricks-sdk-java:0.8.1
            - maven:
                coordinates: com.databricks:databricks-dbutils-scala_2.13:0.1.4
                repo: https://mvnrepository.com/
                exclusions:
                  - org.scala-lang:scala-library:2.13.0-RC*

Python requirements.txt

Python ライブラリの依存関係は、ジョブタスク定義の一部として含まれる requirements*.txt ファイルでも指定できます。ファイルへのパスには、ローカルパス、ワークスペースパス、または Unity カタログボリュームパスを指定できます。

resources:
  jobs:
    my_job:
      # ...
      tasks:
        - task_key: my_task
          # ...
          libraries:
            - requirements: ./local/path/requirements.txt

次の方法で共有

Databricks アセット バンドルのライブラリ依存関係

Python ホイール ファイル