次の方法で共有

Spark でのライブラリ管理

  • [アーティクル]

Note

Azure HDInsight on AKS は 2025 年 1 月 31 日に廃止されます。 2025 年 1 月 31 日より前に、ワークロードを Microsoft Fabric または同等の Azure 製品に移行することで、ワークロードの突然の終了を回避する必要があります。 サブスクリプション上に残っているクラスターは停止され、ホストから削除されることになります。

提供終了日までは基本サポートのみを利用できます。

重要

現在、この機能はプレビュー段階にあります。 ベータ版、プレビュー版、または一般提供としてまだリリースされていない Azure の機能に適用されるその他の法律条項については、「Microsoft Azure プレビューの追加の使用条件」に記載されています。 この特定のプレビューについては、「Microsoft HDInsight on AKS のプレビュー情報」を参照してください。 質問や機能の提案については、詳細を記載した要求を AskHDInsight で送信してください。また、その他の更新については、Azure HDInsight コミュニティのフォローをお願いいたします。

ライブラリ管理の目的は、お使いのクラスターで実行されているノートブックやジョブでオープンソースまたはカスタムのコードを使用できるようにすることです。 Python ライブラリは PyPI リポジトリからアップロードできます。 この記事では、クラスター UI でのライブラリの管理に重点を置いています。 Azure HDInsight on AKS では、クラスターに多くの一般的なライブラリが既に含まれています。 HDI on AKS クラスターに含まれているライブラリを確認するには、ライブラリ管理ページを確認してください。

ライブラリのインストール

ライブラリは次の 2 つのモードでインストールできます。

  • クラスター インストール
  • ノートブック スコープ

クラスター インストール

クラスターで実行されているすべてのノートブックがクラスター ライブラリを使用できます。 クラスター ライブラリは、PyPi などのパブリック リポジトリから直接インストールできます。 Maven リポジトリからのアップロード、クラウド ストレージからのカスタム ライブラリのアップロードがロードマップに含まれています。

クラスターにインストールされたライブラリ マネージャー ページを示すスクリーンショット。

ノートブック スコープ

Python と Scala で使用できるノートブック スコープのライブラリを使用すると、ライブラリをインストールし、ノートブック セッションにスコープを設定した環境を作成できます。 これらのライブラリは、同じクラスターで実行されている他のノートブックには影響しません。 ノートブック スコープのライブラリは保持されず、セッションごとに再インストールする必要があります。

Note

特定のノートブック用のカスタム環境が必要な場合に、ノートブック スコープのライブラリを使用してください。

ライブラリのインストールのモード

PyPI: インストール UI でライブラリ名とバージョンを指定して、オープンソースの PyPI リポジトリからライブラリをフェッチします。

インストールされているライブラリを表示する

  1. 概要ページで、[ライブラリ マネージャー] に移動します。

    ライブラリ マネージャー ページを示すスクリーンショット。

  2. Spark クラスター マネージャーで、[ライブラリ マネージャー] をクリックします。

  3. インストールされているライブラリの一覧は、ここから確認できます。

    インストールされたライブラリを表示する方法を示すスクリーンショット。

ライブラリ ウィジェットを追加する

PyPI

  1. [PyPI] タブで、[パッケージ名] と [パッケージ バージョン] に入力します。

  2. [インストール] をクリックします。

    PyPI のインストール方法を示すスクリーンショット。

ライブラリのアンインストール

ライブラリを今後使用しない場合は、ライブラリ管理ページの [アンインストール] ボタンを使用してライブラリ パッケージを簡単に削除できます。

  1. ライブラリ名を選択してクリックします

    ライブラリの選択方法を示すスクリーンショット。

  2. ウィジェットで [アンインストール] をクリックします

    ライブラリのアンインストール方法を示すスクリーンショット。

    Note

    • Jupyter Notebook からインストールされたパッケージは、Jupyter Notebook からのみ削除できます。
    • ライブラリ マネージャーからインストールされたパッケージは、ライブラリ マネージャーからのみアンインストールできます。
    • ライブラリまたはパッケージをアップグレードするには、ライブラリの現在のバージョンをアンインストールし、必要なバージョンのライブラリを再インストールしてください。
    • Jupyter Notebook からのライブラリのインストールは、セッション固有のものです。 永続的ではありません。
    • 重いパッケージは、そのサイズと複雑さによって、インストールに時間がかかる場合があります。