ビッグ データ クラスターに HDFS 階層制御のための S3 をマウントする方法

  • [アーティクル]

次のセクションでは、S3 ストレージ データ ソースを使用して HDFS 階層制御を構成する方法の例を示します。

重要

Microsoft SQL Server 2019 ビッグ データ クラスターのアドオンは廃止されます。 SQL Server 2019 ビッグ データ クラスターのサポートは、2025 年 2 月 28 日に終了します。 ソフトウェア アシュアランス付きの SQL Server 2019 を使用する既存の全ユーザーはプラットフォームで完全にサポートされ、ソフトウェアはその時点まで SQL Server の累積更新プログラムによって引き続きメンテナンスされます。 詳細については、お知らせのブログ記事と「Microsoft SQL Server プラットフォームのビッグ データ オプション」を参照してください。

前提条件

アクセス キー

アクセス キー資格情報の環境変数を設定する

ビッグ データ クラスターにアクセスできるクライアント マシンでコマンド プロンプトを開きます。 次の形式を使用して環境変数を設定します。 資格情報はコンマ区切りの一覧にする必要があります。 Windows では 'set' コマンドが使用されます。 Linux を使用している場合は、代わりに 'export' を使用してください。

 set MOUNT_CREDENTIALS=fs.s3a.access.key=<Access Key ID of the key>,
 fs.s3a.secret.key=<Secret Access Key of the key>

ヒント

S3 アクセスキーを作成する方法の詳細については、S3 アクセス キーに関する記事を参照してください。

リモート HDFS ストレージをマウントする

アクセス キーを使用して資格情報ファイルを準備したので、マウントを開始することができます。 次の手順では、S3 のリモート HDFS ストレージを、ビッグ データ クラスターのローカル HDFS ストレージにマウントします。

  1. kubectl を使用して、ビッグ データ クラスター内のエンドポイント controller-svc-external サービスの IP アドレスを検索します。 External-IP を検索します。

    kubectl get svc controller-svc-external -n <your-big-data-cluster-name>

  2. クラスターのユーザー名とパスワードによるコントローラー エンドポイントの外部 IP アドレスを使用して azdata でログインします。

    azdata login -e https://<IP-of-controller-svc-external>:30080/

  3. 上の手順に続けて環境変数 MOUNT_CREDENTIALS を設定する

  4. azdata bdc hdfs mount create を使用して、Azure でリモート HDFS ストレージをマウントします。 次のコマンドを実行する前に、プレースホルダーの値を置き換えます。

    azdata bdc hdfs mount create --remote-uri s3a://<S3 bucket name> --mount-path /mounts/<mount-name>

    Note

    mount create コマンドは非同期です。 現時点では、マウントが成功したかどうかを示すメッセージはありません。 [状態] セクションで、マウントの状態を確認してください。

正常にマウントされていれば、HDFS データに対してクエリを実行し、そのデータに対して Spark ジョブを実行できます。 これは、--mount-path によって指定された場所にあるビッグ データ クラスターの HDFS に表示されます。

マウントの状態を取得する

ビッグ データ クラスター内のすべてのマウントの状態を一覧表示するには、次のコマンドを使用します。

azdata bdc hdfs mount status

HDFS で指定されたパスのマウントの状態を一覧表示するには、次のコマンドを使用します。

azdata bdc hdfs mount status --mount-path <mount-path-in-hdfs>

マウントを更新する

次の例では、マウントを更新しています。

azdata bdc hdfs mount refresh --mount-path <mount-path-in-hdfs>

マウントを削除する

マウントを削除するには、azdata bdc hdfs mount delete コマンドを使用して、HDFS でマウント パスを指定します。

azdata bdc hdfs mount delete --mount-path <mount-path-in-hdfs>

関連するコンテンツ