次の方法で共有

ビッグ データ クラスターで HDFS 階層化用に S3 をマウントする方法

次のセクションでは、S3 Storage データ ソースを使用して HDFS 階層化を構成する方法の例を示します。

重要

Microsoft SQL Server 2019 ビッグ データ クラスターのアドオンは廃止されます。 SQL Server 2019 ビッグ データ クラスターのサポートは、2025 年 2 月 28 日に終了します。 ソフトウェア アシュアランス付きの SQL Server 2019 を使用する既存の全ユーザーはプラットフォームで完全にサポートされ、ソフトウェアはその時点まで SQL Server の累積更新プログラムによって引き続きメンテナンスされます。 詳細については、お知らせのブログ記事と「Microsoft SQL Server プラットフォームのビッグ データ オプション」を参照してください。

[前提条件]

アクセス キー

アクセス キー資格情報の環境変数を設定する

ビッグ データ クラスターにアクセスできるクライアント コンピューターでコマンド プロンプトを開きます。 次の形式を使用して環境変数を設定します。 資格情報はコンマ区切りのリストに含まれている必要があります。 'set' コマンドは Windows で使用されます。 Linux を使用している場合は、代わりに 'export' を使用してください。

 set MOUNT_CREDENTIALS=fs.s3a.access.key=<Access Key ID of the key>,
 fs.s3a.secret.key=<Secret Access Key of the key>

ヒント

S3 アクセス キーを作成する方法の詳細については、「 S3 アクセス キー」を参照してください。

リモート HDFS ストレージをマウントする

アクセス キーを使用して資格情報ファイルを準備したら、マウントを開始できます。 次の手順では、S3 のリモート HDFS ストレージをビッグ データ クラスターのローカル HDFS ストレージにマウントします。

  1. kubectl を使用して、ビッグ データ クラスター内のエンドポイント コントローラー-svc-external サービスの IP アドレスを検索します。 外部 IP を探します。

    kubectl get svc controller-svc-external -n <your-big-data-cluster-name>

  2. クラスターのユーザー名とパスワードを使用して、コントローラー エンドポイントの外部 IP アドレスを使用して azdata でログインします。

    azdata login -e https://<IP-of-controller-svc-external>:30080/

  3. 上記の手順に従って環境変数MOUNT_CREDENTIALS設定します

  4. azdata bdc hdfs mount create を使用して、Azure にリモート HDFS ストレージをマウントします。 次のコマンドを実行する前に、プレースホルダーの値を置き換えます。

    azdata bdc hdfs mount create --remote-uri s3a://<S3 bucket name> --mount-path /mounts/<mount-name>

    注

    mount create コマンドは非同期です。 現時点では、マウントが成功したかどうかを示すメッセージはありません。 マウントの 状態 を確認するには、状態セクションを参照してください。

正常にマウントされた場合は、HDFS データに対してクエリを実行し、それに対して Spark ジョブを実行できます。 ビッグ データ クラスターの HDFS には、 --mount-pathで指定された場所に表示されます。

マウント状況を確認する

ビッグ データ クラスター内のすべてのマウントの状態を一覧表示するには、次のコマンドを使用します。

azdata bdc hdfs mount status

HDFS の特定のパスにあるマウントの状態を一覧表示するには、次のコマンドを使用します。

azdata bdc hdfs mount status --mount-path <mount-path-in-hdfs>

マウントを更新する

次の例では、マウントを更新します。

azdata bdc hdfs mount refresh --mount-path <mount-path-in-hdfs>

マウントを削除する

マウントを削除するには、 azdata bdc hdfs mount delete コマンドを使用し、HDFS でマウント パスを指定します。

azdata bdc hdfs mount delete --mount-path <mount-path-in-hdfs>

関連コンテンツ