クイックスタート: Azure portal を使用して新しいサーバーレス Apache Spark プールを作成する

  • [アーティクル]

Azure Synapse Analytics には、データの取り込み、変換、モデル化、分析、配布に役立つさまざまな分析エンジンが用意されています。 Apache Spark プールは、オープンソースのビッグ データ コンピューティング機能を提供します。 お使いの Synapse ワークスペースに Apache Spark プールを作成した後、データを読み込み、モデル化し、処理し、配布して、分析情報を迅速に得ることができます。

このクイックスタートでは、Azure portal を使用して Synapse ワークスペースに Apache Spark プールを作成する方法を学習します。

重要

Spark インスタンスの料金は、それを使用しているかどうかに関係なく、分単位で課金されます。 必ず、Spark インスタンスの使用を終了した後にシャットダウンするか、短いタイムアウトを設定してください。 詳しくは、この記事の「リソースのクリーンアップ」をご覧ください。

Azure サブスクリプションをお持ちでない場合は、開始する前に無料アカウントを作成してください。

前提条件

Azure portal にサインインする

Azure ポータル

  1. Synapse ワークスペースに移動します。ここでは、検索バーにサービス名 (またはリソース名を直接) 入力して、Apache Spark プールを作成します。 Screenshot of the Azure portal search bar with Synapse workspaces typed in.

  2. ワークスペースの一覧で、開くワークスペースの名前 (または名前の一部) を入力します。 この例では、contosoanalytics という名前のワークスペースを使用します。 Screenshot from the Azure portal of the list of Synapse workspaces filtered to show those containing the name Contoso.

新しい Apache Spark プールを作成する

重要

Azure Synapse Runtime for Apache Spark 2.4 は非推奨となっており、2023 年 9 月以降、正式にはサポートされていません。 Spark 3.1 と Spark 3.2 もサポート終了が発表された場合、お客様には Spark 3.3 に移行することをお勧めします。

  1. Apache Spark プールを作成する Synapse ワークスペースで、 [新しい Apache Spark プール] を選択します。 Screenshot from the Azure portal of a Synapse workspace with a red box around the command to create a new Apache Spark pool.

  2. [基本] タブで、以下の詳細を入力します。

    設定 提案された値 説明
    [Apache Spark pool name](Apache Spark プール名) 有効なプール名 (contosospark など) これは、Apache Spark プールの名前です。
    ノード サイズ Small (4 vCPU / 32 GB) (S (4 vCPU/32 GB)) このクイックスタートのコストを削減するために、最小サイズに設定します
    Autoscale 無効 このクイックスタートでは、自動スケーリングは必要ありません
    [Number of nodes](ノードの数) 5 このクイックスタートでは、コストを制限するために小さいサイズを使用します

    Screenshot from the Azure portal of the Apache Spark pool create flow - basics tab.

    重要

    Apache Spark プールで使用できる名前には特定の制限があります。 名前は、文字または数字のみを含み、15 文字以下である必要があります。さらに、文字で始まり、予約語を含まず、ワークスペース内で一意である必要があります。

  3. [次へ: 追加設定] をクリックして、既定の設定を確認します。 既定の設定は変更しないでください。 Screenshot from the Azure portal that shows the 'Create Apache Spark pool' page with the 'Additional settings' tab selected.

  4. [次へ: タグ] を選択します。 Azure タグの使用を検討します。 たとえば、リソースを作成したユーザーを識別する "Owner" または "CreatedBy" タグ、このリソースが運用や開発などの環境にあるかどうかを識別する "Environment" タグなどです。詳細については、「Azure リソースの名前付けおよびタグ付けの戦略を作成する」を参照してください。 Screenshot from the Azure portal of Apache Spark pool create flow - additional settings tab.

  5. [Review + create](レビュー + 作成) を選択します。

  6. 以前に入力した内容に基づいて詳細が正しいことを確認し、 [作成] を選択します。 Screenshot from the Azure portal of Apache Spark pool create flow - review settings tab.

  7. この時点で、リソースのプロビジョニング フローが開始されます。完了すると、その旨が表示されます。 Screenshot from the Azure portal of that shows the 'Overview' page with a 'Your deployment is complete' message displayed.

  8. プロビジョニングが完了した後にワークスペースに戻ると、新しく作成された Apache Spark プールの新しいエントリが表示されます。 Screenshot from the Azure portal of Apache Spark pool create flow - resource provisioning.

  9. この時点で、実行されているリソースはなく、Spark の料金は発生していません。この時点で、作成する Spark インスタンスに関するメタデータが作成されています。

リソースをクリーンアップする

次の手順では、ワークスペースから Apache Spark プールを削除します。

警告

Apache Spark プールを削除すると、ワークスペースから分析エンジンが削除されます。 プールに接続することはできなくなります。また、この Apache Spark プールを使用するすべてのクエリ、パイプライン、ノートブックは動作しなくなります。

Apache Spark プールを削除する場合は、次の手順を行います。

  1. ワークスペースの [Apache Spark プール] ペインに移動します。
  2. 削除する Apache Spark プール (この場合は contosospark) を選択します。
  3. 削除を選択します。 Screenshot from the Azure portal of a list of Apache Spark pools, with the recently created pool selected.
  4. 削除を確定し、[削除] ボタンを選択します。 Screenshot from the Azure portal of the Confirmation dialog to delete the selected Apache Spark pool.
  5. プロセスが正常に完了すると、Apache Spark プールはワークスペース リソースの一覧に表示されなくなります。

関連するコンテンツ