クイックスタート: Python を使用して Batch プールを作成し、ジョブを実行する

[アーティクル]
03/01/2024

このクイックスタートでは、Python 向け Azure Batch クライアントライブラリを使用するアプリを実行して、Azure Batch の使用を開始する方法について説明します。 Python アプリの機能は以下のとおりです。

Batch タスク処理に使用するために、Azure Storage Blob コンテナーに複数の入力データファイルをアップロードします。
Ubuntu 20.04 LTS OS を実行する 2 つの仮想マシン (VM) またはコンピューティングノードのプールを 1 つ作成します。
ノードで実行するジョブと 3 つのタスクを作成します。各タスクは、Bash シェルコマンドラインを使用して入力ファイルの 1 つを処理します。
タスクから返される出力ファイルを表示します。

このクイックスタートを完了すると、Batch サービスの主要な概念を理解し、より現実的でより大規模なワークロードで Batch を使用できるようになります。

前提条件

アクティブなサブスクリプションが含まれる Azure アカウント。お持ちでない場合は、無料のアカウントを作成してください。
Batch アカウントおよびリンクされた Azure Storage アカウント。アカウントは、Azure CLI | Azure portal | Bicep | ARM テンプレート | Terraform のいずれかを使用して作成できます。
Python バージョン 3.8 以降 (pip パッケージマネージャーを含む)。

アプリを実行する

このクイックスタートを完了するには、Python アプリをダウンロードまたは複製し、アカウントの値を指定し、アプリを実行して出力を確認します。

アプリをダウンロードまたは複製する

GitHub から Azure Batch Python クイックスタートのアプリをダウンロードまたは複製します。次のコマンドを使用して、Git クライアントでサンプルアプリリポジトリを複製します。
```
git clone https://github.com/Azure-Samples/batch-python-quickstart.git
```
batch-python-quickstart/src フォルダーに切り替えて、pip を使用して必要なパッケージをインストールします。
```
pip install -r requirements.txt
```

アカウント情報を指定する

Python アプリでは、Batch アカウントとストレージアカウントの名前、アカウントキーの値、Batch アカウントエンドポイントを使用する必要があります。この情報は、Azure portal、Azure API、またはコマンドラインツールから取得できます。

Azure portal からアカウント情報を取得するには:

Azure の検索バーで、Batch アカウント名を検索して選択します。
Batch アカウントページで、左側のナビゲーションから [キー] を選択します。
[キー] ページで、次の値をコピーします。

Batch アカウント
アカウントエンドポイント
プライマリアクセスキー
Storage account name (ストレージアカウント名)
Key1

ダウンロードした Python アプリで、config.py ファイル内の次の文字列を編集して、コピーした値を指定します。

BATCH_ACCOUNT_NAME = '<batch account>'
BATCH_ACCOUNT_KEY = '<primary access key>'
BATCH_ACCOUNT_URL = '<account endpoint>'
STORAGE_ACCOUNT_NAME = '<storage account name>'
STORAGE_ACCOUNT_KEY = '<key1>'

重要

運用環境で使用する場合は、アプリソースでアカウントキーを公開することはお勧めしません。資格情報へのアクセスを制限し、コード内で変数または構成ファイルを使用して参照する必要があります。 Batch アカウントとストレージアカウントのキーを Azure Key Vault に格納することをお勧めします。

アプリを実行して出力を表示する

アプリを実行して、Batch ワークフローの動作を確認します。

python python_quickstart_client.py

一般的な実行時間は約 3 分です。最初のプールノードの設定に最も時間がかかります。

次の例のような出力がアプリから返されます。

Sample start: 11/26/2012 4:02:54 PM

Uploading file taskdata0.txt to container [input]...
Uploading file taskdata1.txt to container [input]...
Uploading file taskdata2.txt to container [input]...
Creating pool [PythonQuickstartPool]...
Creating job [PythonQuickstartJob]...
Adding 3 tasks to job [PythonQuickstartJob]...
Monitoring all tasks for 'Completed' state, timeout in 00:30:00...

プールのコンピューティングノードの起動中に、Monitoring all tasks for 'Completed' state, timeout in 00:30:00... で一時停止があります。タスクが作成されると、Batch はそれらをキューに入れてプールで実行します。最初のコンピューティングノードが使用可能になるとすぐに、最初のタスクがノードで実行されます。ノード、タスク、ジョブの状態は、Azure portal の Batch アカウントページから監視できます。

各タスクが完了すると、次の例のような出力が表示されます。

Printing task output...
Task: Task0
Node: tvm-2850684224_3-20171205t000401z
Standard output:
Batch processing began with mainframe computers and punch cards. Today it still plays a central role...

コードの確認

コードを確認して、Azure Batch Python クイックスタートの手順を把握します。

サービスクライアントを作成してリソースファイルをアップロードする

アプリは、BlobServiceClient オブジェクトを作成して、ストレージアカウントとやり取りします。

blob_service_client = BlobServiceClient(
        account_url=f"https://{config.STORAGE_ACCOUNT_NAME}.{config.STORAGE_ACCOUNT_DOMAIN}/",
        credential=config.STORAGE_ACCOUNT_KEY
    )

アプリでは、blob_service_client 参照を使用して、ストレージアカウントにコンテナーを作成し、そのコンテナーにデータファイルをアップロードします。ストレージ内のファイルは、Batch の ResourceFile オブジェクトとして定義されており、Batch が後でコンピューティングノードにダウンロードできます。
```
input_file_paths = [os.path.join(sys.path[0], 'taskdata0.txt'),
                    os.path.join(sys.path[0], 'taskdata1.txt'),
                    os.path.join(sys.path[0], 'taskdata2.txt')]

input_files = [
    upload_file_to_container(blob_service_client, input_container_name, file_path)
    for file_path in input_file_paths]
```
アプリは BatchServiceClient オブジェクトを作成して、Batch アカウントでプール、ジョブ、タスクを作成および管理します。 Batch クライアントでは共有キー認証を使用します。 Batch では Microsoft Entra 認証もサポートされています。
```
credentials = SharedKeyCredentials(config.BATCH_ACCOUNT_NAME,
        config.BATCH_ACCOUNT_KEY)

    batch_client = BatchServiceClient(
        credentials,
        batch_url=config.BATCH_ACCOUNT_URL)
```

コンピューティングノードのプールの作成

Batch プールを作成するために、このアプリでは PoolAddParameter クラスを使用して、ノードの数、VM のサイズ、プールの構成を設定します。次の VirtualMachineConfiguration オブジェクトは、Ubuntu Server 20.04 LTS Azure Marketplace イメージに対する ImageReference を指定します。 Batch では、Linux および Windows Server のさまざまな Marketplace イメージと、カスタム VM イメージもサポートされています。

POOL_NODE_COUNT と POOL_VM_SIZE は定義済みの定数です。アプリは、サイズ Standard_DS1_v2 の 2 つのノードで構成されるプールを作成します。このクイックスタートにおいて、このサイズはパフォーマンスとコストのバランスが取れています。

pool.add メソッドは、プールを Batch サービスを送信します。

new_pool = batchmodels.PoolAddParameter(
        id=pool_id,
        virtual_machine_configuration=batchmodels.VirtualMachineConfiguration(
            image_reference=batchmodels.ImageReference(
                publisher="canonical",
                offer="0001-com-ubuntu-server-focal",
                sku="20_04-lts",
                version="latest"
            ),
            node_agent_sku_id="batch.node.ubuntu 20.04"),
        vm_size=config.POOL_VM_SIZE,
        target_dedicated_nodes=config.POOL_NODE_COUNT
    )
    batch_service_client.pool.add(new_pool)

Batch ジョブの作成

Batch ジョブは、1 つ以上のタスクの論理グループです。ジョブには、優先度やタスクの実行対象プールなど、タスクに共通する設定が含まれています。

アプリでは、JobAddParameter クラスを使用して、プールにジョブを作成します。 job.add メソッドにより、指定した Batch アカウントにジョブが追加されます。最初、ジョブにはタスクがありません。

job = batchmodels.JobAddParameter(
    id=job_id,
    pool_info=batchmodels.PoolInformation(pool_id=pool_id))

batch_service_client.job.add(job)

タスクの作成

Batch には、アプリやスクリプトを計算ノードにデプロイする複数の方法が用意されています。アプリは、TaskAddParameter クラスを使用して、タスクオブジェクトの一覧を作成します。各タスクでは、command_line パラメーターを使ってアプリまたはスクリプトを指定し、入力ファイルを処理します。

次のスクリプトでは、Bash シェルの cat コマンドを実行してテキストファイルを表示して、入力 resource_files オブジェクトを処理します。その後、アプリは task.add_collection メソッドを使用して各タスクをジョブに追加します。これにより、コンピューティングノードで実行するタスクがキューに入れられます。

tasks = []

for idx, input_file in enumerate(resource_input_files):
    command = f"/bin/bash -c \"cat {input_file.file_path}\""
    tasks.append(batchmodels.TaskAddParameter(
        id=f'Task{idx}',
        command_line=command,
        resource_files=[input_file]
    )
    )

batch_service_client.task.add_collection(job_id, tasks)

タスク出力の表示

アプリは、タスクの状態を監視し、タスクが完了したことを確認します。各タスクが正常に実行されると、タスクコマンドの出力が stdout.txt ファイルに書き込まれます。その後、完了した各タスクの stdout.txt ファイルがアプリに表示されます。

tasks = batch_service_client.task.list(job_id)

for task in tasks:

    node_id = batch_service_client.task.get(job_id, task.id).node_info.node_id
    print(f"Task: {task.id}")
    print(f"Node: {node_id}")

    stream = batch_service_client.file.get_from_task(
        job_id, task.id, config.STANDARD_OUT_FILE_NAME)

    file_text = _read_stream_as_string(
        stream,
        text_encoding)

    if text_encoding is None:
        text_encoding = DEFAULT_ENCODING

    sys.stdout = io.TextIOWrapper(sys.stdout.detach(), encoding = text_encoding)
    sys.stderr = io.TextIOWrapper(sys.stderr.detach(), encoding = text_encoding)

    print("Standard output:")
    print(file_text)

リソースをクリーンアップする

アプリは自動的に、作成された入力用ストレージコンテナーを削除し、Batch プールとジョブを削除するためのオプションを表示します。プールとノードでは、ジョブが実行されていない場合でも、ノードの実行中は料金が発生します。プールは不要になったら、削除してください。

Batch リソースが不要になったら、そのリソースを含むリソースグループを削除できます。 Azure portal のリソースグループページの上部で、[リソースグループの削除] を選択します。 [リソースグループの削除] 画面で、リソースグループ名を入力し、[削除] を選択します。

次のステップ

このクイックスタートでは、Batch Python API を使用して Batch プール、ノード、ジョブ、タスクを作成するアプリを実行しました。ジョブによって、リソースファイルがストレージコンテナーにアップロードされ、ノードでタスクが実行され、ノードからの出力が表示されました。

Batch サービスの主要な概念を理解できたので、より現実的でより大規模なワークロードを使用して Batch を使用する準備が整いました。 Azure Batch の詳細を確認し、実際のアプリケーションで並列ワークロードを詳しく見てみるには、Batch Python のチュートリアルに進んでください。

Python を使用して並列ワークロードを処理する

クイック スタート: Python を使用して Batch プールを作成し、ジョブを実行する