Azure Blob Storage の Shared Access Signature を使用して HDInsight でのデータへのアクセスを制限する

[アーティクル]
06/01/2023

HDInsight には、クラスターに関連付けられた Azure Blob Storage アカウントのデータへのフルアクセス権があります。 BLOB コンテナーで Shared Access Signature を使って、データへのアクセスを制限できます。 Shared Access Signature (SAS) は、データへのアクセスを制限できる Azure Blob Storage アカウントの機能です。たとえば、データに読み取り専用のアクセス権を提供します。

重要

Apache Ranger を使うソリューションでは、ドメインに参加している HDInsight を使うことを検討してください。詳しくは、「ドメイン参加済み HDInsight クラスターの構成」をご覧ください。

警告

HDInsight には、クラスターの既定のストレージへのフルアクセス権が必要です。

前提条件

SSH クライアント詳細については、SSH を使用して HDInsight (Apache Hadoop) に接続する方法に関するページを参照してください。
既存のストレージコンテナー。
PowerShell を使用している場合は、AZ モジュールが必要になります。
Azure CLI を使用したいが、まだインストールしていない場合は、「Azure CLI のインストール」を参照してください。
Python バージョン 2.7 以降 (Python を使用する場合)。
C# を使用する場合は、Visual Studio のバージョンが 2013 以降である必要があります。
ストレージアカウントの URI スキーム。このスキームは、Azure Blob Storage の場合は wasb://、Azure Data Lake Storage Gen2 の場合は abfs://、Azure Data Lake Storage Gen1 の場合は adl:// です。 Azure Blob Storage で安全な転送が有効になっている場合、URI は wasbs:// になります。
Shared Access Signature の追加先となる既存の HDInsight クラスター。ない場合は、Azure PowerShell を使用してクラスターを作成し、クラスターの作成時に Shared Access Signature を追加することができます。
サンプルファイルは、https://github.com/Azure-Samples/hdinsight-dotnet-python-azure-storage-shared-access-signature にあります。このリポジトリには、以下が含まれます。
- HDInsight で使用するストレージコンテナー、保存済みのポリシーおよび SAS を作成できる Visual Studio プロジェクト
- HDInsight で使用するストレージコンテナー、保存済みのポリシーおよび SAS を作成できる Python スクリプト
- HDInsight クラスターを作成して、SAS を使用するように構成できる PowerShell スクリプト以下では、更新したバージョンを使用しています。
- サンプルファイル: hdinsight-dotnet-python-azure-storage-shared-access-signature-master\sampledata\sample.log

Shared Access Signature

Shared Access Signature には、次の 2 つのフォームがあります。

Ad hoc:開始時刻、有効期限、SAS へのアクセス許可がすべて、SAS URI で指定されます。
Stored access policy:保存されているアクセスポリシーは、リソースコンテナー (BLOB コンテナーなど) で定義されています。ポリシーを使用して、1 つ以上の Shared Access Signature の制約を管理できます。保存されているアクセスポリシーに SAS を関連付けると、SAS は、保存されているアクセスポリシーに定義されている制約 (開始時刻、有効期限、およびアクセス許可) を継承します。

1 つの重要なシナリオ、失効では、この 2 つの形式の相違点が重要です。 SAS は URL であるため、SAS を取得するどのユーザーでも使用できます。最初にだれが要求したかは関係ありません。 SAS が一般ユーザーに発行された場合は、世界中のだれでも使用できます。配布された SAS は、次の 4 つの状況のいずれかになるまで有効です。

SAS に指定された有効期限に達した。
SAS によって参照されている保存されたアクセスポリシーで指定されている有効期限に達した。次のシナリオの場合、有効期限に達します。
- 指定された期間が経過した。
- 保存されているアクセスポリシーが、過去の有効期限に変更された。有効期限の変更は、SAS を失効させる方法の 1 つです。
SAS の参照先である保存されているアクセスポリシーが削除されている。これは、SAS を失効させる、もう 1 つの方法です。保存されているアクセスポリシーを同じ名前で再作成すると、前のポリシーの SAS トークンがすべて有効になります (SAS の有効期限が過ぎていない場合)。 SAS を失効させるつもりで、将来の時間を有効期限に指定してアクセスポリシーを再作成する場合は必ず、異なる名前を使ってください。
SAS の作成に使用したアカウントキーが再度生成された。キーを再生成すると、前のキーを使うすべてのアプリケーションが、認証に失敗します。すべてのコンポーネントを新しいキーに更新してください。

重要

Shared Access Signature URI は、署名の作成に使用されたアカウントキーと、保存済みのアクセスポリシー (存在する場合) に関連付けられます。保存済みのアクセスポリシーが指定されていない場合、Shared Access Signature を取り消すにはアカウントキーを変更する以外に方法はありません。

保存済みのアクセスポリシーを常に使用することをお勧めします。保存済みのポリシーを使用している場合、必要に応じて署名を失効させるか、有効期限を延長することができます。ドキュメント内のこれらの手順は、保存済みのアクセスポリシーを使用して、SAS を生成します。

Shared Access Signature の詳細については、「 SAS モデルについて」を参照してください。

保存済みのポリシーと SAS を作成する

それぞれの方法の最後に生成される SAS トークンを保存します。トークンは、次のような出力になります。

?sv=2018-03-28&sr=c&si=myPolicyPS&sig=NAxefF%2BrR2ubjZtyUtuAvLQgt%2FJIN5aHJMj6OsDwyy4%3D

PowerShell の使用

RESOURCEGROUP、STORAGEACCOUNT、STORAGECONTAINER は、既存のストレージコンテナーの適切な値に置き換えてください。ディレクトリを hdinsight-dotnet-python-azure-storage-shared-access-signature-master に変更するか、または Set-AzStorageblobcontent の絶対パスを含むように -File パラメーターを修正します。次の PowerShell コマンドを入力します。

$resourceGroupName = "RESOURCEGROUP"
$storageAccountName = "STORAGEACCOUNT"
$containerName = "STORAGECONTAINER"
$policy = "myPolicyPS"

# Login to your Azure subscription
$sub = Get-AzSubscription -ErrorAction SilentlyContinue
if(-not($sub))
{
    Connect-AzAccount
}

# If you have multiple subscriptions, set the one to use
# Select-AzSubscription -SubscriptionId "<SUBSCRIPTIONID>"

# Get the access key for the Azure Storage account
$storageAccountKey = (Get-AzStorageAccountKey `
                                -ResourceGroupName $resourceGroupName `
                                -Name $storageAccountName)[0].Value

# Create an Azure Storage context
$storageContext = New-AzStorageContext `
                                -StorageAccountName $storageAccountName `
                                -StorageAccountKey $storageAccountKey

# Create a stored access policy for the Azure storage container
New-AzStorageContainerStoredAccessPolicy `
   -Container $containerName `
   -Policy $policy `
   -Permission "rl" `
   -ExpiryTime "12/31/2025 08:00:00" `
   -Context $storageContext

# Get the stored access policy or policies for the Azure storage container
Get-AzStorageContainerStoredAccessPolicy `
    -Container $containerName `
    -Context $storageContext

# Generates an SAS token for the Azure storage container
New-AzStorageContainerSASToken `
    -Name $containerName `
    -Policy $policy `
    -Context $storageContext

<# Removes a stored access policy from the Azure storage container
Remove-AzStorageContainerStoredAccessPolicy `
    -Container $containerName `
    -Policy $policy `
    -Context $storageContext
#>

# upload a file for a later example
Set-AzStorageblobcontent `
    -File "./sampledata/sample.log" `
    -Container $containerName `
    -Blob "samplePS.log" `
    -Context $storageContext

Azure CLI の使用

このセクションの変数の使用は、Windows 環境を前提としています。 bash やその他の環境では、若干の調整が必要となります。

STORAGEACCOUNT と STORAGECONTAINER は、既存のストレージコンテナーの適切な値に置き換えてください。

# set variables
set AZURE_STORAGE_ACCOUNT=STORAGEACCOUNT
set AZURE_STORAGE_CONTAINER=STORAGECONTAINER

#Login
az login

# If you have multiple subscriptions, set the one to use
# az account set --subscription SUBSCRIPTION

# Retrieve the primary key for the storage account
az storage account keys list --account-name %AZURE_STORAGE_ACCOUNT% --query "[0].{PrimaryKey:value}" --output table

取得したプライマリキーを、後で使用するために変数に設定します。 PRIMARYKEY を前の手順で取得した値に置き換えてから、次のコマンドを入力します。
```
#set variable for primary key
set AZURE_STORAGE_KEY=PRIMARYKEY
```

ディレクトリを hdinsight-dotnet-python-azure-storage-shared-access-signature-master に変更するか、または az storage blob upload の絶対パスを含むように --file パラメーターを修正します。残りのコマンドを実行します。

# Create stored access policy on the containing object
az storage container policy create --container-name %AZURE_STORAGE_CONTAINER% --name myPolicyCLI --account-key %AZURE_STORAGE_KEY% --account-name %AZURE_STORAGE_ACCOUNT% --expiry 2025-12-31 --permissions rl

# List stored access policies on a containing object
az storage container policy list --container-name %AZURE_STORAGE_CONTAINER% --account-key %AZURE_STORAGE_KEY% --account-name %AZURE_STORAGE_ACCOUNT%

# Generate a shared access signature for the container
az storage container generate-sas --name %AZURE_STORAGE_CONTAINER% --policy-name myPolicyCLI --account-key %AZURE_STORAGE_KEY% --account-name %AZURE_STORAGE_ACCOUNT%

# Reversal
# az storage container policy delete --container-name %AZURE_STORAGE_CONTAINER% --name myPolicyCLI --account-key %AZURE_STORAGE_KEY% --account-name %AZURE_STORAGE_ACCOUNT%

# upload a file for a later example
az storage blob upload --container-name %AZURE_STORAGE_CONTAINER% --account-key %AZURE_STORAGE_KEY% --account-name %AZURE_STORAGE_ACCOUNT% --name sampleCLI.log --file "./sampledata/sample.log"

Python の使用

SASToken.py ファイルを開き、storage_account_name、storage_account_key、storage_container_name を、既存のストレージコンテナーの適切な値に置き換えてから、スクリプトを実行します。

エラーメッセージ "ImportError: No module named azure.storage" が返された場合は、pip install --upgrade azure-storage を実行する必要があります。

C# の使用

Visual Studio でソリューションを開きます。
ソリューションエクスプローラーで [SASExample] プロジェクトを右クリックし、 [プロパティ] を選択します。

[設定] を選択し、次のエントリに値を追加します。

Item	説明
StorageConnectionString	保存済みのポリシーと SAS を作成するストレージアカウントの接続文字列。 `myaccount` がストレージアカウントの名前で、`mykey` がストレージアカウントのキーである場合、形式は `DefaultEndpointsProtocol=https;AccountName=myaccount;AccountKey=mykey` になります。
コンテナー名	アクセスを制限するストレージアカウントのコンテナー。
SASPolicyName	作成する保存済みのポリシーに使用する名前。
FileToUpload	コンテナーにアップロードされるファイルのパス。

プロジェクトを実行します。 SAS ポリシートークン、ストレージアカウント名、コンテナー名を保存します。これらの値は、HDInsight クラスターにストレージアカウントを関連付けるときに使用されます。

HDInsight での SAS の使用

HDInsight クラスターを作成するときは、プライマリストレージアカウントを指定する必要があります。追加のストレージアカウントを指定することもできます。これらのストレージを追加する両方の方法で、使用するストレージアカウントとコンテナーへのフルアクセスが必要です。

コンテナーへのアクセスを制限するには、Shared Access Signature を使用します。クラスターの core-site 構成にカスタムエントリを追加します。エントリは、クラスターの作成中に PowerShell を使用して、またはクラスターの作成後に Ambari を使用して追加することができます。

SAS を使用するクラスターの作成

CLUSTERNAME、RESOURCEGROUP、DEFAULTSTORAGEACCOUNT、STORAGECONTAINER、STORAGEACCOUNT、TOKEN を適切な値に置き換えます。次の PowerShell コマンドを入力します。

$clusterName = 'CLUSTERNAME'
$resourceGroupName = 'RESOURCEGROUP'

# Replace with the Azure data center you want to the cluster to live in
$location = 'eastus'

# Replace with the name of the default storage account TO BE CREATED
$defaultStorageAccountName = 'DEFAULTSTORAGEACCOUNT'

# Replace with the name of the SAS container CREATED EARLIER
$SASContainerName = 'STORAGECONTAINER'

# Replace with the name of the SAS storage account CREATED EARLIER
$SASStorageAccountName = 'STORAGEACCOUNT'

# Replace with the SAS token generated earlier
$SASToken = 'TOKEN'

# Default cluster size (# of worker nodes), version, and type
$clusterSizeInNodes = "4"
$clusterVersion = "3.6"
$clusterType = "Hadoop"

# Login to your Azure subscription
$sub = Get-AzSubscription -ErrorAction SilentlyContinue
if(-not($sub))
{
    Connect-AzAccount
}

# If you have multiple subscriptions, set the one to use
# Select-AzSubscription -SubscriptionId "<SUBSCRIPTIONID>"

# Create an Azure Storage account and container
New-AzStorageAccount `
    -ResourceGroupName $resourceGroupName `
    -Name $defaultStorageAccountName `
    -Location $location `
    -SkuName Standard_LRS `
    -Kind StorageV2 `
    -EnableHttpsTrafficOnly 1

$defaultStorageAccountKey = (Get-AzStorageAccountKey `
                                -ResourceGroupName $resourceGroupName `
                                -Name $defaultStorageAccountName)[0].Value

$defaultStorageContext = New-AzStorageContext `
                                -StorageAccountName $defaultStorageAccountName `
                                -StorageAccountKey $defaultStorageAccountKey

# Create a blob container. This holds the default data store for the cluster.
New-AzStorageContainer `
    -Name $clusterName `
    -Context $defaultStorageContext

# Cluster login is used to secure HTTPS services hosted on the cluster
$httpCredential = Get-Credential `
    -Message "Enter Cluster login credentials" `
    -UserName "admin"

# SSH user is used to remotely connect to the cluster using SSH clients
$sshCredential = Get-Credential `
    -Message "Enter SSH user credentials" `
    -UserName "sshuser"

# Create the configuration for the cluster
$config = New-AzHDInsightClusterConfig

$config = $config | Add-AzHDInsightConfigValue `
    -Spark2Defaults @{} `
    -Core @{"fs.azure.sas.$SASContainerName.$SASStorageAccountName.blob.core.windows.net"=$SASToken}

# Create the HDInsight cluster
New-AzHDInsightCluster `
    -Config $config `
    -ResourceGroupName $resourceGroupName `
    -ClusterName $clusterName `
    -Location $location `
    -ClusterSizeInNodes $clusterSizeInNodes `
    -ClusterType $clusterType `
    -OSType Linux `
    -Version $clusterVersion `
    -HttpCredential $httpCredential `
    -SshCredential $sshCredential `
    -DefaultStorageAccountName "$defaultStorageAccountName.blob.core.windows.net" `
    -DefaultStorageAccountKey $defaultStorageAccountKey `
    -DefaultStorageContainer $clusterName

<# REVERSAL
Remove-AzHDInsightCluster `
    -ResourceGroupName $resourceGroupName `
    -ClusterName $clusterName

Remove-AzStorageContainer `
    -Name $clusterName `
    -Context $defaultStorageContext

Remove-AzStorageAccount `
    -ResourceGroupName $resourceGroupName `
    -Name $defaultStorageAccountName

Remove-AzResourceGroup `
    -Name $resourceGroupName
#>

重要

HTTP(S) または SSH のユーザー名とパスワードを求められると、次の条件を満たすパスワードを指定する必要があります。

10 文字以上にする。
数字を 1 つ以上含める。
英数字以外を 1 文字以上含める。
大文字または小文字を 1 文字以上含める。

このスクリプトが完了するにはしばらく時間がかかります。通常、約 15 分です。エラーが発生することなく、このスクリプトが完了すると、クラスターが作成されています。

既存のクラスターで SAS を使用する

既存のクラスターがある場合は、次の手順を使用して、SAS を core-site 構成に追加することができます。

クラスターの Ambari Web UI を開きます。このページのアドレスは https://YOURCLUSTERNAME.azurehdinsight.net です。入力を要求されたら、クラスターを作成するときに使用した管理者名 (admin) とパスワードを使用してクラスターを認証します。
[HDFS] 、 [構成] 、 [詳細] 、 [カスタム core-site] の順に移動します。
[カスタム core-site] セクションを展開して、最後までスクロールし、 [プロパティの追加] を選択します。 [キー] と [値] に次の値を使用します。
- キー: fs.azure.sas.CONTAINERNAME.STORAGEACCOUNTNAME.blob.core.windows.net
- 値: これまでに実行したいずれかの方法で取得した SAS。
CONTAINERNAME を C# または SAS のアプリケーションで使用したコンテナー名に置き換えます。 STORAGEACCOUNTNAME には、使用したストレージアカウント名を指定します。

[追加] を選択し、このキーと値を保存します。
[保存] ボタンを選択すると構成変更が保存されます。プロンプトが表示されたら、変更の説明 (「SAS ストレージアクセスの追加」など) を追加し、 [保存] を選択します。

変更が完了したら、 [OK] を選択します。

重要

変更を有効にするには、複数のサービスを再起動する必要があります。
[再起動] ドロップダウンリストが表示されます。ドロップダウンリストから [影響を受けるものをすべて再起動する] を選択し、次に [Confirm Restart All](すべて再起動) を選択します。

この手順を MapReduce2 と YARN に対して繰り返します。
これらのサービスが再起動されたら、各サービスを選択して、 [サービスアクション] ドロップダウンからメンテナンスモードを無効化します。

制限付きアクセスをテストする

次の手順を使用して、SAS ストレージアカウント上の項目を読み取りまたは一覧表示のみすることができることを確認します。

クラスターに接続します。 CLUSTERNAME をクラスターの名前に置き換えてから、次のコマンドを入力します。
```
ssh sshuser@CLUSTERNAME-ssh.azurehdinsight.net
```
コンテナーの内容を一覧表示するには、プロンプトから次のコマンドを使用します。
```
hdfs dfs -ls wasbs://SASCONTAINER@SASACCOUNTNAME.blob.core.windows.net/
```
SASCONTAINER を SAS ストレージアカウントに対して作成されたコンテナーの名前に置き換えます。 SASACCOUNTNAME を SAS に使用するストレージアカウントの名前に置き換えます。

一覧には、コンテナーと SAS が作成されたときにアップロードされたファイルも含まれます。
次のコマンドを使用して、ファイルの内容を読み取ることができることを確認します。前の手順と同様に、SASCONTAINER と SASACCOUNTNAME を置き換えます。 sample.log を前のコマンドで表示されたファイルの名前に置き換えます。
```
hdfs dfs -text wasbs://SASCONTAINER@SASACCOUNTNAME.blob.core.windows.net/sample.log
```
このコマンドにより、ファイルの内容が一覧表示されます。
次のコマンドを使用して、ローカルファイルシステムにファイルをダウンロードします。
```
hdfs dfs -get wasbs://SASCONTAINER@SASACCOUNTNAME.blob.core.windows.net/sample.log testfile.txt
```
このコマンドは、testfile.txt という名前のローカルファイルにファイルをダウンロードします。
次のコマンドを使用して、ローカルファイルを SAS ストレージ上の testupload.txt という名前の新しいファイルにアップロードします。
```
hdfs dfs -put testfile.txt wasbs://SASCONTAINER@SASACCOUNTNAME.blob.core.windows.net/testupload.txt
```
次のテキストのようなメッセージが返されます。
```
put: java.io.IOException
```
このエラーは、ストレージの場所が読み取りと一覧表示のみであるために発生します。次のコマンドを使用して、書き込み可能なクラスターの既定のストレージ上にデータを置きます。
```
hdfs dfs -put testfile.txt wasbs:///testupload.txt
```
このとき、操作が正常に完了する必要があります。

次のステップ

HDInsight クラスターにアクセスが制限されたストレージを追加する方法を学習しました。クラスターのデータと連携するその他の方法を確認してください。