Azure Data Lake Analytics の CI/CD パイプラインをセットアップする方法

[アーティクル]
12/20/2023

この記事では、U-SQL ジョブと U-SQL データベースの継続的統合およびデプロイ (CI/CD) パイプラインを設定する方法について説明します。

重要

Azure Data Lake Analytics 2024 年 2 月 29 日に廃止されました。詳細については、このお知らせを参照してください。

データ分析の場合、organizationでは Azure Synapse Analytics または Microsoft Fabric を使用できます。

注意

Azure を操作するには、Azure Az PowerShell モジュールを使用することをお勧めします。作業を開始するには、Azure PowerShell のインストールに関する記事を参照してください。 Az PowerShell モジュールに移行する方法については、「AzureRM から Az への Azure PowerShell の移行」を参照してください。

U-SQL ジョブに CI/CD を使用する

Azure Data Lake Tools for Visual Studio が提供する U-SQL プロジェクトタイプは、U-SQL スクリプトの整理に役立ちます。 U-SQL プロジェクトを使用して U-SQL コードを管理することで、CI/CD シナリオがさらに簡単になります。

U-SQL プロジェクトをビルドする

U-SQL プロジェクトは、Microsoft Build Engine (MSBuild) で対応するパラメーターを渡すことによってビルドできます。この記事の手順に従って、U-SQL プロジェクトのビルドプロセスを設定します。

プロジェクトの移行

U-SQL プロジェクトのビルドタスクを設定する前に、U-SQL プロジェクトの最新バージョンを使用していることを確認します。エディターで U-SQL プロジェクトファイルを開き、次のインポート項目があることを確認します。

<!-- check for SDK Build target in current path then in USQLSDKPath-->
<Import Project="UsqlSDKBuild.targets" Condition="Exists('UsqlSDKBuild.targets')" />
<Import Project="$(USQLSDKPath)\UsqlSDKBuild.targets" Condition="!Exists('UsqlSDKBuild.targets') And '$(USQLSDKPath)' != '' And Exists('$(USQLSDKPath)\UsqlSDKBuild.targets')" />

ない場合、プロジェクトを移行する 2 つのオプションがあります。

オプション 1: 古いインポート項目を前述の項目に変更します。
オプション 2:古いプロジェクトを Azure Data Lake Tools for Visual Studio で開きます。 2\.3.3000.0 よりも新しいバージョンを使用します。古いプロジェクトテンプレートが自動的に最新バージョンにアップグレードされます。 2\.3.3000.0 より新しいバージョンで作成された新しいプロジェクトでは、新しいテンプレートが使用されます。

NuGet を入手する

MSBuild には、U-SQL プロジェクトのサポートが組み込まれていません。このサポートを追加するには、必要な言語サービスを追加する Microsoft.Azure.DataLake.USQL.SDK NuGet パッケージへの参照をソリューションのために追加する必要があります。

NuGet パッケージ参照を追加するには、Visual Studio のソリューションエクスプローラーでソリューションを右クリックして [NuGet パッケージの管理] を選択します。または、packages.config という名前のファイルをソリューションフォルダーに追加し、次の内容をそのファイルに追加します。

<?xml version="1.0" encoding="utf-8"?>
<packages>
  <package id="Microsoft.Azure.DataLake.USQL.SDK" version="1.3.180620" targetFramework="net452" />
</packages>

U-SQL データベース参照の管理

U-SQL プロジェクトの U-SQL スクリプトには、U-SQL データベースオブジェクトのクエリステートメントが含まれている場合があります。このような場合は、U-SQL プロジェクトをビルドする前に、オブジェクトの定義を含む、対応する U-SQL データベースプロジェクトを参照する必要があります。たとえば、U-SQL テーブルに対してクエリを実行する場合や、アセンブリを参照する場合です。

詳細については、U-SQL データベースプロジェクトに関するページを参照してください。

注意

DROP ステートメントは、誤削除の原因となる場合があります。 DROP ステートメントを有効にするには、MSBuild 引数を明示的に指定する必要があります。 AllowDropStatement では、アセンブリのドロップやテーブル値関数のドロップなど、非データ関連の DROP 操作を有効にします。 AllowDataDropStatement では、テーブルのドロップやスキーマのドロップなど、データ関連の DROP 操作を有効にします。 AllowDataDropStatement を使用する前に、AllowDropStatement を有効にする必要があります。

MSBuild コマンドラインを使用して U-SQL プロジェクトをビルドする

まずプロジェクトを移行し、NuGet パッケージを入手します。次に、次の引数を指定して標準の MSBuild コマンドラインを呼び出して、U-SQL プロジェクトをビルドします。

msbuild USQLBuild.usqlproj /p:USQLSDKPath=packages\Microsoft.Azure.DataLake.USQL.SDK.1.3.180615\build\runtime;USQLTargetType=SyntaxCheck;DataRoot=datarootfolder;/p:EnableDeployment=true

引数の定義と値は次のとおりです。

USQLSDKPath=<U-SQL Nuget package>\build\runtime. このパラメーターは、U-SQL 言語サービス用の NuGet パッケージのインストールパスを参照します。
USQLTargetType=Merge or SyntaxCheck:
- Merge。マージモードでコードビハインドファイルをコンパイルします。たとえば、 .cs、 .py、 .r などのファイルです。結果のユーザー定義コードライブラリを U-SQL スクリプトにインライン展開します。たとえば、dll バイナリ、Python、R などのコードです。
- SyntaxCheck。 SyntaxCheck モードでは、まずコードビハインドファイルが U-SQL スクリプトにマージされます。次に、U-SQL スクリプトがコンパイルされ、コードが検証されます。
DataRoot=<DataRoot パス>。 DataRoot は SyntaxCheck モードの場合にのみ必要です。 SyntaxCheck モードでスクリプトをビルドすると、MSBuild によってスクリプト内のデータベースオブジェクトに対する参照がチェックされます。ビルド前に、U-SQL データベースから参照されるオブジェクトを含め、一致するローカル環境をビルドコンピューターの DataRoot フォルダー上にセットアップしてください。 U-SQL データベースプロジェクトを参照することによって、これらのデータベース依存関係を管理することもできます。 MSBuild ではデータベースオブジェクト参照のみがチェックされ、ファイルはチェックされません。
EnableDeployment=true または false。 EnableDeployment は、ビルド処理中に参照されている U-SQL データベースをデプロイできるかどうかを示します。 U-SQL データベースプロジェクトを参照し、U-SQL スクリプトでデータベースオブジェクトを使用する場合は、このパラメーターを true に設定します。

Azure Pipelines を使用した継続的インテグレーション

コマンドラインに加えて、Visual Studio Build または MSBuild タスクを使用して、Azure Pipelines で U-SQL プロジェクトをビルドすることもできます。ビルドパイプラインを設定するには、ビルドパイプラインに NuGet 復元タスクと MSBuild タスクという 2 つのタスクを追加します。

U-SQL プロジェクトの MSBuild タスク

Azure.DataLake.USQL.SDK を含むソリューションで参照する NuGet パッケージを取得する NuGet 復元タスクを追加して、MSBuild で U-SQL 言語ターゲットを見つけられるようにします。手順 2 で直接 MSBuild 引数サンプルを使用する場合は、 [詳細設定]>[宛先ディレクトリ] を $(Build.SourcesDirectory)/packages に設定します。
次の例に示すように、Visual Studio ビルドツールまたは MSBuild タスクで MSBuild 引数を設定します。または、Azure Pipelines ビルドパイプラインで、これらの引数の変数を定義することもできます。
```
/p:USQLSDKPath=$(Build.SourcesDirectory)/packages/Microsoft.Azure.DataLake.USQL.SDK.1.3.180615/build/runtime /p:USQLTargetType=SyntaxCheck /p:DataRoot=$(Build.SourcesDirectory) /p:EnableDeployment=true
```

U-SQL プロジェクトのビルド出力

ビルドの実行後、U-SQL プロジェクト内のすべてのスクリプトがビルドされ、USQLProjectName.usqlpack という名前の zip ファイルに出力されます。プロジェクトのフォルダー構造は、zip 形式のビルド出力でも維持されます。

注意

各 U-SQL スクリプトの分離コードファイルは、インラインステートメントとしてスクリプトのビルド出力にマージされます。

U-SQL スクリプトのテスト

Azure Data Lake には、U-SQL スクリプトおよび C# UDO/UDAG/UDF 用のテストプロジェクトが用意されています。

U-SQL スクリプトおよび拡張 C# コード用のテストケースを追加する方法に関するページを参照してください
Azure Pipelines でテストケースを実行する方法を確認してください。

U-SQL ジョブをデプロイする

ビルドとテストのプロセスでコードを検証した後、Azure PowerShell タスクで U-SQL ジョブを Azure Pipelines から直接送信することができます。スクリプトを Azure Data Lake Store または Azure Blob Storage にデプロイし、スケジュールされたジョブを Azure Data Factory を使用して実行することもできます。

Azure Pipelines を使用して U-SQL ジョブを送信する

U-SQL プロジェクトのビルド出力は USQLProjectName.usqlpack という名前の zip ファイルです。この zip ファイルには、プロジェクト内のすべての U-SQL スクリプトが含まれています。 Pipelines で Azure PowerShell タスクを使用し、次のサンプル PowerShell スクリプトで、Azure Pipelines から直接 U-SQL ジョブを送信できます。

<#
   This script can be used to submit U-SQL Jobs with given U-SQL project build output(.usqlpack file).
   This will unzip the U-SQL project build output, and submit all scripts one-by-one.

   Note: the code behind file for each U-SQL script will be merged into the built U-SQL script in build output.

   Example :
      USQLJobSubmission.ps1 -ADLAAccountName "myadlaaccount" -ArtifactsRoot "C:\USQLProject\bin\debug\" -DegreeOfParallelism 2
#>

param(
   [Parameter(Mandatory=$true)][string]$ADLAAccountName, # ADLA account name to submit U-SQL jobs
   [Parameter(Mandatory=$true)][string]$ArtifactsRoot, # Root folder of U-SQL project build output
   [Parameter(Mandatory=$false)][string]$DegreeOfParallelism = 1
)

function Unzip($USQLPackfile, $UnzipOutput)
{
   $USQLPackfileZip = Rename-Item -Path $USQLPackfile -NewName $([System.IO.Path]::ChangeExtension($USQLPackfile, ".zip")) -Force -PassThru
   Expand-Archive -Path $USQLPackfileZip -DestinationPath $UnzipOutput -Force
   Rename-Item -Path $USQLPackfileZip -NewName $([System.IO.Path]::ChangeExtension($USQLPackfileZip, ".usqlpack")) -Force
}

## Get U-SQL scripts in U-SQL project build output(.usqlpack file)
Function GetUsqlFiles()
{

   $USQLPackfiles = Get-ChildItem -Path $ArtifactsRoot -Include *.usqlpack -File -Recurse -ErrorAction SilentlyContinue

   $UnzipOutput = Join-Path $ArtifactsRoot -ChildPath "UnzipUSQLScripts"

   foreach ($USQLPackfile in $USQLPackfiles)
   {
      Unzip $USQLPackfile $UnzipOutput
   }

   $USQLFiles = Get-ChildItem -Path $UnzipOutput -Include *.usql -File -Recurse -ErrorAction SilentlyContinue

   return $USQLFiles
}

## Submit U-SQL scripts to ADLA account one-by-one
Function SubmitAnalyticsJob()
{
   $usqlFiles = GetUsqlFiles

   Write-Output "$($usqlFiles.Count) jobs to be submitted..."

   # Submit each usql script and wait for completion before moving ahead.
   foreach ($usqlFile in $usqlFiles)
   {
      $scriptName = "[Release].[$([System.IO.Path]::GetFileNameWithoutExtension($usqlFile.fullname))]"

      Write-Output "Submitting job for '{$usqlFile}'"

      $jobToSubmit = Submit-AzDataLakeAnalyticsJob -Account $ADLAAccountName -Name $scriptName -ScriptPath $usqlFile -DegreeOfParallelism $DegreeOfParallelism

      LogJobInformation $jobToSubmit

      Write-Output "Waiting for job to complete. Job ID:'{$($jobToSubmit.JobId)}', Name: '$($jobToSubmit.Name)' "
      $jobResult = Wait-AzDataLakeAnalyticsJob -Account $ADLAAccountName -JobId $jobToSubmit.JobId  
      LogJobInformation $jobResult
   }
}

Function LogJobInformation($jobInfo)
{
   Write-Output "************************************************************************"
   Write-Output ([string]::Format("Job Id: {0}", $(DefaultIfNull $jobInfo.JobId)))
   Write-Output ([string]::Format("Job Name: {0}", $(DefaultIfNull $jobInfo.Name)))
   Write-Output ([string]::Format("Job State: {0}", $(DefaultIfNull $jobInfo.State)))
   Write-Output ([string]::Format("Job Started at: {0}", $(DefaultIfNull  $jobInfo.StartTime)))
   Write-Output ([string]::Format("Job Ended at: {0}", $(DefaultIfNull  $jobInfo.EndTime)))
   Write-Output ([string]::Format("Job Result: {0}", $(DefaultIfNull $jobInfo.Result)))
   Write-Output "************************************************************************"
}

Function DefaultIfNull($item)
{
   if ($item -ne $null)
   {
      return $item
   }
   return ""
}

Function Main()
{
   Write-Output ([string]::Format("ADLA account: {0}", $ADLAAccountName))
   Write-Output ([string]::Format("Root folde for usqlpack: {0}", $ArtifactsRoot))
   Write-Output ([string]::Format("AU count: {0}", $DegreeOfParallelism))

   Write-Output "Starting USQL script deployment..."

   SubmitAnalyticsJob

   Write-Output "Finished deployment..."
}

Main

注意

Submit-AzDataLakeAnalyticsJob および Wait-AzDataLakeAnalyticsJob コマンドは、どちらも Azure Resource Manager フレームワークに含まれる Azure Data Lake Analytics の Azure PowerShell コマンドレットです。 Azure PowerShell がインストールされているワークステーションが必要です。その他のコマンドと例については、コマンド一覧を参照してください。

Azure Data Factory を通じた U-SQL ジョブのデプロイ

Azure Pipelines から直接、U-SQL ジョブを送信することができます。また、ビルドしたスクリプトを Azure Data Lake Store または Azure Blob Storage にアップロードし、スケジュールされたジョブを Azure Data Factory を使用して実行することもできます。

U-SQL スクリプトを Azure Data Lake Store アカウントにアップロードするには、Azure Pipelines 内の Azure PowerShell タスクと、次のサンプル PowerShell スクリプトを使用します。

<#
   This script can be used to upload U-SQL files to ADLS with given U-SQL project build output(.usqlpack file).
   This will unzip the U-SQL project build output, and upload all scripts to ADLS one-by-one.

   Example :
      FileUpload.ps1 -ADLSName "myadlsaccount" -ArtifactsRoot "C:\USQLProject\bin\debug\"
#>

param(
   [Parameter(Mandatory=$true)][string]$ADLSName, # ADLS account name to upload U-SQL scripts
   [Parameter(Mandatory=$true)][string]$ArtifactsRoot, # Root folder of U-SQL project build output
   [Parameter(Mandatory=$false)][string]$DestinationFolder = "USQLScriptSource" # Destination folder in ADLS
)

Function UploadResources()
{
   Write-Host "************************************************************************"
   Write-Host "Uploading files to $ADLSName"
   Write-Host "***********************************************************************"

   $usqlScripts = GetUsqlFiles

   $files = @(get-childitem $usqlScripts -recurse)
   foreach($file in $files)
   {
      Write-Host "Uploading file: $($file.Name)"
      Import-AzDataLakeStoreItem -AccountName $ADLSName -Path $file.FullName -Destination "/$(Join-Path $DestinationFolder $file)" -Force
   }
}

function Unzip($USQLPackfile, $UnzipOutput)
{
   $USQLPackfileZip = Rename-Item -Path $USQLPackfile -NewName $([System.IO.Path]::ChangeExtension($USQLPackfile, ".zip")) -Force -PassThru
   Expand-Archive -Path $USQLPackfileZip -DestinationPath $UnzipOutput -Force
   Rename-Item -Path $USQLPackfileZip -NewName $([System.IO.Path]::ChangeExtension($USQLPackfileZip, ".usqlpack")) -Force
}

Function GetUsqlFiles()
{

   $USQLPackfiles = Get-ChildItem -Path $ArtifactsRoot -Include *.usqlpack -File -Recurse -ErrorAction SilentlyContinue

   $UnzipOutput = Join-Path $ArtifactsRoot -ChildPath "UnzipUSQLScripts"

   foreach ($USQLPackfile in $USQLPackfiles)
   {
      Unzip $USQLPackfile $UnzipOutput
   }

   return Get-ChildItem -Path $UnzipOutput -Include *.usql -File -Recurse -ErrorAction SilentlyContinue
}

UploadResources

U-SQL データベース用の CI/CD

Azure Data Lake Tools for Visual Studio が提供する U-SQL データベースプロジェクトテンプレートは、U-SQL データベースを開発、管理、デプロイするために役立ちます。詳細については、U-SQL データベースプロジェクトに関するページを参照してください。

U-SQL データベースプロジェクトのビルド

NuGet パッケージを入手する

MSBuild には、U-SQL データベースプロジェクトのサポートが組み込まれていません。この機能を取得するには、必要な言語サービスを追加する Microsoft.Azure.DataLake.USQL.SDK NuGet パッケージへの参照をソリューションのために追加する必要があります。

NuGet パッケージ参照を追加するには、Visual Studio のソリューションエクスプローラーでソリューションを右クリックします。 [NuGet パッケージの管理] を選択します。 NuGet パッケージを探してインストールします。また、packages.config という名前のファイルをソリューションフォルダーに追加し、次の内容をそのファイルに追加することもできます。

<?xml version="1.0" encoding="utf-8"?>
<packages>
  <package id="Microsoft.Azure.DataLake.USQL.SDK" version="1.3.180615" targetFramework="net452" />
</packages>

MSBuild コマンドラインを使用して U-SQL データベースプロジェクトをビルドする

U-SQL データベースプロジェクトをビルドするには、標準の MSBuild コマンドラインを呼び出し、U-SQL SDK NuGet パッケージ参照を別の引数として渡します。次の例を参照してください。

msbuild DatabaseProject.usqldbproj /p:USQLSDKPath=packages\Microsoft.Azure.DataLake.USQL.SDK.1.3.180615\build\runtime

引数 USQLSDKPath=<U-SQL Nuget package>\build\runtime は、U-SQL 言語サービス用の NuGet パッケージのインストールパスを参照します。

Azure Pipelines を使用した継続的インテグレーション

コマンドラインに加えて、Visual Studio Build または MSBuild タスクを使用して、Azure Pipelines で U-SQL データベースプロジェクトをビルドできます。ビルドタスクを設定するには、ビルドパイプラインに NuGet 復元タスクと MSBuild タスクという 2 つのタスクを追加します。

U-SQL プロジェクトの CI/CD MSBuild タスク

Azure.DataLake.USQL.SDK を含むソリューションで参照する NuGet パッケージを取得する NuGet 復元タスクを追加して、MSBuild で U-SQL 言語ターゲットを見つけられるようにします。手順 2 で直接 MSBuild 引数サンプルを使用する場合は、 [詳細設定]>[宛先ディレクトリ] を $(Build.SourcesDirectory)/packages に設定します。
次の例に示すように、Visual Studio ビルドツールまたは MSBuild タスクで MSBuild 引数を設定します。または、Azure Pipelines ビルドパイプラインで、これらの引数の変数を定義することもできます。
```
/p:USQLSDKPath=$(Build.SourcesDirectory)/packages/Microsoft.Azure.DataLake.USQL.SDK.1.3.180615/build/runtime
```

U-SQL データベースプロジェクトのビルド出力

U-SQL データベースプロジェクトのビルド出力は、名前に .usqldbpack というサフィックスのついた U-SQL データベース展開パッケージです。 .usqldbpack パッケージは、DDL フォルダー内の単一の U-SQL スクリプトにすべての DDL ステートメントを含む zip ファイルです。これには、一時フォルダー内のアセンブリのすべての .dll と他のファイルが含まれます。

テーブル値関数とストアドプロシージャをテストする

テーブル値関数とストアドプロシージャのテストケースを直接追加することは現在サポートされていません。回避策として、それらの関数を呼び出す U-SQL スクリプトを含む U-SQL プロジェクトを作成し、それらに対するテストケースを記述することができます。 U-SQL データベースプロジェクトで定義されたテーブル値関数およびストアドプロシージャ用のテストケースをセットアップするには、次の手順に従います。

テスト目的の U-SQL プロジェクトを作成し、テーブル値関数およびストアドプロシージャを呼び出す U-SQL スクリプトを記述します。
この U-SQL プロジェクトにデータベース参照を追加します。テーブル値関数およびストアドプロシージャの定義を取得するには、DDL ステートメントを含むデータベースプロジェクトを参照する必要があります。詳細については、データベースの参照に関するページを参照してください。
テーブル値関数およびストアドプロシージャを呼び出す U-SQL スクリプト用のテストケースを追加します。詳細については、U-SQL スクリプト用のテストケースを追加する方法に関するページを参照してください。

Azure Pipelines を使用して U-SQL データベースをデプロイする

PackageDeploymentTool.exe には、U-SQL データベースデプロイパッケージ .usqldbpack のデプロイに役立つプログラミングおよびコマンドラインインターフェイスが用意されています。 SDK は U-SQL SDK NuGet パッケージに含まれており、場所は build/runtime/PackageDeploymentTool.exe です。 PackageDeploymentTool.exe を使用して、U-SQL データベースを Azure Data Lake Analytics とローカルアカウントの両方にデプロイできます。

注意

U-SQL データベースデプロイに対する、PowerShell コマンドラインのサポートと Azure Pipelines リリースタスクのサポートは、現在保留中です。

Azure Pipelines でデータベースデプロイタスクを設定するには、次の手順を実行します。

ビルドまたはリリースパイプラインで PowerShell Script タスクを追加し、次の PowerShell スクリプトを実行します。このタスクは、PackageDeploymentTool.exe と PackageDeploymentTool.exe の Azure SDK 依存関係を取得するのに役立ちます。 -AzureSDK および -DBDeploymentTool パラメーターを設定すると、依存関係とデプロイツールを特定のフォルダーに読み込むことができます。 -AzureSDK パスを手順 2 の -AzureSDKPath パラメーターとして PackageDeploymentTool.exe に渡します。

<#
   This script is used for getting dependencies and SDKs for U-SQL database deployment.
   PowerShell command line support for deploying U-SQL database package(.usqldbpack file) will come soon.

   Example :
       GetUSQLDBDeploymentSDK.ps1 -AzureSDK "AzureSDKFolderPath" -DBDeploymentTool "DBDeploymentToolFolderPath"
#>

param (
   [string]$AzureSDK = "AzureSDK", # Folder to cache Azure SDK dependencies
   [string]$DBDeploymentTool = "DBDeploymentTool", # Folder to cache U-SQL database deployment tool
   [string]$workingfolder = "" # Folder to execute these command lines
)

if ([string]::IsNullOrEmpty($workingfolder))
{
   $scriptpath = $MyInvocation.MyCommand.Path
   $workingfolder = Split-Path $scriptpath
}
cd $workingfolder

echo "workingfolder=$workingfolder, outputfolder=$outputfolder"
echo "Downloading required packages..."

iwr https://www.nuget.org/api/v2/package/Microsoft.Azure.Management.DataLake.Analytics/3.5.1-preview -outf Microsoft.Azure.Management.DataLake.Analytics.3.5.1-preview.zip
iwr https://www.nuget.org/api/v2/package/Microsoft.Azure.Management.DataLake.Store/2.4.1-preview -outf Microsoft.Azure.Management.DataLake.Store.2.4.1-preview.zip
iwr https://www.nuget.org/api/v2/package/Microsoft.IdentityModel.Clients.ActiveDirectory/2.28.3 -outf Microsoft.IdentityModel.Clients.ActiveDirectory.2.28.3.zip
iwr https://www.nuget.org/api/v2/package/Microsoft.Rest.ClientRuntime/2.3.11 -outf Microsoft.Rest.ClientRuntime.2.3.11.zip
iwr https://www.nuget.org/api/v2/package/Microsoft.Rest.ClientRuntime.Azure/3.3.7 -outf Microsoft.Rest.ClientRuntime.Azure.3.3.7.zip
iwr https://www.nuget.org/api/v2/package/Microsoft.Rest.ClientRuntime.Azure.Authentication/2.3.3 -outf Microsoft.Rest.ClientRuntime.Azure.Authentication.2.3.3.zip
iwr https://www.nuget.org/api/v2/package/Newtonsoft.Json/6.0.8 -outf Newtonsoft.Json.6.0.8.zip
iwr https://www.nuget.org/api/v2/package/Microsoft.Azure.DataLake.USQL.SDK/ -outf USQLSDK.zip

echo "Extracting packages..."

Expand-Archive Microsoft.Azure.Management.DataLake.Analytics.3.5.1-preview.zip -DestinationPath Microsoft.Azure.Management.DataLake.Analytics.3.5.1-preview -Force
Expand-Archive Microsoft.Azure.Management.DataLake.Store.2.4.1-preview.zip -DestinationPath Microsoft.Azure.Management.DataLake.Store.2.4.1-preview -Force
Expand-Archive Microsoft.IdentityModel.Clients.ActiveDirectory.2.28.3.zip -DestinationPath Microsoft.IdentityModel.Clients.ActiveDirectory.2.28.3 -Force
Expand-Archive Microsoft.Rest.ClientRuntime.2.3.11.zip -DestinationPath Microsoft.Rest.ClientRuntime.2.3.11 -Force
Expand-Archive Microsoft.Rest.ClientRuntime.Azure.3.3.7.zip -DestinationPath Microsoft.Rest.ClientRuntime.Azure.3.3.7 -Force
Expand-Archive Microsoft.Rest.ClientRuntime.Azure.Authentication.2.3.3.zip -DestinationPath Microsoft.Rest.ClientRuntime.Azure.Authentication.2.3.3 -Force
Expand-Archive Newtonsoft.Json.6.0.8.zip -DestinationPath Newtonsoft.Json.6.0.8 -Force
Expand-Archive USQLSDK.zip -DestinationPath USQLSDK -Force

echo "Copy required DLLs to output folder..."

mkdir $AzureSDK -Force
mkdir $DBDeploymentTool -Force
copy Microsoft.Azure.Management.DataLake.Analytics.3.5.1-preview\lib\net452\*.dll $AzureSDK
copy Microsoft.Azure.Management.DataLake.Store.2.4.1-preview\lib\net452\*.dll $AzureSDK
copy Microsoft.IdentityModel.Clients.ActiveDirectory.2.28.3\lib\net45\*.dll $AzureSDK
copy Microsoft.Rest.ClientRuntime.2.3.11\lib\net452\*.dll $AzureSDK
copy Microsoft.Rest.ClientRuntime.Azure.3.3.7\lib\net452\*.dll $AzureSDK
copy Microsoft.Rest.ClientRuntime.Azure.Authentication.2.3.3\lib\net452\*.dll $AzureSDK
copy Newtonsoft.Json.6.0.8\lib\net45\*.dll $AzureSDK
copy USQLSDK\build\runtime\*.* $DBDeploymentTool

ビルドまたはリリースパイプラインに Command-Line タスクを追加し、PackageDeploymentTool.exe を呼び出してスクリプトを入力します。 PackageDeploymentTool.exe は、定義された $DBDeploymentTool フォルダーにあります。サンプルスクリプトは次のとおりです。

U-SQL データベースをローカルに展開します。

PackageDeploymentTool.exe deploylocal -Package <package path> -Database <database name> -DataRoot <data root path>

U-SQL データベースを Azure Data Lake Analytics のアカウントにデプロイするには、対話型認証モードを使用します。

PackageDeploymentTool.exe deploycluster -Package <package path> -Database <database name> -Account <account name> -ResourceGroup <resource group name> -SubscriptionId <subscript id> -Tenant <tenant name> -AzureSDKPath <azure sdk path> -Interactive

U-SQL データベースを Azure Data Lake Analytics アカウントに追加するには、シークレット認証を使用します。

PackageDeploymentTool.exe deploycluster -Package <package path> -Database <database name> -Account <account name> -ResourceGroup <resource group name> -SubscriptionId <subscript id> -Tenant <tenant name> -ClientId <client id> -Secrete <secrete>

U-SQL データベースを Azure Data Lake Analytics アカウントに追加するには、certFile 認証を使用します。

PackageDeploymentTool.exe deploycluster -Package <package path> -Database <database name> -Account <account name> -ResourceGroup <resource group name> -SubscriptionId <subscript id> -Tenant <tenant name> -ClientId <client id> -Secrete <secrete> -CertFile <certFile>

PackageDeploymentTool.exe のパラメーターの説明:

共通パラメーター

パラメーター	説明	Default value	必須
Package	デプロイする U-SQL データベースデプロイパッケージのパス。	null	true
データベース	デプロイまたは作成されるデータベース名。	master	false
LogFile	ログ用のファイルのパス。既定では標準出力 (コンソール) です。	null	false
LogLevel	ログレベル:詳細、標準、警告、エラー。	LogLevel.Normal	false

ローカルデプロイのパラメーター

パラメーター	説明	Default value	必須
DataRoot	ローカルデータルートフォルダーのパス。	null	true

Azure Data Lake Analytics デプロイのパラメーター

パラメーター	説明	Default value	必須
Account	アカウント名を使用して、デプロイ先の Azure Data Lake Analytics アカウント指定します。	null	true
ResourceGroup	Azure Data Lake Analytics アカウントの Azure リソースグループ名。	null	true
SubscriptionId	Azure Data Lake Analytics アカウントの Azure サブスクリプション ID。	null	true
Tenant	テナント名は、Microsoft Entraドメイン名です。 Azure portal のサブスクリプション管理ページでそれを検索します。	null	true
AzureSDKPath	Azure SDK 内の依存アセンブリを検索するためのパス。	null	true
Interactive	認証に対話型モードを使用するかどうか。	false	false
ClientId	非対話型認証に必要なMicrosoft Entra アプリケーション ID。	null	非対話型認証に必要です。
Secret	非対話型認証のシークレットまたはパスワード。信頼できるセキュリティで保護された環境でのみ使用する必要があります。	null	非対話型認証に必須です。または SecreteFile を使用します。
SecretFile	ファイルには、非対話型認証のシークレットまたはパスワードが保存されます。現在のユーザーのみが読み取ることができるようにします。	null	非対話型認証に必要です。または Secret を使用します。
CertFile	このファイルは、非対話型認証のために X.509 認証を保存します。既定では、クライアントのシークレットの認証が使用されます。	null	false
JobPrefix	U-SQL DDL ジョブのデータベースデプロイ用のプレフィックス。	Deploy_ + DateTime.Now	false

Azure Data Lake Analytics の CI/CD パイプラインをセットアップする方法

U-SQL ジョブに CI/CD を使用する

U-SQL プロジェクトをビルドする

プロジェクトの移行

NuGet を入手する

U-SQL データベース参照の管理

MSBuild コマンドラインを使用して U-SQL プロジェクトをビルドする

Azure Pipelines を使用した継続的インテグレーション

U-SQL プロジェクトのビルド出力

U-SQL スクリプトのテスト

U-SQL ジョブをデプロイする

Azure Pipelines を使用して U-SQL ジョブを送信する

Azure Data Factory を通じた U-SQL ジョブのデプロイ

U-SQL データベース用の CI/CD

U-SQL データベースプロジェクトのビルド

NuGet パッケージを入手する

MSBuild コマンドラインを使用して U-SQL データベースプロジェクトをビルドする

Azure Pipelines を使用した継続的インテグレーション

U-SQL データベースプロジェクトのビルド出力

テーブル値関数とストアドプロシージャをテストする

Azure Pipelines を使用して U-SQL データベースをデプロイする

PackageDeploymentTool.exe のパラメーターの説明:

共通パラメーター

ローカルデプロイのパラメーター

Azure Data Lake Analytics デプロイのパラメーター

次のステップ

その他のリソース

Azure Data Lake Analytics の CI/CD パイプラインをセットアップする方法

U-SQL ジョブに CI/CD を使用する

U-SQL プロジェクトをビルドする

プロジェクトの移行

NuGet を入手する

U-SQL データベース参照の管理

MSBuild コマンド ラインを使用して U-SQL プロジェクトをビルドする

Azure Pipelines を使用した継続的インテグレーション

U-SQL プロジェクトのビルド出力

U-SQL スクリプトのテスト

U-SQL ジョブをデプロイする

Azure Pipelines を使用して U-SQL ジョブを送信する

Azure Data Factory を通じた U-SQL ジョブのデプロイ

U-SQL データベース用の CI/CD

U-SQL データベース プロジェクトのビルド

NuGet パッケージを入手する

MSBuild コマンド ラインを使用して U-SQL データベース プロジェクトをビルドする

Azure Pipelines を使用した継続的インテグレーション

U-SQL データベース プロジェクトのビルド出力

テーブル値関数とストアド プロシージャをテストする

Azure Pipelines を使用して U-SQL データベースをデプロイする

PackageDeploymentTool.exe のパラメーターの説明:

共通パラメーター

ローカル デプロイのパラメーター

Azure Data Lake Analytics デプロイのパラメーター

次のステップ

その他のリソース

MSBuild コマンドラインを使用して U-SQL プロジェクトをビルドする

U-SQL データベースプロジェクトのビルド

MSBuild コマンドラインを使用して U-SQL データベースプロジェクトをビルドする

U-SQL データベースプロジェクトのビルド出力

テーブル値関数とストアドプロシージャをテストする

ローカルデプロイのパラメーター