Автоматизация сборок, тестов и развертываний проекта Stream Analytics

Пакет CI/CD npm Azure Stream Analytics (ASA) помогает автоматически создавать, тестировать и развертывать проекты для Stream Analytics. В этой статье показано, как использовать пакет npm с любой системой CI/CD. Сведения о настройке конвейера с помощью Azure DevOps см. в статье Use Azure DevOps для создания конвейера CI/CD для задания Stream Analytics.

Если у вас нет проекта Stream Analytics, создайте его с помощью Visual Studio Code или экспортируйте существующий из портал Azure.

Установка

Пакет можно скачать с сайта npm или выполнить следующую команду в терминале.

npm install -g azure-streamanalytics-cicd

Построить проект

Примечание.

Используйте опцию --v2 для обновленной схемы шаблона ARM. Обновленная схема имеет меньше параметров, но сохраняет те же функции, что и предыдущая версия.

Старый шаблон ARM устарел. Только шаблоны, созданные с помощью build --v2, получают обновления или исправления ошибок.

azure-streamanalytics-cicd build --v2 --project <projectFullPath> [--outputPath <outputPath>]

Команда build выполняет проверку синтаксиса ключевых слов и создает шаблоны Azure Resource Manager (ARM).

Аргумент	Описание
`--project`	Укажите файл asaproj.json с помощью абсолютного или относительного пути.
`--outputPath`	Укажите выходную папку для хранения шаблонов ARM с помощью абсолютного или относительного пути. Если вы не указываете `outputPath`, шаблоны помещаются в текущий каталог.

Пример:

# Go to the project directory
cd <path-to-the-project>

# Build project
azure-streamanalytics-cicd build --v2 --project ./asaproj.json --outputPath ./Deploy

Если проект успешно выполняет сборку, в выходной папке вы увидите два ФАЙЛА JSON, созданные в выходной папке:

Файл шаблона ARM: [ProjectName].JobTemplate.json
Файл параметров Azure Resource Manager: [ProjectName].JobTemplate.parameters.json

Значения по умолчанию для файлаparameters.json приходят из параметров проекта. Если вы хотите произвести развертывание в другой среде, замените значения параметров соответствующим образом.

Значения по умолчанию для всех учетных данных — NULL. Задайте значения перед развертыванием в Azure.

"Input_EntryStream_sharedAccessPolicyKey": {
  "value": null
}

Чтобы использовать управляемую идентификацию для Azure Data Lake Store первого поколения в качестве приемника выходных данных, необходимо предоставить доступ к служебному принципалу с помощью PowerShell перед развертыванием в Azure. Дополнительные сведения см. в статье развертывание ADLS Gen1 с помощью управляемых удостоверений и шаблона Resource Manager.

Запустить локально

Если проект содержит локальные входные файлы, используйте localrun команду для локального запуска скрипта Stream Analytics.

azure-streamanalytics-cicd localrun -project <projectFullPath> [-outputPath <outputPath>] [-customCodeZipFilePath <zipFilePath>]

Аргумент	Описание
`--project`	Укажите файл asaproj.json с помощью абсолютного или относительного пути.
`--outputPath`	Укажите выходную папку для хранения шаблонов ARM с помощью абсолютного или относительного пути. Если `outputPath` не указан, шаблоны помещаются в текущий каталог.
`--customCodeZipFilePath`	Путь к ZIP-файлу для пользовательского кода C#, например UDF или десериализатора, если вы используете их. Упакуйте библиотеки DLL в ZIP-файл и укажите этот путь.

Пример:

# Go to the project directory
cd <path-to-the-project>

# Run project locally
azure-streamanalytics-cicd localrun --project ./asaproj.json"

Примечание.

JavaScript UDF работают только на Windows.

Автоматический тест

Используйте пакет NPM CI/CD для настройки и запуска автоматических тестов для проекта Stream Analytics.

Добавление тестового случая

azure-streamanalytics-cicd addtestcase --project <projectFullPath> [-testConfigPath <testConfigFileFullPath>]

Тестовые случаи можно найти в файле конфигурации теста.

Аргумент Описание

--project Укажите файл asaproj.json с помощью абсолютного или относительного пути.

--testConfigPath Путь к файлу конфигурации теста. Если этот аргумент не указан, средство выполняет поиск файла в \test в текущем каталоге файла asaproj.json с именем файла по умолчанию testConfig.json. Если файл не существует, средство создает новый файл.

Пример:

# Go to the project directory
cd <path-to-the-project>

# Add a test case
azure-streamanalytics-cicd addtestcase --project ./asaproj.json

Если файл конфигурации теста пуст, добавьте в файл следующее содержимое. В противном случае добавьте тестовый случай в массив TestCases . Средство автоматически заполняет необходимые входные конфигурации в соответствии с входным файлом конфигурации. Перед выполнением теста необходимо указать FilePath для каждого входного и ожидаемого выходных данных. Эту конфигурацию можно изменить вручную.

Если вы хотите, чтобы проверка теста проигнорировала определенные выходные данные, задайте для поля Required этих ожидаемых выходных данных значение false.

{
  "Script": [Absolute path of your script],
  "TestCases": [
    {
      "Name": "Case 1",
      "Inputs": [
        {
          "InputAlias": [Input alias string],
          "Type": "Data Stream",
          "Format": "JSON",
          "FilePath": [Required],
          "ScriptType": "InputMock"
        }
      ],
      "ExpectedOutputs": [
        {
          "OutputAlias": [Output alias string],
          "FilePath": [Required],
          "IgnoreFields": [Fields to ignore for test validation, e.g., ["col1", "col2"]],
          "Required": true
        }
      ]
    }
  ]
}

Запуск модульного теста

Используйте следующую команду, чтобы запустить несколько тестовых вариантов для проекта. Процесс создает сводку результатов теста в выходной папке. Процесс завершается с кодом 0 , если все тесты проходят, -1 при возникновении исключения и -2 при сбое тестов.

azure-streamanalytics-cicd test --project <projectFullPath> [--testConfigPath <testConfigFileFullPath>] [--outputPath <outputPath>] [--customCodeZipFilePath <zipFilePath>]

Аргумент	Описание
`--project`	Путь к файлу asaproj.json .
`--testConfigPath`	Путь к файлу конфигурации теста. Если этот аргумент не указан, процесс выполняет поиск файла в \test в текущем каталоге файла asaproj.json с именем файла по умолчанию testConfig.json.
`--outputPath`	Путь к выходной папке результатов теста. Если этот аргумент не указан, процесс помещает выходные файлы результатов в текущий каталог.
`--customCodeZipFilePath`	Путь к ZIP-файлу для пользовательского кода, например UDF или десериализатора, если они используются. Необходимо упаковать библиотеки DLL в ZIP-файл и указать путь.

При выполнении тестовых случаев можно найти файлtestResultSummary.json , созданный в выходной папке.

{
  "Total": (integer) total_number_of_test_cases,
  "Passed": (integer) number_of_passed_test_cases,
  "Failed": (integer) number_of_failed_test_cases,
  "Script": (string) absolute_path_to_asaql_file,
  "Results": [ (array) detailed_results_of_test_cases
    {
      "Name": (string) name_of_test_case,
      "Status": (integer) 0(passed)_or_1(failed),
      "Time": (string) time_span_of_running_test_case,
      "OutputMatched": [ (array) records_of_actual_outputs_equal_to_expected_outputs
        {
          "OutputAlias": (string) output_alias,
          "ExpectedOutput": (string) path_to_the_expected_output_file,
          "Output": (string) path_to_the_actual_output_file
        }
      ],
      "OutputNotEqual": [ (array) records_of_actual_outputs_not_equal_to_expected_outputs
        {
          "OutputAlias": (string) output_alias,
          "ExpectedOutput": (string) path_to_the_expected_output_file,
          "Output": (string) path_to_the_actual_output_file
        }
      ],
      "OutputMissing": [ (array) records_of_actual_outputs_missing
        {
          "OutputAlias": (string) output_alias,
          "ExpectedOutput": (string) path_to_the_expected_output_file,
          "Output": ""
        }
      ],
      "OutputUnexpected": [ (array) records_of_actual_outputs_unexpected
        {
          "OutputAlias": (string) output_alias,
          "ExpectedOutput": "",
          "Output": (string) path_to_the_actual_output_file
        }
      ],
      "OutputUnrequired": [ (array) records_of_actual_outputs_unrequired_to_be_checked
        {
          "OutputAlias": (string) output_alias,
          "ExpectedOutput": (string) path_to_the_expected_output_file,
          "Output": (string) path_to_the_actual_output_file
        }
      ]
    }
  ],
  "Time": (string) time_span_of_running_all_test_cases,
}

Примечание.

Если результаты запроса содержат числа с плавающей точкой, могут возникнуть незначительные различия в полученных значениях, которые могут привести к сбою теста. Это различие основано на разных платформах .NET, которые питают подсистему Visual Studio или Visual Studio и подсистему тестирования. Чтобы убедиться, что тесты выполняются успешно, уменьшите точность созданных значений или выровняйте результаты, которые нужно сравнить вручную с созданными результатами теста.

Развернуть в Azure

Чтобы развернуть проект Stream Analytics с помощью шаблонов ARM, выполните следующие действия.

Подключитесь к учетной записи Azure:

# Connect to Azure
Connect-AzAccount
# Set the Azure subscription
Set-AzContext [SubscriptionID/SubscriptionName]

Разверните проект Stream Analytics:

$templateFile = ".\Deploy\ClickStream-Filter.JobTemplate.json"
$parameterFile = ".\Deploy\ClickStream-Filter.JobTemplate.parameters.json"
New-AzResourceGroupDeployment `
  -Name devenvironment `
  -ResourceGroupName myResourceGroupDev `
  -TemplateFile $templateFile `
  -TemplateParameterFile $parameterFile

Дополнительные сведения о развертывании ресурсов с помощью шаблонов ARM см. в разделе Deploy с файлом шаблона Resource Manager и Azure PowerShell.

Обратная связь

Были ли сведения на этой странице полезными?

Last updated on 2026-05-01

Автоматизация сборок, тестов и развертываний проекта Stream Analytics

Установка

Построить проект

Запустить локально

Автоматический тест

Добавление тестового случая

Запуск модульного теста

Развернуть в Azure

Связанный контент

Обратная связь

Дополнительные ресурсы