Inicio rápido: Creación de un trabajo de Stream Analytics mediante Azure PowerShell

Artículo
06/09/2023

El módulo de Azure PowerShell se usa para crear y administrar recursos de Azure mediante cmdlets o scripts de PowerShell. En este inicio rápido se muestra cómo usar el módulo de Azure PowerShell para implementar y ejecutar un trabajo de Azure Stream Analytics.

El trabajo de ejemplo lee los datos de streaming desde un dispositivo de IoT Hub. Un simulador en línea de Raspberry Pi genera los datos de entrada. A continuación, el trabajo de Stream Analytics transforma los datos mediante el lenguaje de consulta de Stream Analytics para filtrar los mensajes con una temperatura superior a 27°. Después, escribe los eventos de salida resultantes en otro archivo de un almacenamiento de blob.

Antes de empezar

Si no tiene una suscripción a Azure, cree una cuenta gratuita.
Este inicio rápido requiere el módulo Azure PowerShell. Ejecute Get-Module -ListAvailable Az para buscar la versión que está instalada en la máquina local. Si necesita instalarla o actualizarla, consulte el artículo sobre cómo instalar el módulo de Azure PowerShell.
Algunas acciones de IoT Hub no son compatibles con Azure PowerShell y se deben llevar a cabo con la CLI de Azure versión 2.0.70 o posterior y la extensión de IoT para la CLI de Azure. Instale la CLI de Azure y use az extension add --name azure-iot para instalar la extensión de IoT.

Inicie sesión en la suscripción de Azure con el comando Connect-AzAccount y escriba las credenciales de Azure en el explorador emergente:

# Connect to your Azure account
Connect-AzAccount

Si tiene más de una suscripción, seleccione la que desee utilizar para este inicio rápido mediante la ejecución de los siguientes cmdlets. Asegúrese de reemplazar <your subscription name> por el nombre de su suscripción:

# List all available subscriptions.
Get-AzSubscription

# Select the Azure subscription you want to use to create the resource group and resources.
Get-AzSubscription -SubscriptionName "<your subscription name>" | Select-AzSubscription

Crear un grupo de recursos

Cree un grupo de recursos de Azure con New-AzResourceGroup. Un grupo de recursos es un contenedor lógico en el que se implementan y se administran los recursos de Azure.

$resourceGroup = "StreamAnalyticsRG"
$location = "WestUS2"
New-AzResourceGroup `
    -Name $resourceGroup `
    -Location $location

Preparación de los datos de entrada

Antes de definir el trabajo de Stream Analytics, prepare los datos que se configuran como entrada del mismo.

El siguiente bloque de código de la CLI de Azure cuenta con varios comandos para preparar los datos de entrada que requiere el trabajo. Examine las secciones siguientes para comprender el código.

En la ventana de PowerShell, escriba el comando az login para iniciar sesión con su cuenta de Azure.

Al iniciar sesión correctamente, la CLI de Azure devuelve una lista de las suscripciones. Copie la suscripción que va a usar para este inicio rápido y ejecute el comando az account set para seleccionar esa suscripción. Elija la misma que seleccionó en la sección anterior con PowerShell. Asegúrese de reemplazar <your subscription name> por el nombre de su suscripción.
```
az login

az account set --subscription "<your subscription>"
```
Para crear un centro de IoT Hub, use el comando az iot hub create. En este ejemplo se va a crear un centro de IoT Hub llamado MyASAIoTHub. Dado que los nombres de IoT Hub son únicos, tiene que asignarle su propio nombre de IoT Hub. Establezca la SKU en F1 para usar el nivel gratuito si está disponible con su suscripción. Si no es así, elija el siguiente nivel más bajo.
```
az iot hub create --name "MyASAIoTHub" --resource-group $resourceGroup --sku S1
```
Una vez creado el centro de IoT Hub, obtenga la cadena de conexión de IoT Hub mediante el comando az iot hub show-connection-string. Copie toda la cadena de conexión y guárdela. Es necesario al agregar IoT Hub como entrada al trabajo de Stream Analytics.
```
az iot hub show-connection-string --resource-group $resourceGroup --hub-name "MyASAIoTHub"
```
Agregue un dispositivo a IoT Hub con el comando az iot hub device-identity create. En este ejemplo se crea un dispositivo denominado MyASAIoTDevice.
```
az iot hub device-identity create --resource-group $resourceGroup --hub-name "MyASAIoTHub" --device-id "MyASAIoTDevice"
```

Obtenga la cadena de conexión del dispositivo mediante el comando az iot hub device-identity connection-string show. Copie la cadena de conexión completa y guárdela para cuando cree el simulador de Raspberry Pi.

az iot hub device-identity connection-string show --resource-group $resourceGroup --hub-name "MyASAIoTHub" --device-id "MyASAIoTDevice" --output table

Ejemplo de salida:

HostName=MyASAIoTHub.azure-devices.net;DeviceId=MyASAIoTDevice;SharedAccessKey=a2mnUsg52+NIgYudxYYUNXI67r0JmNubmfVafojG8=

Creación de un almacenamiento de blobs

El siguiente bloque de código de Azure PowerShell usa los comandos para crear el almacenamiento de blobs que se usa para la salida del trabajo. Examine las secciones para comprender el código.

Cree una cuenta de almacenamiento de uso general estándar mediante el cmdlet New-AzStorageAccount. En este ejemplo, se crea una cuenta de almacenamiento denominada myasaquickstartstorage con almacenamiento con redundancia local (LRS) y cifrado de blobs (habilitados de forma predeterminada).
Recupere el contexto $storageAccount.Context de la cuenta de almacenamiento que define la cuenta que se va a usar. Cuando trabaje con cuentas de almacenamiento, haga referencia al contexto en lugar de proporcionar varias veces las credenciales.
Cree un nuevo contenedor de almacenamiento con New-AzStorageContainer.

Copie la clave de almacenamiento que indica el código y guárdela para crear la salida del trabajo de streaming más adelante.

$storageAccountName = "myasaquickstartstorage"
$storageAccount = New-AzStorageAccount `
  -ResourceGroupName $resourceGroup `
  -Name $storageAccountName `
  -Location $location `
  -SkuName Standard_LRS `
  -Kind Storage

$ctx = $storageAccount.Context
$containerName = "container1"

New-AzStorageContainer `
  -Name $containerName `
  -Context $ctx

$storageAccountKey = (Get-AzStorageAccountKey `
  -ResourceGroupName $resourceGroup `
  -Name $storageAccountName).Value[0]

Write-Host "The <storage account key> placeholder needs to be replaced in your output json files with this key value:"
Write-Host $storageAccountKey -ForegroundColor Cyan

Creación de un trabajo de Stream Analytics

Cree un trabajo de Stream Analytics con el cmdlet New-AzStreamAnalyticsJob. Este cmdlet toma como parámetros el nombre del trabajo, el nombre del grupo de recursos, la ubicación y el nombre de sku. El nombre del trabajo puede ser cualquier nombre descriptivo que lo identifique. Solo puede contener caracteres alfanuméricos, guiones y guiones bajos, y debe tener una longitud de entre 3 y 63 caracteres.

Ejecute el cmdlet New-AzStreamAnalyticsJob.

$jobName = "MyStreamingJob"
New-AzStreamAnalyticsJob `
  -ResourceGroupName $resourceGroup `
  -Name $jobName `
  -Location centralus `
  -SkuName Standard

Configuración de la entrada al trabajo

Agregue una entrada al trabajo mediante el cmdlet New-AzStreamAnalyticsInput. Este cmdlet toma como parámetros el nombre del trabajo, el nombre de entrada del trabajo, el nombre del grupo de recursos y la definición de entrada del trabajo. La definición de la entrada del trabajo es un archivo JSON que contiene las propiedades necesarias para configurar la entrada del trabajo. En este ejemplo, se crea un almacenamiento de blobs como una entrada.

En su máquina local, cree un archivo denominado JobInputDefinition.json y agréguele los siguientes datos JSON.

Importante

Reemplace accesspolicykey con la parte SharedAccessKey de la cadena de conexión de IoT Hub que guardó en una sección anterior.
Si usó un nombre diferente para el centro de IoT, actualice el valor de iotHubNamespace.

{
    "properties": {
        "type": "Stream",
        "datasource": {
            "type": "Microsoft.Devices/IotHubs",
            "properties": {
                "iotHubNamespace": "MyASAIoTHub",
                "sharedAccessPolicyName": "iothubowner",
                "sharedAccessPolicyKey": "accesspolicykey",
                "endpoint": "messages/events",
                "consumerGroupName": "$Default"
                }
        },
        "compression": {
            "type": "None"
        },
        "serialization": {
            "type": "Json",
            "properties": {
                "encoding": "UTF8"
            }
        }
    },
    "name": "IoTHubInput",
    "type": "Microsoft.StreamAnalytics/streamingjobs/inputs"
}

Establezca la variable $jobInputDefinitionFile de PowerShell en la ruta de acceso donde ha almacenado el archivo JSON de definición de entrada del trabajo.

$jobInputDefinitionFile = "C:\JobInputDefinition.json"

A continuación, ejecute el cmdlet New-AzStreamAnalyticsInput para crear una entrada de Azure IoT Hub para el trabajo de Stream Analytics.

$jobInputName = "IoTHubInput"
New-AzStreamAnalyticsInput `
  -ResourceGroupName $resourceGroup `
  -JobName $jobName `
  -File $jobInputDefinitionFile `
  -Name $jobInputName

Configuración de la salida al trabajo

Agregue una entrada al trabajo mediante el cmdlet New-AzStreamAnalyticsOutput. Este cmdlet toma como parámetros el nombre del trabajo, el nombre de salida del trabajo, el nombre del grupo de recursos y la definición de salida del trabajo. La definición de la salida del trabajo es un archivo JSON que contiene las propiedades necesarias para configurar la salida del trabajo. En este ejemplo se usa el almacenamiento de blobs como salida.

En su máquina local, cree un archivo denominado JobOutputDefinition.json y agréguele los siguientes datos JSON.

Importante

Reemplace el valor de accountKey por la clave de acceso de la cuenta de almacenamiento que sea el valor almacenado en el valor $storageAccountKey.

{
    "properties": {
        "datasource": {
            "type": "Microsoft.Storage/Blob",
            "properties": {
                "storageAccounts": [
                    {
                      "accountName": "asaquickstartstorage",
                      "accountKey": "<storage account key>"
                    }
                ],
                "container": "container1",
                "pathPattern": "output/",
                "dateFormat": "yyyy/MM/dd",
                "timeFormat": "HH"
            }
        },
        "serialization": {
            "type": "Json",
            "properties": {
                "encoding": "UTF8",
                "format": "LineSeparated"
            }
        }
    },
    "name": "BlobOutput",
    "type": "Microsoft.StreamAnalytics/streamingjobs/outputs"
}

Establezca la variable $jobOutputDefinitionFile de PowerShell en la ruta de acceso donde ha almacenado el archivo JSON de definición de salida del trabajo.

$jobOutputDefinitionFile = "C:\JobOutputDefinition.json"

A continuación, ejecute el cmdlet New-AzStreamAnalyticsOutput para crear una salida de Azure Blob Storage para el trabajo de Stream Analytics.

$jobOutputName = "BlobOutput"

New-AzStreamAnalyticsOutput `
  -ResourceGroupName $resourceGroup `
  -JobName $jobName `
  -File $jobOutputDefinitionFile `
  -Name $jobOutputName

Definir la consulta de transformación

Agregue una transformación al trabajo mediante el cmdlet New-AzStreamAnalyticsTransformation. Este cmdlet toma como parámetros el nombre del trabajo, el nombre de transformación del trabajo, el nombre del grupo de recursos y la definición de transformación del trabajo. En su máquina local, cree un archivo denominado JobTransformationDefinition.json y agréguele los siguientes datos JSON. El archivo JSON contiene un parámetro de consulta que define la consulta de transformación:

{
    "name":"MyTransformation",
    "type":"Microsoft.StreamAnalytics/streamingjobs/transformations",
    "properties":{
        "streamingUnits":1,
        "script":null,
        "query":"SELECT * INTO BlobOutput FROM IoTHubInput WHERE Temperature > 27"
    }
}

Después, ejecute el cmdlet New-AzStreamAnalyticsTransformation.

$jobTransformationName = "MyJobTransformation"
$jobTransformationDefinitionFile = "C:\JobTransformationDefinition.json"
New-AzStreamAnalyticsTransformation `
    -ResourceGroupName $resourceGroup `
    -JobName $jobName `
    -Query "SELECT * INTO BlobOutput FROM IoTHubInput WHERE Temperature > 27" `
    -StreamingUnit 1 `
    -Name $jobTransformationName

Ejecutar el simulador

Abra el simulador en línea de Raspberry Pi para Azure IoT.
Reemplace el marcador de posición de la línea 15 con la cadena de conexión completa del dispositivo de Azure IoT Hub que guardó en la sección anterior.
Haga clic en Ejecutar. La salida debe mostrar los datos y mensajes del sensor que se envían a la instancia de IoT Hub.

Inicio del trabajo de Stream Analytics y consulta de la salida

Inicie el trabajo mediante el cmdlet Start-AzStreamAnalyticsJob. Este cmdlet toma como parámetros el nombre del trabajo, el nombre del grupo de recursos, el modo de inicio de salida y el tiempo de inicio. OutputStartMode acepta valores de JobStartTime, CustomTime o LastOutputEventTime. Para más información acerca de los elementos a los que hacen referencia cada uno de estos valores, consulte la sección de parámetros de la documentación de PowerShell.

Después de ejecutar el siguiente cmdlet, devuelve True como salida si el trabajo se inicia. En el contenedor de almacenamiento, se crea una carpeta de salida con los datos transformados.

Start-AzStreamAnalyticsJob `
  -ResourceGroupName $resourceGroup `
  -Name $jobName `
  -OutputStartMode 'JobStartTime'

Limpieza de recursos

Cuando no los necesite, elimine el grupo de recursos, el trabajo de streaming y todos los recursos relacionados. La eliminación del trabajo evita la facturación de las unidades de streaming utilizadas por el trabajo. Si planea utilizar el trabajo en el futuro, puede omitir su eliminación y simplemente detenerlo por el momento. Si no va a seguir usando este trabajo, ejecute el siguiente cmdlet para eliminar todos los recursos creados en este inicio rápido:

Remove-AzResourceGroup `
  -Name $resourceGroup

Pasos siguientes

En esta guía de inicio rápido, ha implementado un sencillo trabajo de Stream Analytics mediante PowerShell. También puede implementar trabajos de Stream Analytics mediante Azure Portal y Visual Studio.

Para aprender a configurar otros orígenes de entrada y realizar la detección en tiempo real, continúe con el siguiente artículo:

Detección de fraudes en tiempo real con Azure Stream Analytics