Activity Runs - Query By Pipeline Run

Referência

Serviço:: Data Factory

Versão da API:: 2018-06-01

A atividade de consulta é executada com base nas condições de filtro de entrada.

POST https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.DataFactory/factories/{factoryName}/pipelineruns/{runId}/queryActivityruns?api-version=2018-06-01

Parâmetros de URI

Nome	Em	Obrigatório	Tipo	Description
factoryName	path	True	string	O nome da fábrica. Padrão Regex: `^[A-Za-z0-9]+(?:-[A-Za-z0-9]+)*$`
resourceGroupName	path	True	string	O nome do grupo de recursos. Padrão Regex: `^[-\w\._\(\)]+$`
runId	path	True	string	O identificador de execução de pipeline.
subscriptionId	path	True	string	O identificador da assinatura.
api-version	query	True	string	A versão da API.

Corpo da solicitação

Nome	Obrigatório	Tipo	Description
lastUpdatedAfter	True	string	A hora em ou após a qual o evento de execução foi atualizado no formato 'ISO 8601'.
lastUpdatedBefore	True	string	A hora em ou antes da qual o evento de execução foi atualizado no formato 'ISO 8601'.
continuationToken		string	O token de continuação para obter a próxima página de resultados. Nulo para a primeira página.
filters		RunQueryFilter[]	Lista de filtros.
orderBy		RunQueryOrderBy[]	Lista da opção OrderBy.

Respostas

Nome	Tipo	Description
200 OK	ActivityRunsQueryResponse	OK.
Other Status Codes	CloudError	Uma resposta de erro recebida do serviço Azure Data Factory.

Segurança

azure_auth

Fluxo OAuth2 do Azure Active Directory.

Tipo: oauth2
Flow: implicit
URL de Autorização: https://login.microsoftonline.com/common/oauth2/authorize

Escopos

Nome	Description
user_impersonation	representar sua conta de usuário

Exemplos

ActivityRuns_QueryByPipelineRun

Solicitação de exemplo

POST https://management.azure.com/subscriptions/12345678-1234-1234-1234-12345678abc/resourceGroups/exampleResourceGroup/providers/Microsoft.DataFactory/factories/exampleFactoryName/pipelineruns/2f7fdb90-5df1-4b8e-ac2f-064cfa58202b/queryActivityruns?api-version=2018-06-01

{
  "lastUpdatedAfter": "2018-06-16T00:36:44.3345758Z",
  "lastUpdatedBefore": "2018-06-16T00:49:48.3686473Z"
}


import com.azure.resourcemanager.datafactory.models.RunFilterParameters;
import java.time.OffsetDateTime;

/**
 * Samples for ActivityRuns QueryByPipelineRun.
 */
public final class Main {
    /*
     * x-ms-original-file: specification/datafactory/resource-manager/Microsoft.DataFactory/stable/2018-06-01/examples/
     * ActivityRuns_QueryByPipelineRun.json
     */
    /**
     * Sample code: ActivityRuns_QueryByPipelineRun.
     * 
     * @param manager Entry point to DataFactoryManager.
     */
    public static void
        activityRunsQueryByPipelineRun(com.azure.resourcemanager.datafactory.DataFactoryManager manager) {
        manager.activityRuns().queryByPipelineRunWithResponse("exampleResourceGroup", "exampleFactoryName",
            "2f7fdb90-5df1-4b8e-ac2f-064cfa58202b",
            new RunFilterParameters().withLastUpdatedAfter(OffsetDateTime.parse("2018-06-16T00:36:44.3345758Z"))
                .withLastUpdatedBefore(OffsetDateTime.parse("2018-06-16T00:49:48.3686473Z")),
            com.azure.core.util.Context.NONE);
    }
}

To use the Azure SDK library in your project, see this documentation. To provide feedback on this code sample, open a GitHub issue

from typing import Any, IO, Union

from azure.identity import DefaultAzureCredential

from azure.mgmt.datafactory import DataFactoryManagementClient

"""
# PREREQUISITES
    pip install azure-identity
    pip install azure-mgmt-datafactory
# USAGE
    python activity_runs_query_by_pipeline_run.py

    Before run the sample, please set the values of the client ID, tenant ID and client secret
    of the AAD application as environment variables: AZURE_CLIENT_ID, AZURE_TENANT_ID,
    AZURE_CLIENT_SECRET. For more info about how to get the value, please see:
    https://docs.microsoft.com/azure/active-directory/develop/howto-create-service-principal-portal
"""


def main():
    client = DataFactoryManagementClient(
        credential=DefaultAzureCredential(),
        subscription_id="12345678-1234-1234-1234-12345678abc",
    )

    response = client.activity_runs.query_by_pipeline_run(
        resource_group_name="exampleResourceGroup",
        factory_name="exampleFactoryName",
        run_id="2f7fdb90-5df1-4b8e-ac2f-064cfa58202b",
        filter_parameters={
            "lastUpdatedAfter": "2018-06-16T00:36:44.3345758Z",
            "lastUpdatedBefore": "2018-06-16T00:49:48.3686473Z",
        },
    )
    print(response)


# x-ms-original-file: specification/datafactory/resource-manager/Microsoft.DataFactory/stable/2018-06-01/examples/ActivityRuns_QueryByPipelineRun.json
if __name__ == "__main__":
    main()

To use the Azure SDK library in your project, see this documentation. To provide feedback on this code sample, open a GitHub issue

package armdatafactory_test

import (
	"context"
	"log"

	"time"

	"github.com/Azure/azure-sdk-for-go/sdk/azcore/to"
	"github.com/Azure/azure-sdk-for-go/sdk/azidentity"
	"github.com/Azure/azure-sdk-for-go/sdk/resourcemanager/datafactory/armdatafactory/v9"
)

// Generated from example definition: https://github.com/Azure/azure-rest-api-specs/blob/edb7904bfead536c7aa9716d44dba15bdabd0b00/specification/datafactory/resource-manager/Microsoft.DataFactory/stable/2018-06-01/examples/ActivityRuns_QueryByPipelineRun.json
func ExampleActivityRunsClient_QueryByPipelineRun() {
	cred, err := azidentity.NewDefaultAzureCredential(nil)
	if err != nil {
		log.Fatalf("failed to obtain a credential: %v", err)
	}
	ctx := context.Background()
	clientFactory, err := armdatafactory.NewClientFactory("<subscription-id>", cred, nil)
	if err != nil {
		log.Fatalf("failed to create client: %v", err)
	}
	res, err := clientFactory.NewActivityRunsClient().QueryByPipelineRun(ctx, "exampleResourceGroup", "exampleFactoryName", "2f7fdb90-5df1-4b8e-ac2f-064cfa58202b", armdatafactory.RunFilterParameters{
		LastUpdatedAfter:  to.Ptr(func() time.Time { t, _ := time.Parse(time.RFC3339Nano, "2018-06-16T00:36:44.334Z"); return t }()),
		LastUpdatedBefore: to.Ptr(func() time.Time { t, _ := time.Parse(time.RFC3339Nano, "2018-06-16T00:49:48.368Z"); return t }()),
	}, nil)
	if err != nil {
		log.Fatalf("failed to finish the request: %v", err)
	}
	// You could use response here. We use blank identifier for just demo purposes.
	_ = res
	// If the HTTP response code is 200 as defined in example definition, your response structure would look as follows. Please pay attention that all the values in the output are fake values for just demo purposes.
	// res.ActivityRunsQueryResponse = armdatafactory.ActivityRunsQueryResponse{
	// 	Value: []*armdatafactory.ActivityRun{
	// 		{
	// 			AdditionalProperties: map[string]any{
	// 				"retryAttempt": nil,
	// 				"userProperties": map[string]any{
	// 				},
	// 			},
	// 			ActivityName: to.Ptr("ExampleForeachActivity"),
	// 			ActivityRunEnd: to.Ptr(func() time.Time { t, _ := time.Parse(time.RFC3339Nano, "2018-06-16T00:38:11.544Z"); return t}()),
	// 			ActivityRunID: to.Ptr("f30c5514-fb85-43ed-9fa4-768d42e58680"),
	// 			ActivityRunStart: to.Ptr(func() time.Time { t, _ := time.Parse(time.RFC3339Nano, "2018-06-16T00:37:49.480Z"); return t}()),
	// 			ActivityType: to.Ptr("ForEach"),
	// 			DurationInMs: to.Ptr[int32](22064),
	// 			Error: map[string]any{
	// 				"errorCode": "",
	// 				"failureType": "",
	// 				"message": "",
	// 				"target": "ExampleForeachActivity",
	// 			},
	// 			Input: map[string]any{
	// 			},
	// 			LinkedServiceName: to.Ptr(""),
	// 			Output: map[string]any{
	// 			},
	// 			PipelineName: to.Ptr("examplePipeline"),
	// 			PipelineRunID: to.Ptr("2f7fdb90-5df1-4b8e-ac2f-064cfa58202b"),
	// 			Status: to.Ptr("Succeeded"),
	// 		},
	// 		{
	// 			AdditionalProperties: map[string]any{
	// 				"retryAttempt": nil,
	// 				"userProperties": map[string]any{
	// 				},
	// 			},
	// 			ActivityName: to.Ptr("ExampleCopyActivity"),
	// 			ActivityRunEnd: to.Ptr(func() time.Time { t, _ := time.Parse(time.RFC3339Nano, "2018-06-16T00:38:07.418Z"); return t}()),
	// 			ActivityRunID: to.Ptr("a96678c8-7167-4f00-b629-afccfbad4e51"),
	// 			ActivityRunStart: to.Ptr(func() time.Time { t, _ := time.Parse(time.RFC3339Nano, "2018-06-16T00:37:50.246Z"); return t}()),
	// 			ActivityType: to.Ptr("Copy"),
	// 			DurationInMs: to.Ptr[int32](17172),
	// 			Error: map[string]any{
	// 				"errorCode": "",
	// 				"failureType": "",
	// 				"message": "",
	// 				"target": "ExampleCopyActivity",
	// 			},
	// 			Input: map[string]any{
	// 				"dataIntegrationUnits": float64(32),
	// 				"sink":map[string]any{
	// 					"type": "BlobSink",
	// 				},
	// 				"source":map[string]any{
	// 					"type": "BlobSource",
	// 				},
	// 			},
	// 			LinkedServiceName: to.Ptr(""),
	// 			Output: map[string]any{
	// 				"copyDuration": float64(6),
	// 				"dataRead": float64(142000),
	// 				"dataWritten": float64(142000),
	// 				"effectiveIntegrationRuntime": "DefaultIntegrationRuntime (East US)",
	// 				"errors":[]any{
	// 				},
	// 				"executionDetails":[]any{
	// 					map[string]any{
	// 						"detailedDurations":map[string]any{
	// 							"queuingDuration": float64(4),
	// 							"transferDuration": float64(2),
	// 						},
	// 						"duration": float64(6),
	// 						"sink":map[string]any{
	// 							"type": "AzureBlob",
	// 						},
	// 						"source":map[string]any{
	// 							"type": "AzureBlob",
	// 						},
	// 						"start": "2018-06-16T00:37:50.68834Z",
	// 						"status": "Succeeded",
	// 						"usedCloudDataMovementUnits": float64(4),
	// 						"usedParallelCopies": float64(1),
	// 					},
	// 				},
	// 				"filesRead": float64(1),
	// 				"filesWritten": float64(1),
	// 				"throughput": float64(23.112),
	// 				"usedCloudDataMovementUnits": float64(4),
	// 				"usedParallelCopies": float64(1),
	// 			},
	// 			PipelineName: to.Ptr("examplePipeline"),
	// 			PipelineRunID: to.Ptr("2f7fdb90-5df1-4b8e-ac2f-064cfa58202b"),
	// 			Status: to.Ptr("Succeeded"),
	// 	}},
	// }
}

To use the Azure SDK library in your project, see this documentation. To provide feedback on this code sample, open a GitHub issue

const { DataFactoryManagementClient } = require("@azure/arm-datafactory");
const { DefaultAzureCredential } = require("@azure/identity");

/**
 * This sample demonstrates how to Query activity runs based on input filter conditions.
 *
 * @summary Query activity runs based on input filter conditions.
 * x-ms-original-file: specification/datafactory/resource-manager/Microsoft.DataFactory/stable/2018-06-01/examples/ActivityRuns_QueryByPipelineRun.json
 */
async function activityRunsQueryByPipelineRun() {
  const subscriptionId =
    process.env["DATAFACTORY_SUBSCRIPTION_ID"] || "12345678-1234-1234-1234-12345678abc";
  const resourceGroupName = process.env["DATAFACTORY_RESOURCE_GROUP"] || "exampleResourceGroup";
  const factoryName = "exampleFactoryName";
  const runId = "2f7fdb90-5df1-4b8e-ac2f-064cfa58202b";
  const filterParameters = {
    lastUpdatedAfter: new Date("2018-06-16T00:36:44.3345758Z"),
    lastUpdatedBefore: new Date("2018-06-16T00:49:48.3686473Z"),
  };
  const credential = new DefaultAzureCredential();
  const client = new DataFactoryManagementClient(credential, subscriptionId);
  const result = await client.activityRuns.queryByPipelineRun(
    resourceGroupName,
    factoryName,
    runId,
    filterParameters,
  );
  console.log(result);
}

To use the Azure SDK library in your project, see this documentation. To provide feedback on this code sample, open a GitHub issue

using Azure;
using Azure.ResourceManager;
using System;
using System.Collections.Generic;
using System.Threading.Tasks;
using Azure.Core;
using Azure.Core.Expressions.DataFactory;
using Azure.Identity;
using Azure.ResourceManager.DataFactory.Models;
using Azure.ResourceManager.Resources;
using Azure.ResourceManager.DataFactory;

// Generated from example definition: specification/datafactory/resource-manager/Microsoft.DataFactory/stable/2018-06-01/examples/ActivityRuns_QueryByPipelineRun.json
// this example is just showing the usage of "ActivityRuns_QueryByPipelineRun" operation, for the dependent resources, they will have to be created separately.

// get your azure access token, for more details of how Azure SDK get your access token, please refer to https://learn.microsoft.com/en-us/dotnet/azure/sdk/authentication?tabs=command-line
TokenCredential cred = new DefaultAzureCredential();
// authenticate your client
ArmClient client = new ArmClient(cred);

// this example assumes you already have this DataFactoryResource created on azure
// for more information of creating DataFactoryResource, please refer to the document of DataFactoryResource
string subscriptionId = "12345678-1234-1234-1234-12345678abc";
string resourceGroupName = "exampleResourceGroup";
string factoryName = "exampleFactoryName";
ResourceIdentifier dataFactoryResourceId = DataFactoryResource.CreateResourceIdentifier(subscriptionId, resourceGroupName, factoryName);
DataFactoryResource dataFactory = client.GetDataFactoryResource(dataFactoryResourceId);

// invoke the operation and iterate over the result
string runId = "2f7fdb90-5df1-4b8e-ac2f-064cfa58202b";
RunFilterContent content = new RunFilterContent(DateTimeOffset.Parse("2018-06-16T00:36:44.3345758Z"), DateTimeOffset.Parse("2018-06-16T00:49:48.3686473Z"));
await foreach (PipelineActivityRunInformation item in dataFactory.GetActivityRunAsync(runId, content))
{
    Console.WriteLine($"Succeeded: {item}");
}

Console.WriteLine($"Succeeded");

To use the Azure SDK library in your project, see this documentation. To provide feedback on this code sample, open a GitHub issue

az datafactory activity-run query-by-pipeline-run --factory-name "exampleFactoryName" --last-updated-after "2018-06-16T00:36:44.3345758Z" --last-updated-before "2018-06-16T00:49:48.3686473Z" --resource-group "exampleResourceGroup" --run-id "2f7fdb90-5df1-4b8e-ac2f-064cfa58202b"

Click here to learn more about the Azure CLI command.

Resposta de exemplo

Código de status:: 200

Date: Sat, 16 Jun 2018 00:40:13 GMT
X-Content-Type-Options: nosniff
x-ms-ratelimit-remaining-subscription-writes: 1187
x-ms-request-id: 5465cf41-2e71-4ce6-8db4-9de1b92ffda9
x-ms-correlation-request-id: 5465cf41-2e71-4ce6-8db4-9de1b92ffda9

{
  "value": [
    {
      "activityRunEnd": "2018-06-16T00:38:11.5445431Z",
      "activityName": "ExampleForeachActivity",
      "activityRunStart": "2018-06-16T00:37:49.4804925Z",
      "activityType": "ForEach",
      "durationInMs": 22064,
      "retryAttempt": null,
      "error": {
        "errorCode": "",
        "message": "",
        "failureType": "",
        "target": "ExampleForeachActivity"
      },
      "activityRunId": "f30c5514-fb85-43ed-9fa4-768d42e58680",
      "input": {},
      "linkedServiceName": "",
      "output": {},
      "userProperties": {},
      "pipelineName": "examplePipeline",
      "pipelineRunId": "2f7fdb90-5df1-4b8e-ac2f-064cfa58202b",
      "status": "Succeeded"
    },
    {
      "activityRunEnd": "2018-06-16T00:38:07.4188923Z",
      "activityName": "ExampleCopyActivity",
      "activityRunStart": "2018-06-16T00:37:50.2460952Z",
      "activityType": "Copy",
      "durationInMs": 17172,
      "retryAttempt": null,
      "error": {
        "errorCode": "",
        "message": "",
        "failureType": "",
        "target": "ExampleCopyActivity"
      },
      "activityRunId": "a96678c8-7167-4f00-b629-afccfbad4e51",
      "input": {
        "source": {
          "type": "BlobSource"
        },
        "sink": {
          "type": "BlobSink"
        },
        "dataIntegrationUnits": 32
      },
      "linkedServiceName": "",
      "output": {
        "dataRead": 142000,
        "dataWritten": 142000,
        "filesRead": 1,
        "filesWritten": 1,
        "copyDuration": 6,
        "throughput": 23.112,
        "errors": [],
        "effectiveIntegrationRuntime": "DefaultIntegrationRuntime (East US)",
        "usedCloudDataMovementUnits": 4,
        "usedParallelCopies": 1,
        "executionDetails": [
          {
            "source": {
              "type": "AzureBlob"
            },
            "sink": {
              "type": "AzureBlob"
            },
            "status": "Succeeded",
            "start": "2018-06-16T00:37:50.68834Z",
            "duration": 6,
            "usedCloudDataMovementUnits": 4,
            "usedParallelCopies": 1,
            "detailedDurations": {
              "queuingDuration": 4,
              "transferDuration": 2
            }
          }
        ]
      },
      "userProperties": {},
      "pipelineName": "examplePipeline",
      "pipelineRunId": "2f7fdb90-5df1-4b8e-ac2f-064cfa58202b",
      "status": "Succeeded"
    }
  ]
}

Definições

Nome	Description
ActivityRun	Informações sobre uma execução de atividade em um pipeline.
ActivityRunsQueryResponse	Uma atividade de lista é executada.
CloudError	O objeto que define a estrutura de uma resposta de erro Azure Data Factory.
RunFilterParameters	Parâmetros de consulta para listar execuções.
RunQueryFilter	Opção de filtro de consulta para listar execuções.
RunQueryFilterOperand	Nome do parâmetro a ser usado para filtro. Os operandos permitidos para consultar execuções de pipeline são PipelineName, RunStart, RunEnd e Status; para executar a atividade de consulta estão ActivityName, ActivityRunStart, ActivityRunEnd, ActivityType e Status, e para consultar as execuções de gatilho estão TriggerName, TriggerRunTimestamp e Status.
RunQueryFilterOperator	Operador a ser usado para filtro.
RunQueryOrder	Ordem de classificação do parâmetro.
RunQueryOrderBy	Um objeto para fornecer ordem por opções para listar execuções.
RunQueryOrderByField	Nome do parâmetro a ser usado para ordenar por. Os parâmetros permitidos para ordenar por para execuções de pipeline são PipelineName, RunStart, RunEnd e Status; para execuções de atividade estão ActivityName, ActivityRunStart, ActivityRunEnd e Status; para execuções de gatilho estão TriggerName, TriggerRunTimestamp e Status.

ActivityRun

Informações sobre uma execução de atividade em um pipeline.

Nome	Tipo	Description
activityName	string	O nome da atividade.
activityRunEnd	string	A hora de término da atividade é executada no formato 'ISO 8601'.
activityRunId	string	A ID da execução da atividade.
activityRunStart	string	A hora de início da atividade é executada no formato 'ISO 8601'.
activityType	string	O tipo da atividade.
durationInMs	integer	A duração da execução da atividade.
error	object	O erro se algum da atividade for executado.
input	object	A entrada para a atividade.
linkedServiceName	string	O nome do serviço vinculado de computação.
output	object	A saída da atividade.
pipelineName	string	O nome do pipeline.
pipelineRunId	string	A ID da execução do pipeline.
status	string	O status da execução da atividade.

ActivityRunsQueryResponse

Uma atividade de lista é executada.

Nome	Tipo	Description
continuationToken	string	O token de continuação para obter a próxima página de resultados, se houver resultados restantes, null caso contrário.
value	ActivityRun[]	Lista de execuções de atividade.

CloudError

O objeto que define a estrutura de uma resposta de erro Azure Data Factory.

Nome	Tipo	Description
error.code	string	Código do erro.
error.details	CloudError[]	Matriz com detalhes de erro adicionais.
error.message	string	Mensagem de erro.
error.target	string	Nome/caminho da propriedade na solicitação associada ao erro.

RunFilterParameters

Parâmetros de consulta para listar execuções.

Nome	Tipo	Description
continuationToken	string	O token de continuação para obter a próxima página de resultados. Nulo para a primeira página.
filters	RunQueryFilter[]	Lista de filtros.
lastUpdatedAfter	string	A hora em ou após a qual o evento de execução foi atualizado no formato 'ISO 8601'.
lastUpdatedBefore	string	A hora em ou antes da qual o evento de execução foi atualizado no formato 'ISO 8601'.
orderBy	RunQueryOrderBy[]	Lista da opção OrderBy.

RunQueryFilter

Opção de filtro de consulta para listar execuções.

Nome	Tipo	Description
operand	RunQueryFilterOperand	Nome do parâmetro a ser usado para filtro. Os operandos permitidos para consultar execuções de pipeline são PipelineName, RunStart, RunEnd e Status; para executar a atividade de consulta estão ActivityName, ActivityRunStart, ActivityRunEnd, ActivityType e Status, e para consultar as execuções de gatilho estão TriggerName, TriggerRunTimestamp e Status.
operator	RunQueryFilterOperator	Operador a ser usado para filtro.
values	string[]	Lista de valores de filtro.

RunQueryFilterOperand

Nome do parâmetro a ser usado para filtro. Os operandos permitidos para consultar execuções de pipeline são PipelineName, RunStart, RunEnd e Status; para executar a atividade de consulta estão ActivityName, ActivityRunStart, ActivityRunEnd, ActivityType e Status, e para consultar as execuções de gatilho estão TriggerName, TriggerRunTimestamp e Status.

Nome	Tipo	Description
ActivityName	string
ActivityRunEnd	string
ActivityRunStart	string
ActivityType	string
LatestOnly	string
PipelineName	string
RunEnd	string
RunGroupId	string
RunStart	string
Status	string
TriggerName	string
TriggerRunTimestamp	string

RunQueryFilterOperator

Operador a ser usado para filtro.

Nome	Tipo	Description
Equals	string
In	string
NotEquals	string
NotIn	string

RunQueryOrder

Ordem de classificação do parâmetro.

Nome	Tipo	Description
ASC	string
DESC	string

RunQueryOrderBy

Um objeto para fornecer ordem por opções para listar execuções.

Nome	Tipo	Description
order	RunQueryOrder	Ordem de classificação do parâmetro.
orderBy	RunQueryOrderByField	Nome do parâmetro a ser usado para ordenar por. Os parâmetros permitidos para ordenar por para execuções de pipeline são PipelineName, RunStart, RunEnd e Status; para execuções de atividade estão ActivityName, ActivityRunStart, ActivityRunEnd e Status; para execuções de gatilho estão TriggerName, TriggerRunTimestamp e Status.

RunQueryOrderByField

Nome do parâmetro a ser usado para ordenar por. Os parâmetros permitidos para ordenar por para execuções de pipeline são PipelineName, RunStart, RunEnd e Status; para execuções de atividade estão ActivityName, ActivityRunStart, ActivityRunEnd e Status; para execuções de gatilho estão TriggerName, TriggerRunTimestamp e Status.

Nome	Tipo	Description
ActivityName	string
ActivityRunEnd	string
ActivityRunStart	string
PipelineName	string
RunEnd	string
RunStart	string
Status	string
TriggerName	string
TriggerRunTimestamp	string