Activity Runs - Query By Pipeline Run

Ссылка

Служба:: Data Factory

Версия API:: 2018-06-01

Действие запроса выполняется на основе условий фильтра входных данных.

POST https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.DataFactory/factories/{factoryName}/pipelineruns/{runId}/queryActivityruns?api-version=2018-06-01

Параметры URI

Имя	В	Обязательно	Тип	Описание
factoryName	path	True	string	Имя фабрики. Шаблон регулярного выражения: `^[A-Za-z0-9]+(?:-[A-Za-z0-9]+)*$`
resourceGroupName	path	True	string	Имя группы ресурсов. Шаблон регулярного выражения: `^[-\w\._\(\)]+$`
runId	path	True	string	Идентификатор выполнения конвейера.
subscriptionId	path	True	string	Идентификатор подписки.
api-version	query	True	string	Версия API.

Текст запроса

Имя	Обязательно	Тип	Описание
lastUpdatedAfter	True	string	Время или время обновления события выполнения в формате ISO 8601.
lastUpdatedBefore	True	string	Время, до которого событие запуска было обновлено в формате ISO 8601.
continuationToken		string	Маркер продолжения для получения следующей страницы результатов. Значение NULL для первой страницы.
filters		RunQueryFilter[]	Список фильтров.
orderBy		RunQueryOrderBy[]	Список параметра OrderBy.

Ответы

Имя	Тип	Описание
200 OK	ActivityRunsQueryResponse	Все в порядке.
Other Status Codes	CloudError	Ответ об ошибке, полученный от службы Фабрика данных Azure.

Безопасность

azure_auth

Поток OAuth2 в Azure Active Directory.

Тип: oauth2
Flow: implicit
Authorization URL: https://login.microsoftonline.com/common/oauth2/authorize

Scopes

Имя	Описание
user_impersonation	олицетворения учетной записи пользователя

Примеры

ActivityRuns_QueryByPipelineRun

Sample request

POST https://management.azure.com/subscriptions/12345678-1234-1234-1234-12345678abc/resourceGroups/exampleResourceGroup/providers/Microsoft.DataFactory/factories/exampleFactoryName/pipelineruns/2f7fdb90-5df1-4b8e-ac2f-064cfa58202b/queryActivityruns?api-version=2018-06-01

{
  "lastUpdatedAfter": "2018-06-16T00:36:44.3345758Z",
  "lastUpdatedBefore": "2018-06-16T00:49:48.3686473Z"
}

import com.azure.resourcemanager.datafactory.models.RunFilterParameters;
import java.time.OffsetDateTime;

/** Samples for ActivityRuns QueryByPipelineRun. */
public final class Main {
    /*
     * x-ms-original-file: specification/datafactory/resource-manager/Microsoft.DataFactory/stable/2018-06-01/examples/ActivityRuns_QueryByPipelineRun.json
     */
    /**
     * Sample code: ActivityRuns_QueryByPipelineRun.
     *
     * @param manager Entry point to DataFactoryManager.
     */
    public static void activityRunsQueryByPipelineRun(
        com.azure.resourcemanager.datafactory.DataFactoryManager manager) {
        manager
            .activityRuns()
            .queryByPipelineRunWithResponse(
                "exampleResourceGroup",
                "exampleFactoryName",
                "2f7fdb90-5df1-4b8e-ac2f-064cfa58202b",
                new RunFilterParameters()
                    .withLastUpdatedAfter(OffsetDateTime.parse("2018-06-16T00:36:44.3345758Z"))
                    .withLastUpdatedBefore(OffsetDateTime.parse("2018-06-16T00:49:48.3686473Z")),
                com.azure.core.util.Context.NONE);
    }
}

To use the Azure SDK library in your project, see this documentation. To provide feedback on this code sample, open a GitHub issue

from typing import Any, IO, Union

from azure.identity import DefaultAzureCredential

from azure.mgmt.datafactory import DataFactoryManagementClient

"""
# PREREQUISITES
    pip install azure-identity
    pip install azure-mgmt-datafactory
# USAGE
    python activity_runs_query_by_pipeline_run.py

    Before run the sample, please set the values of the client ID, tenant ID and client secret
    of the AAD application as environment variables: AZURE_CLIENT_ID, AZURE_TENANT_ID,
    AZURE_CLIENT_SECRET. For more info about how to get the value, please see:
    https://docs.microsoft.com/azure/active-directory/develop/howto-create-service-principal-portal
"""


def main():
    client = DataFactoryManagementClient(
        credential=DefaultAzureCredential(),
        subscription_id="12345678-1234-1234-1234-12345678abc",
    )

    response = client.activity_runs.query_by_pipeline_run(
        resource_group_name="exampleResourceGroup",
        factory_name="exampleFactoryName",
        run_id="2f7fdb90-5df1-4b8e-ac2f-064cfa58202b",
        filter_parameters={
            "lastUpdatedAfter": "2018-06-16T00:36:44.3345758Z",
            "lastUpdatedBefore": "2018-06-16T00:49:48.3686473Z",
        },
    )
    print(response)


# x-ms-original-file: specification/datafactory/resource-manager/Microsoft.DataFactory/stable/2018-06-01/examples/ActivityRuns_QueryByPipelineRun.json
if __name__ == "__main__":
    main()

To use the Azure SDK library in your project, see this documentation. To provide feedback on this code sample, open a GitHub issue

package armdatafactory_test

import (
	"context"
	"log"

	"time"

	"github.com/Azure/azure-sdk-for-go/sdk/azcore/to"
	"github.com/Azure/azure-sdk-for-go/sdk/azidentity"
	"github.com/Azure/azure-sdk-for-go/sdk/resourcemanager/datafactory/armdatafactory/v8"
)

// Generated from example definition: https://github.com/Azure/azure-rest-api-specs/blob/f6f50c6388fd5836fa142384641b8353a99874ef/specification/datafactory/resource-manager/Microsoft.DataFactory/stable/2018-06-01/examples/ActivityRuns_QueryByPipelineRun.json
func ExampleActivityRunsClient_QueryByPipelineRun() {
	cred, err := azidentity.NewDefaultAzureCredential(nil)
	if err != nil {
		log.Fatalf("failed to obtain a credential: %v", err)
	}
	ctx := context.Background()
	clientFactory, err := armdatafactory.NewClientFactory("<subscription-id>", cred, nil)
	if err != nil {
		log.Fatalf("failed to create client: %v", err)
	}
	res, err := clientFactory.NewActivityRunsClient().QueryByPipelineRun(ctx, "exampleResourceGroup", "exampleFactoryName", "2f7fdb90-5df1-4b8e-ac2f-064cfa58202b", armdatafactory.RunFilterParameters{
		LastUpdatedAfter:  to.Ptr(func() time.Time { t, _ := time.Parse(time.RFC3339Nano, "2018-06-16T00:36:44.334Z"); return t }()),
		LastUpdatedBefore: to.Ptr(func() time.Time { t, _ := time.Parse(time.RFC3339Nano, "2018-06-16T00:49:48.368Z"); return t }()),
	}, nil)
	if err != nil {
		log.Fatalf("failed to finish the request: %v", err)
	}
	// You could use response here. We use blank identifier for just demo purposes.
	_ = res
	// If the HTTP response code is 200 as defined in example definition, your response structure would look as follows. Please pay attention that all the values in the output are fake values for just demo purposes.
	// res.ActivityRunsQueryResponse = armdatafactory.ActivityRunsQueryResponse{
	// 	Value: []*armdatafactory.ActivityRun{
	// 		{
	// 			AdditionalProperties: map[string]any{
	// 				"retryAttempt": nil,
	// 				"userProperties": map[string]any{
	// 				},
	// 			},
	// 			ActivityName: to.Ptr("ExampleForeachActivity"),
	// 			ActivityRunEnd: to.Ptr(func() time.Time { t, _ := time.Parse(time.RFC3339Nano, "2018-06-16T00:38:11.544Z"); return t}()),
	// 			ActivityRunID: to.Ptr("f30c5514-fb85-43ed-9fa4-768d42e58680"),
	// 			ActivityRunStart: to.Ptr(func() time.Time { t, _ := time.Parse(time.RFC3339Nano, "2018-06-16T00:37:49.480Z"); return t}()),
	// 			ActivityType: to.Ptr("ForEach"),
	// 			DurationInMs: to.Ptr[int32](22064),
	// 			Error: map[string]any{
	// 				"errorCode": "",
	// 				"failureType": "",
	// 				"message": "",
	// 				"target": "ExampleForeachActivity",
	// 			},
	// 			Input: map[string]any{
	// 			},
	// 			LinkedServiceName: to.Ptr(""),
	// 			Output: map[string]any{
	// 			},
	// 			PipelineName: to.Ptr("examplePipeline"),
	// 			PipelineRunID: to.Ptr("2f7fdb90-5df1-4b8e-ac2f-064cfa58202b"),
	// 			Status: to.Ptr("Succeeded"),
	// 		},
	// 		{
	// 			AdditionalProperties: map[string]any{
	// 				"retryAttempt": nil,
	// 				"userProperties": map[string]any{
	// 				},
	// 			},
	// 			ActivityName: to.Ptr("ExampleCopyActivity"),
	// 			ActivityRunEnd: to.Ptr(func() time.Time { t, _ := time.Parse(time.RFC3339Nano, "2018-06-16T00:38:07.418Z"); return t}()),
	// 			ActivityRunID: to.Ptr("a96678c8-7167-4f00-b629-afccfbad4e51"),
	// 			ActivityRunStart: to.Ptr(func() time.Time { t, _ := time.Parse(time.RFC3339Nano, "2018-06-16T00:37:50.246Z"); return t}()),
	// 			ActivityType: to.Ptr("Copy"),
	// 			DurationInMs: to.Ptr[int32](17172),
	// 			Error: map[string]any{
	// 				"errorCode": "",
	// 				"failureType": "",
	// 				"message": "",
	// 				"target": "ExampleCopyActivity",
	// 			},
	// 			Input: map[string]any{
	// 				"dataIntegrationUnits": float64(32),
	// 				"sink":map[string]any{
	// 					"type": "BlobSink",
	// 				},
	// 				"source":map[string]any{
	// 					"type": "BlobSource",
	// 				},
	// 			},
	// 			LinkedServiceName: to.Ptr(""),
	// 			Output: map[string]any{
	// 				"copyDuration": float64(6),
	// 				"dataRead": float64(142000),
	// 				"dataWritten": float64(142000),
	// 				"effectiveIntegrationRuntime": "DefaultIntegrationRuntime (East US)",
	// 				"errors":[]any{
	// 				},
	// 				"executionDetails":[]any{
	// 					map[string]any{
	// 						"detailedDurations":map[string]any{
	// 							"queuingDuration": float64(4),
	// 							"transferDuration": float64(2),
	// 						},
	// 						"duration": float64(6),
	// 						"sink":map[string]any{
	// 							"type": "AzureBlob",
	// 						},
	// 						"source":map[string]any{
	// 							"type": "AzureBlob",
	// 						},
	// 						"start": "2018-06-16T00:37:50.68834Z",
	// 						"status": "Succeeded",
	// 						"usedCloudDataMovementUnits": float64(4),
	// 						"usedParallelCopies": float64(1),
	// 					},
	// 				},
	// 				"filesRead": float64(1),
	// 				"filesWritten": float64(1),
	// 				"throughput": float64(23.112),
	// 				"usedCloudDataMovementUnits": float64(4),
	// 				"usedParallelCopies": float64(1),
	// 			},
	// 			PipelineName: to.Ptr("examplePipeline"),
	// 			PipelineRunID: to.Ptr("2f7fdb90-5df1-4b8e-ac2f-064cfa58202b"),
	// 			Status: to.Ptr("Succeeded"),
	// 	}},
	// }
}

To use the Azure SDK library in your project, see this documentation. To provide feedback on this code sample, open a GitHub issue

const { DataFactoryManagementClient } = require("@azure/arm-datafactory");
const { DefaultAzureCredential } = require("@azure/identity");

/**
 * This sample demonstrates how to Query activity runs based on input filter conditions.
 *
 * @summary Query activity runs based on input filter conditions.
 * x-ms-original-file: specification/datafactory/resource-manager/Microsoft.DataFactory/stable/2018-06-01/examples/ActivityRuns_QueryByPipelineRun.json
 */
async function activityRunsQueryByPipelineRun() {
  const subscriptionId =
    process.env["DATAFACTORY_SUBSCRIPTION_ID"] || "12345678-1234-1234-1234-12345678abc";
  const resourceGroupName = process.env["DATAFACTORY_RESOURCE_GROUP"] || "exampleResourceGroup";
  const factoryName = "exampleFactoryName";
  const runId = "2f7fdb90-5df1-4b8e-ac2f-064cfa58202b";
  const filterParameters = {
    lastUpdatedAfter: new Date("2018-06-16T00:36:44.3345758Z"),
    lastUpdatedBefore: new Date("2018-06-16T00:49:48.3686473Z"),
  };
  const credential = new DefaultAzureCredential();
  const client = new DataFactoryManagementClient(credential, subscriptionId);
  const result = await client.activityRuns.queryByPipelineRun(
    resourceGroupName,
    factoryName,
    runId,
    filterParameters,
  );
  console.log(result);
}

To use the Azure SDK library in your project, see this documentation. To provide feedback on this code sample, open a GitHub issue

using System;
using System.Collections.Generic;
using System.Threading.Tasks;
using Azure;
using Azure.Core;
using Azure.Core.Expressions.DataFactory;
using Azure.Identity;
using Azure.ResourceManager;
using Azure.ResourceManager.DataFactory;
using Azure.ResourceManager.DataFactory.Models;
using Azure.ResourceManager.Resources;

// Generated from example definition: specification/datafactory/resource-manager/Microsoft.DataFactory/stable/2018-06-01/examples/ActivityRuns_QueryByPipelineRun.json
// this example is just showing the usage of "ActivityRuns_QueryByPipelineRun" operation, for the dependent resources, they will have to be created separately.

// get your azure access token, for more details of how Azure SDK get your access token, please refer to https://learn.microsoft.com/en-us/dotnet/azure/sdk/authentication?tabs=command-line
TokenCredential cred = new DefaultAzureCredential();
// authenticate your client
ArmClient client = new ArmClient(cred);

// this example assumes you already have this DataFactoryResource created on azure
// for more information of creating DataFactoryResource, please refer to the document of DataFactoryResource
string subscriptionId = "12345678-1234-1234-1234-12345678abc";
string resourceGroupName = "exampleResourceGroup";
string factoryName = "exampleFactoryName";
ResourceIdentifier dataFactoryResourceId = DataFactoryResource.CreateResourceIdentifier(subscriptionId, resourceGroupName, factoryName);
DataFactoryResource dataFactory = client.GetDataFactoryResource(dataFactoryResourceId);

// invoke the operation and iterate over the result
string runId = "2f7fdb90-5df1-4b8e-ac2f-064cfa58202b";
RunFilterContent content = new RunFilterContent(DateTimeOffset.Parse("2018-06-16T00:36:44.3345758Z"), DateTimeOffset.Parse("2018-06-16T00:49:48.3686473Z"));
await foreach (PipelineActivityRunInformation item in dataFactory.GetActivityRunAsync(runId, content))
{
    Console.WriteLine($"Succeeded: {item}");
}

Console.WriteLine($"Succeeded");

To use the Azure SDK library in your project, see this documentation. To provide feedback on this code sample, open a GitHub issue

az datafactory activity-run query-by-pipeline-run --factory-name "exampleFactoryName" --last-updated-after "2018-06-16T00:36:44.3345758Z" --last-updated-before "2018-06-16T00:49:48.3686473Z" --resource-group "exampleResourceGroup" --run-id "2f7fdb90-5df1-4b8e-ac2f-064cfa58202b"

Click here to learn more about the Azure CLI command.

Sample response

Status code:: 200

Date: Sat, 16 Jun 2018 00:40:13 GMT
X-Content-Type-Options: nosniff
x-ms-ratelimit-remaining-subscription-writes: 1187
x-ms-request-id: 5465cf41-2e71-4ce6-8db4-9de1b92ffda9
x-ms-correlation-request-id: 5465cf41-2e71-4ce6-8db4-9de1b92ffda9

{
  "value": [
    {
      "activityRunEnd": "2018-06-16T00:38:11.5445431Z",
      "activityName": "ExampleForeachActivity",
      "activityRunStart": "2018-06-16T00:37:49.4804925Z",
      "activityType": "ForEach",
      "durationInMs": 22064,
      "retryAttempt": null,
      "error": {
        "errorCode": "",
        "message": "",
        "failureType": "",
        "target": "ExampleForeachActivity"
      },
      "activityRunId": "f30c5514-fb85-43ed-9fa4-768d42e58680",
      "input": {},
      "linkedServiceName": "",
      "output": {},
      "userProperties": {},
      "pipelineName": "examplePipeline",
      "pipelineRunId": "2f7fdb90-5df1-4b8e-ac2f-064cfa58202b",
      "status": "Succeeded"
    },
    {
      "activityRunEnd": "2018-06-16T00:38:07.4188923Z",
      "activityName": "ExampleCopyActivity",
      "activityRunStart": "2018-06-16T00:37:50.2460952Z",
      "activityType": "Copy",
      "durationInMs": 17172,
      "retryAttempt": null,
      "error": {
        "errorCode": "",
        "message": "",
        "failureType": "",
        "target": "ExampleCopyActivity"
      },
      "activityRunId": "a96678c8-7167-4f00-b629-afccfbad4e51",
      "input": {
        "source": {
          "type": "BlobSource"
        },
        "sink": {
          "type": "BlobSink"
        },
        "dataIntegrationUnits": 32
      },
      "linkedServiceName": "",
      "output": {
        "dataRead": 142000,
        "dataWritten": 142000,
        "filesRead": 1,
        "filesWritten": 1,
        "copyDuration": 6,
        "throughput": 23.112,
        "errors": [],
        "effectiveIntegrationRuntime": "DefaultIntegrationRuntime (East US)",
        "usedCloudDataMovementUnits": 4,
        "usedParallelCopies": 1,
        "executionDetails": [
          {
            "source": {
              "type": "AzureBlob"
            },
            "sink": {
              "type": "AzureBlob"
            },
            "status": "Succeeded",
            "start": "2018-06-16T00:37:50.68834Z",
            "duration": 6,
            "usedCloudDataMovementUnits": 4,
            "usedParallelCopies": 1,
            "detailedDurations": {
              "queuingDuration": 4,
              "transferDuration": 2
            }
          }
        ]
      },
      "userProperties": {},
      "pipelineName": "examplePipeline",
      "pipelineRunId": "2f7fdb90-5df1-4b8e-ac2f-064cfa58202b",
      "status": "Succeeded"
    }
  ]
}

Определения

Имя	Описание
ActivityRun	Сведения о выполнении действия в конвейере.
ActivityRunsQueryResponse	Выполняется действие списка.
CloudError	Объект , определяющий структуру Фабрика данных Azure ответа на ошибку.
RunFilterParameters	Параметры запроса для перечисления запусков.
RunQueryFilter	Параметр фильтра запросов для перечисления запусков.
RunQueryFilterOperand	Имя параметра, используемого для фильтра. Допустимые операнды для запросов к выполнению конвейера: PipelineName, RunStart, RunEnd и Status; для выполнения действия запроса — ActivityName, ActivityRunStart, ActivityRunEnd, ActivityType и Status, а для выполнения триггера запроса — TriggerName, TriggerRunTimestamp и Status.
RunQueryFilterOperator	Оператор, используемый для фильтрации.
RunQueryOrder	Порядок сортировки параметра.
RunQueryOrderBy	Объект для предоставления порядка по параметрам для перечисления запусков.
RunQueryOrderByField	Имя параметра, используемого для упорядочивания. Допустимые параметры для выполнения конвейера: PipelineName, RunStart, RunEnd и Status; для выполнения действий : ActivityName, ActivityRunStart, ActivityRunEnd и Status; Для выполнения триггера используются значения TriggerName, TriggerRunTimestamp и Status.

ActivityRun

Сведения о выполнении действия в конвейере.

Имя	Тип	Описание
activityName	string	Имя действия.
activityRunEnd	string	Время окончания выполнения действия в формате ISO 8601.
activityRunId	string	Идентификатор выполнения действия.
activityRunStart	string	Время начала выполнения действия в формате ISO 8601.
activityType	string	Тип действия.
durationInMs	integer	Длительность выполнения действия.
error	object	Ошибка при наличии при выполнении действия.
input	object	Входные данные для действия.
linkedServiceName	string	Имя связанной службы вычислений.
output	object	Выходные данные для действия.
pipelineName	string	Имя конвейера.
pipelineRunId	string	Идентификатор выполнения конвейера.
status	string	Состояние выполнения действия.

ActivityRunsQueryResponse

Выполняется действие списка.

Имя	Тип	Описание
continuationToken	string	Маркер продолжения для получения следующей страницы результатов, если какие-либо оставшиеся результаты существуют, в противном случае — null.
value	ActivityRun[]	Список выполнений действий.

CloudError

Объект , определяющий структуру Фабрика данных Azure ответа на ошибку.

Имя	Тип	Описание
error.code	string	Код ошибки.
error.details	CloudError[]	Массив с дополнительными сведениями об ошибке.
error.message	string	Сообщение об ошибке.
error.target	string	Имя свойства или путь в запросе, связанном с ошибкой.

RunFilterParameters

Параметры запроса для перечисления запусков.

Имя	Тип	Описание
continuationToken	string	Маркер продолжения для получения следующей страницы результатов. Значение NULL для первой страницы.
filters	RunQueryFilter[]	Список фильтров.
lastUpdatedAfter	string	Время или время обновления события выполнения в формате ISO 8601.
lastUpdatedBefore	string	Время, до которого событие запуска было обновлено в формате ISO 8601.
orderBy	RunQueryOrderBy[]	Список параметра OrderBy.

RunQueryFilter

Параметр фильтра запросов для перечисления запусков.

Имя	Тип	Описание
operand	RunQueryFilterOperand	Имя параметра, используемого для фильтра. Допустимые операнды для запросов к выполнению конвейера: PipelineName, RunStart, RunEnd и Status; для выполнения действия запроса — ActivityName, ActivityRunStart, ActivityRunEnd, ActivityType и Status, а для выполнения триггера запроса — TriggerName, TriggerRunTimestamp и Status.
operator	RunQueryFilterOperator	Оператор, используемый для фильтрации.
values	string[]	Список значений фильтра.

RunQueryFilterOperand

Имя параметра, используемого для фильтра. Допустимые операнды для запросов к выполнению конвейера: PipelineName, RunStart, RunEnd и Status; для выполнения действия запроса — ActivityName, ActivityRunStart, ActivityRunEnd, ActivityType и Status, а для выполнения триггера запроса — TriggerName, TriggerRunTimestamp и Status.

Имя	Тип	Описание
ActivityName	string
ActivityRunEnd	string
ActivityRunStart	string
ActivityType	string
LatestOnly	string
PipelineName	string
RunEnd	string
RunGroupId	string
RunStart	string
Status	string
TriggerName	string
TriggerRunTimestamp	string

RunQueryFilterOperator

Оператор, используемый для фильтрации.

Имя	Тип	Описание
Equals	string
In	string
NotEquals	string
NotIn	string

RunQueryOrder

Порядок сортировки параметра.

Имя	Тип	Описание
ASC	string
DESC	string

RunQueryOrderBy

Объект для предоставления порядка по параметрам для перечисления запусков.

Имя	Тип	Описание
order	RunQueryOrder	Порядок сортировки параметра.
orderBy	RunQueryOrderByField	Имя параметра, используемого для упорядочивания. Допустимые параметры для выполнения конвейера: PipelineName, RunStart, RunEnd и Status; для выполнения действий : ActivityName, ActivityRunStart, ActivityRunEnd и Status; Для выполнения триггера используются значения TriggerName, TriggerRunTimestamp и Status.

RunQueryOrderByField

Имя параметра, используемого для упорядочивания. Допустимые параметры для выполнения конвейера: PipelineName, RunStart, RunEnd и Status; для выполнения действий : ActivityName, ActivityRunStart, ActivityRunEnd и Status; Для выполнения триггера используются значения TriggerName, TriggerRunTimestamp и Status.

Имя	Тип	Описание
ActivityName	string
ActivityRunEnd	string
ActivityRunStart	string
PipelineName	string
RunEnd	string
RunStart	string
Status	string
TriggerName	string
TriggerRunTimestamp	string