Pipeline Runs - Query By Factory

Servizio:

Data Factory

Versione API:

2018-06-01

La pipeline di query viene eseguita nella factory in base alle condizioni del filtro di input.

POST https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.DataFactory/factories/{factoryName}/queryPipelineRuns?api-version=2018-06-01

Parametri dell'URI

Nome	In	Necessario	Tipo	Descrizione
factoryName	path	True	string minLength: 3 maxLength: 63 pattern: ^[A-Za-z0-9]+(?:-[A-Za-z0-9]+)*$	Nome della factory.
resourceGroupName	path	True	string minLength: 1 maxLength: 90 pattern: ^[-\w\._\(\)]+$	Nome del gruppo di risorse.
subscriptionId	path	True	string	L'identificatore della sottoscrizione.
api-version	query	True	string	Versione dell'API.

Corpo della richiesta

Nome	Necessario	Tipo	Descrizione
lastUpdatedAfter	True	string (date-time)	Ora in cui l'evento di esecuzione è stato aggiornato in formato "ISO 8601".
lastUpdatedBefore	True	string (date-time)	Ora in cui l'evento di esecuzione è stato aggiornato in formato 'ISO 8601'.
continuationToken		string	Token di continuazione per ottenere la pagina successiva dei risultati. Null per la prima pagina.
filters		RunQueryFilter[]	Elenco di filtri.
orderBy		RunQueryOrderBy[]	Elenco dell'opzione OrderBy.

Risposte

Nome	Tipo	Descrizione
200 OK	PipelineRunsQueryResponse	OK.
Other Status Codes	CloudError	Risposta di errore ricevuta dal servizio Azure Data Factory.

Sicurezza

azure_auth

Flusso OAuth2 di Azure Active Directory.

Tipo: oauth2
Flow: implicit
URL di autorizzazione: https://login.microsoftonline.com/common/oauth2/authorize

Ambiti

Nome	Descrizione
user_impersonation	rappresentare l'account utente

Esempio

PipelineRuns_QueryByFactory

Esempio di richiesta

HTTP

POST https://management.azure.com/subscriptions/12345678-1234-1234-1234-12345678abc/resourceGroups/exampleResourceGroup/providers/Microsoft.DataFactory/factories/exampleFactoryName/queryPipelineRuns?api-version=2018-06-01

{
  "lastUpdatedAfter": "2018-06-16T00:36:44.3345758Z",
  "lastUpdatedBefore": "2018-06-16T00:49:48.3686473Z",
  "filters": [
    {
      "operand": "PipelineName",
      "operator": "Equals",
      "values": [
        "examplePipeline"
      ]
    }
  ]
}

Java

import com.azure.resourcemanager.datafactory.models.RunFilterParameters;
import com.azure.resourcemanager.datafactory.models.RunQueryFilter;
import com.azure.resourcemanager.datafactory.models.RunQueryFilterOperand;
import com.azure.resourcemanager.datafactory.models.RunQueryFilterOperator;
import java.time.OffsetDateTime;
import java.util.Arrays;

/**
 * Samples for PipelineRuns QueryByFactory.
 */
public final class Main {
    /*
     * x-ms-original-file: specification/datafactory/resource-manager/Microsoft.DataFactory/stable/2018-06-01/examples/
     * PipelineRuns_QueryByFactory.json
     */
    /**
     * Sample code: PipelineRuns_QueryByFactory.
     * 
     * @param manager Entry point to DataFactoryManager.
     */
    public static void pipelineRunsQueryByFactory(com.azure.resourcemanager.datafactory.DataFactoryManager manager) {
        manager.pipelineRuns().queryByFactoryWithResponse("exampleResourceGroup", "exampleFactoryName",
            new RunFilterParameters().withLastUpdatedAfter(OffsetDateTime.parse("2018-06-16T00:36:44.3345758Z"))
                .withLastUpdatedBefore(OffsetDateTime.parse("2018-06-16T00:49:48.3686473Z"))
                .withFilters(Arrays.asList(new RunQueryFilter().withOperand(RunQueryFilterOperand.PIPELINE_NAME)
                    .withOperator(RunQueryFilterOperator.EQUALS).withValues(Arrays.asList("examplePipeline")))),
            com.azure.core.util.Context.NONE);
    }
}

To use the Azure SDK library in your project, see this documentation. To provide feedback on this code sample, open a GitHub issue

Python

from azure.identity import DefaultAzureCredential

from azure.mgmt.datafactory import DataFactoryManagementClient

"""
# PREREQUISITES
    pip install azure-identity
    pip install azure-mgmt-datafactory
# USAGE
    python pipeline_runs_query_by_factory.py

    Before run the sample, please set the values of the client ID, tenant ID and client secret
    of the AAD application as environment variables: AZURE_CLIENT_ID, AZURE_TENANT_ID,
    AZURE_CLIENT_SECRET. For more info about how to get the value, please see:
    https://docs.microsoft.com/azure/active-directory/develop/howto-create-service-principal-portal
"""


def main():
    client = DataFactoryManagementClient(
        credential=DefaultAzureCredential(),
        subscription_id="12345678-1234-1234-1234-12345678abc",
    )

    response = client.pipeline_runs.query_by_factory(
        resource_group_name="exampleResourceGroup",
        factory_name="exampleFactoryName",
        filter_parameters={
            "filters": [{"operand": "PipelineName", "operator": "Equals", "values": ["examplePipeline"]}],
            "lastUpdatedAfter": "2018-06-16T00:36:44.3345758Z",
            "lastUpdatedBefore": "2018-06-16T00:49:48.3686473Z",
        },
    )
    print(response)


# x-ms-original-file: specification/datafactory/resource-manager/Microsoft.DataFactory/stable/2018-06-01/examples/PipelineRuns_QueryByFactory.json
if __name__ == "__main__":
    main()

To use the Azure SDK library in your project, see this documentation. To provide feedback on this code sample, open a GitHub issue

Go

package armdatafactory_test

import (
	"context"
	"log"

	"time"

	"github.com/Azure/azure-sdk-for-go/sdk/azcore/to"
	"github.com/Azure/azure-sdk-for-go/sdk/azidentity"
	"github.com/Azure/azure-sdk-for-go/sdk/resourcemanager/datafactory/armdatafactory/v10"
)

// Generated from example definition: https://github.com/Azure/azure-rest-api-specs/blob/8eb3f7a4f66d408152c32b9d647e59147172d533/specification/datafactory/resource-manager/Microsoft.DataFactory/stable/2018-06-01/examples/PipelineRuns_QueryByFactory.json
func ExamplePipelineRunsClient_QueryByFactory() {
	cred, err := azidentity.NewDefaultAzureCredential(nil)
	if err != nil {
		log.Fatalf("failed to obtain a credential: %v", err)
	}
	ctx := context.Background()
	clientFactory, err := armdatafactory.NewClientFactory("<subscription-id>", cred, nil)
	if err != nil {
		log.Fatalf("failed to create client: %v", err)
	}
	res, err := clientFactory.NewPipelineRunsClient().QueryByFactory(ctx, "exampleResourceGroup", "exampleFactoryName", armdatafactory.RunFilterParameters{
		Filters: []*armdatafactory.RunQueryFilter{
			{
				Operand:  to.Ptr(armdatafactory.RunQueryFilterOperandPipelineName),
				Operator: to.Ptr(armdatafactory.RunQueryFilterOperatorEquals),
				Values: []*string{
					to.Ptr("examplePipeline")},
			}},
		LastUpdatedAfter:  to.Ptr(func() time.Time { t, _ := time.Parse(time.RFC3339Nano, "2018-06-16T00:36:44.334Z"); return t }()),
		LastUpdatedBefore: to.Ptr(func() time.Time { t, _ := time.Parse(time.RFC3339Nano, "2018-06-16T00:49:48.368Z"); return t }()),
	}, nil)
	if err != nil {
		log.Fatalf("failed to finish the request: %v", err)
	}
	// You could use response here. We use blank identifier for just demo purposes.
	_ = res
	// If the HTTP response code is 200 as defined in example definition, your response structure would look as follows. Please pay attention that all the values in the output are fake values for just demo purposes.
	// res.PipelineRunsQueryResponse = armdatafactory.PipelineRunsQueryResponse{
	// 	Value: []*armdatafactory.PipelineRun{
	// 		{
	// 			AdditionalProperties: map[string]any{
	// 				"annotations": []any{
	// 				},
	// 				"runDimension": map[string]any{
	// 					"JobId": "79c1cc52-265f-41a5-9553-be65e736fbd3",
	// 				},
	// 			},
	// 			DurationInMs: to.Ptr[int32](28105),
	// 			InvokedBy: &armdatafactory.PipelineRunInvokedBy{
	// 				Name: to.Ptr("Manual"),
	// 				ID: to.Ptr("80a01654a9d34ad18b3fcac5d5d76b67"),
	// 			},
	// 			LastUpdated: to.Ptr(func() time.Time { t, _ := time.Parse(time.RFC3339Nano, "2018-06-16T00:38:12.731Z"); return t}()),
	// 			Message: to.Ptr(""),
	// 			Parameters: map[string]*string{
	// 				"OutputBlobNameList": to.Ptr("[\"exampleoutput.csv\"]"),
	// 			},
	// 			PipelineName: to.Ptr("examplePipeline"),
	// 			RunEnd: to.Ptr(func() time.Time { t, _ := time.Parse(time.RFC3339Nano, "2018-06-16T00:38:12.731Z"); return t}()),
	// 			RunID: to.Ptr("2f7fdb90-5df1-4b8e-ac2f-064cfa58202b"),
	// 			RunStart: to.Ptr(func() time.Time { t, _ := time.Parse(time.RFC3339Nano, "2018-06-16T00:37:44.625Z"); return t}()),
	// 			Status: to.Ptr("Succeeded"),
	// 		},
	// 		{
	// 			AdditionalProperties: map[string]any{
	// 				"annotations": []any{
	// 				},
	// 				"runDimension": map[string]any{
	// 					"JobId": "84a3c493-0628-4b44-852f-ef5b3a11bdab",
	// 				},
	// 			},
	// 			InvokedBy: &armdatafactory.PipelineRunInvokedBy{
	// 				Name: to.Ptr("Manual"),
	// 				ID: to.Ptr("7c5fd7ef7e8a464b98b931cf15fcac66"),
	// 			},
	// 			LastUpdated: to.Ptr(func() time.Time { t, _ := time.Parse(time.RFC3339Nano, "2018-06-16T00:39:51.216Z"); return t}()),
	// 			Message: to.Ptr(""),
	// 			Parameters: map[string]*string{
	// 				"OutputBlobNameList": to.Ptr("[\"exampleoutput.csv\"]"),
	// 			},
	// 			PipelineName: to.Ptr("examplePipeline"),
	// 			RunID: to.Ptr("16ac5348-ff82-4f95-a80d-638c1d47b721"),
	// 			RunStart: to.Ptr(func() time.Time { t, _ := time.Parse(time.RFC3339Nano, "2018-06-16T00:39:49.274Z"); return t}()),
	// 			Status: to.Ptr("Cancelled"),
	// 	}},
	// }
}

To use the Azure SDK library in your project, see this documentation. To provide feedback on this code sample, open a GitHub issue

JavaScript

const { DataFactoryManagementClient } = require("@azure/arm-datafactory");
const { DefaultAzureCredential } = require("@azure/identity");

/**
 * This sample demonstrates how to Query pipeline runs in the factory based on input filter conditions.
 *
 * @summary Query pipeline runs in the factory based on input filter conditions.
 * x-ms-original-file: specification/datafactory/resource-manager/Microsoft.DataFactory/stable/2018-06-01/examples/PipelineRuns_QueryByFactory.json
 */
async function pipelineRunsQueryByFactory() {
  const subscriptionId =
    process.env["DATAFACTORY_SUBSCRIPTION_ID"] || "12345678-1234-1234-1234-12345678abc";
  const resourceGroupName = process.env["DATAFACTORY_RESOURCE_GROUP"] || "exampleResourceGroup";
  const factoryName = "exampleFactoryName";
  const filterParameters = {
    filters: [
      {
        operand: "PipelineName",
        operator: "Equals",
        values: ["examplePipeline"],
      },
    ],
    lastUpdatedAfter: new Date("2018-06-16T00:36:44.3345758Z"),
    lastUpdatedBefore: new Date("2018-06-16T00:49:48.3686473Z"),
  };
  const credential = new DefaultAzureCredential();
  const client = new DataFactoryManagementClient(credential, subscriptionId);
  const result = await client.pipelineRuns.queryByFactory(
    resourceGroupName,
    factoryName,
    filterParameters,
  );
  console.log(result);
}

To use the Azure SDK library in your project, see this documentation. To provide feedback on this code sample, open a GitHub issue

dotnet

using Azure;
using Azure.ResourceManager;
using System;
using System.Threading.Tasks;
using Azure.Core;
using Azure.Core.Expressions.DataFactory;
using Azure.Identity;
using Azure.ResourceManager.DataFactory.Models;
using Azure.ResourceManager.DataFactory;

// Generated from example definition: specification/datafactory/resource-manager/Microsoft.DataFactory/stable/2018-06-01/examples/PipelineRuns_QueryByFactory.json
// this example is just showing the usage of "PipelineRuns_QueryByFactory" operation, for the dependent resources, they will have to be created separately.

// get your azure access token, for more details of how Azure SDK get your access token, please refer to https://learn.microsoft.com/en-us/dotnet/azure/sdk/authentication?tabs=command-line
TokenCredential cred = new DefaultAzureCredential();
// authenticate your client
ArmClient client = new ArmClient(cred);

// this example assumes you already have this DataFactoryResource created on azure
// for more information of creating DataFactoryResource, please refer to the document of DataFactoryResource
string subscriptionId = "12345678-1234-1234-1234-12345678abc";
string resourceGroupName = "exampleResourceGroup";
string factoryName = "exampleFactoryName";
ResourceIdentifier dataFactoryResourceId = DataFactoryResource.CreateResourceIdentifier(subscriptionId, resourceGroupName, factoryName);
DataFactoryResource dataFactory = client.GetDataFactoryResource(dataFactoryResourceId);

// invoke the operation and iterate over the result
RunFilterContent content = new RunFilterContent(DateTimeOffset.Parse("2018-06-16T00:36:44.3345758Z"), DateTimeOffset.Parse("2018-06-16T00:49:48.3686473Z"))
{
    Filters = { new RunQueryFilter(RunQueryFilterOperand.PipelineName, RunQueryFilterOperator.EqualsValue, new string[] { "examplePipeline" }) },
};
await foreach (DataFactoryPipelineRunInfo item in dataFactory.GetPipelineRunsAsync(content))
{
    Console.WriteLine($"Succeeded: {item}");
}

Console.WriteLine("Succeeded");

To use the Azure SDK library in your project, see this documentation. To provide feedback on this code sample, open a GitHub issue

CLI

az datafactory pipeline-run query-by-factory --factory-name "exampleFactoryName" --filters operand="PipelineName" operator="Equals" values="examplePipeline" --last-updated-after "2018-06-16T00:36:44.3345758Z" --last-updated-before "2018-06-16T00:49:48.3686473Z" --resource-group "exampleResourceGroup"

Click here to learn more about the Azure CLI command.

Risposta di esempio

Codice di stato:

200

Date: Sat, 16 Jun 2018 00:40:01 GMT
X-Content-Type-Options: nosniff
x-ms-ratelimit-remaining-subscription-reads: 14989
x-ms-request-id: 2f955e10-c6df-45a7-97d4-81acdb8540cd
x-ms-correlation-request-id: 2f955e10-c6df-45a7-97d4-81acdb8540cd

{
  "value": [
    {
      "runId": "2f7fdb90-5df1-4b8e-ac2f-064cfa58202b",
      "pipelineName": "examplePipeline",
      "parameters": {
        "OutputBlobNameList": "[\"exampleoutput.csv\"]"
      },
      "invokedBy": {
        "id": "80a01654a9d34ad18b3fcac5d5d76b67",
        "name": "Manual"
      },
      "runStart": "2018-06-16T00:37:44.6257014Z",
      "runEnd": "2018-06-16T00:38:12.7314495Z",
      "durationInMs": 28105,
      "status": "Succeeded",
      "message": "",
      "lastUpdated": "2018-06-16T00:38:12.7314495Z",
      "annotations": [],
      "runDimension": {
        "JobId": "79c1cc52-265f-41a5-9553-be65e736fbd3"
      }
    },
    {
      "runId": "16ac5348-ff82-4f95-a80d-638c1d47b721",
      "pipelineName": "examplePipeline",
      "parameters": {
        "OutputBlobNameList": "[\"exampleoutput.csv\"]"
      },
      "invokedBy": {
        "id": "7c5fd7ef7e8a464b98b931cf15fcac66",
        "name": "Manual"
      },
      "runStart": "2018-06-16T00:39:49.2745128Z",
      "runEnd": null,
      "durationInMs": null,
      "status": "Cancelled",
      "message": "",
      "lastUpdated": "2018-06-16T00:39:51.216097Z",
      "annotations": [],
      "runDimension": {
        "JobId": "84a3c493-0628-4b44-852f-ef5b3a11bdab"
      }
    }
  ]
}

Definizioni

Nome	Descrizione
CloudError	Oggetto che definisce la struttura di una risposta di errore di Azure Data Factory.
PipelineRun	Informazioni su un'esecuzione della pipeline.
PipelineRunInvokedBy	Fornisce il nome e l'ID dell'entità che ha avviato l'esecuzione della pipeline.
PipelineRunsQueryResponse	Viene eseguita una pipeline di elenco.
RunFilterParameters	Parametri di query per l'elenco delle esecuzioni.
RunQueryFilter	Opzione filtro query per l'elenco delle esecuzioni.
RunQueryFilterOperand	Nome del parametro da usare per il filtro. Gli operandi consentiti per eseguire query sulle esecuzioni della pipeline sono PipelineName, RunStart, RunEnd e Status; per eseguire query sulle esecuzioni di attività sono ActivityName, ActivityRunStart, ActivityRunEnd, ActivityType e Status e per le esecuzioni dei trigger di query sono TriggerName, TriggerRunTimestamp e Status.
RunQueryFilterOperator	Operatore da utilizzare per il filtro.
RunQueryOrder	Ordinamento del parametro.
RunQueryOrderBy	Oggetto per fornire l'ordine in base alle opzioni per l'elenco delle esecuzioni.
RunQueryOrderByField	Nome del parametro da utilizzare per l'ordine. I parametri consentiti da ordinare per le esecuzioni della pipeline sono PipelineName, RunStart, RunEnd e Status; per le esecuzioni di attività sono ActivityName, ActivityRunStart, ActivityRunEnd e Status; per le esecuzioni dei trigger sono TriggerName, TriggerRunTimestamp e Status.

CloudError

Object

Oggetto che definisce la struttura di una risposta di errore di Azure Data Factory.

Nome	Tipo	Descrizione
error.code	string	Codice di errore.
error.details	CloudError[]	Matrice con dettagli aggiuntivi sull'errore.
error.message	string	Messaggio di errore.
error.target	string	Nome/percorso della proprietà nella richiesta associata all'errore.

PipelineRun

Object

Informazioni su un'esecuzione della pipeline.

Nome	Tipo	Descrizione
durationInMs	integer	Durata dell'esecuzione di una pipeline.
invokedBy	PipelineRunInvokedBy	Entità che ha avviato l'esecuzione della pipeline.
isLatest	boolean	Indica se l'esecuzione della pipeline ripristinata è la più recente nel relativo gruppo.
lastUpdated	string (date-time)	Timestamp dell'ultimo aggiornamento per l'evento di esecuzione della pipeline in formato ISO8601.
message	string	Messaggio da un'esecuzione della pipeline.
parameters	object	Elenco completo o parziale del nome del parametro, coppia di valori usata nell'esecuzione della pipeline.
pipelineName	string	Nome della pipeline.
runDimensions	object	Eseguire le dimensioni generate dall'esecuzione della pipeline.
runEnd	string (date-time)	Ora di fine di un'esecuzione della pipeline in ISO8601 formato.
runGroupId	string	Identificatore che correla tutte le esecuzioni di ripristino di un'esecuzione della pipeline.
runId	string	Identificatore di un'esecuzione.
runStart	string (date-time)	Ora di inizio di un'esecuzione della pipeline in formato ISO8601.
status	string	Stato di un'esecuzione della pipeline. Valori possibili: Queued, InProgress, Succeeded, Failed, Canceling, Cancelled

PipelineRunInvokedBy

Object

Fornisce il nome e l'ID dell'entità che ha avviato l'esecuzione della pipeline.

Nome	Tipo	Descrizione
id	string	ID dell'entità che ha avviato l'esecuzione.
invokedByType	string	Tipo dell'entità che ha avviato l'esecuzione.
name	string	Nome dell'entità che ha avviato l'esecuzione della pipeline.
pipelineName	string	Nome della pipeline che ha attivato l'esecuzione, se presente.
pipelineRunId	string	ID di esecuzione della pipeline che ha attivato l'esecuzione, se presente.

PipelineRunsQueryResponse

Object

Viene eseguita una pipeline di elenco.

Nome	Tipo	Descrizione
continuationToken	string	Token di continuazione per ottenere la pagina successiva dei risultati, se esistono risultati rimanenti, null in caso contrario.
value	PipelineRun[]	Elenco delle esecuzioni della pipeline.

RunFilterParameters

Object

Parametri di query per l'elenco delle esecuzioni.

Nome	Tipo	Descrizione
continuationToken	string	Token di continuazione per ottenere la pagina successiva dei risultati. Null per la prima pagina.
filters	RunQueryFilter[]	Elenco di filtri.
lastUpdatedAfter	string (date-time)	Ora in cui l'evento di esecuzione è stato aggiornato in formato "ISO 8601".
lastUpdatedBefore	string (date-time)	Ora in cui l'evento di esecuzione è stato aggiornato in formato 'ISO 8601'.
orderBy	RunQueryOrderBy[]	Elenco dell'opzione OrderBy.

RunQueryFilter

Object

Opzione filtro query per l'elenco delle esecuzioni.

Nome	Tipo	Descrizione
operand	RunQueryFilterOperand	Nome del parametro da usare per il filtro. Gli operandi consentiti per eseguire query sulle esecuzioni della pipeline sono PipelineName, RunStart, RunEnd e Status; per eseguire query sulle esecuzioni di attività sono ActivityName, ActivityRunStart, ActivityRunEnd, ActivityType e Status e per le esecuzioni dei trigger di query sono TriggerName, TriggerRunTimestamp e Status.
operator	RunQueryFilterOperator	Operatore da utilizzare per il filtro.
values	string[]	Elenco di valori di filtro.

RunQueryFilterOperand

Enumerazione

Nome del parametro da usare per il filtro. Gli operandi consentiti per eseguire query sulle esecuzioni della pipeline sono PipelineName, RunStart, RunEnd e Status; per eseguire query sulle esecuzioni di attività sono ActivityName, ActivityRunStart, ActivityRunEnd, ActivityType e Status e per le esecuzioni dei trigger di query sono TriggerName, TriggerRunTimestamp e Status.

Valore	Descrizione
ActivityName
ActivityRunEnd
ActivityRunStart
ActivityType
LatestOnly
PipelineName
RunEnd
RunGroupId
RunStart
Status
TriggerName
TriggerRunTimestamp

RunQueryFilterOperator

Enumerazione

Operatore da utilizzare per il filtro.

Valore	Descrizione
Equals
In
NotEquals
NotIn

RunQueryOrder

Enumerazione

Ordinamento del parametro.

Valore	Descrizione
ASC
DESC

RunQueryOrderBy

Object

Oggetto per fornire l'ordine in base alle opzioni per l'elenco delle esecuzioni.

Nome	Tipo	Descrizione
order	RunQueryOrder	Ordinamento del parametro.
orderBy	RunQueryOrderByField	Nome del parametro da utilizzare per l'ordine. I parametri consentiti da ordinare per le esecuzioni della pipeline sono PipelineName, RunStart, RunEnd e Status; per le esecuzioni di attività sono ActivityName, ActivityRunStart, ActivityRunEnd e Status; per le esecuzioni dei trigger sono TriggerName, TriggerRunTimestamp e Status.

RunQueryOrderByField

Enumerazione

Nome del parametro da utilizzare per l'ordine. I parametri consentiti da ordinare per le esecuzioni della pipeline sono PipelineName, RunStart, RunEnd e Status; per le esecuzioni di attività sono ActivityName, ActivityRunStart, ActivityRunEnd e Status; per le esecuzioni dei trigger sono TriggerName, TriggerRunTimestamp e Status.

Valore	Descrizione
ActivityName
ActivityRunEnd
ActivityRunStart
PipelineName
RunEnd
RunStart
Status
TriggerName
TriggerRunTimestamp