Définition de ressource Bicep
Le type de ressource fabriques/dataflows peut être déployé avec des opérations qui ciblent :
Pour obtenir la liste des propriétés modifiées dans chaque version de l’API, consultez journal des modifications.
Pour créer une ressource Microsoft.DataFactory/factories/dataflows, ajoutez le bicep suivant à votre modèle.
resource symbolicname 'Microsoft.DataFactory/factories/dataflows@2018-06-01' = {
parent: resourceSymbolicName
name: 'string'
properties: {
annotations: [
any(...)
]
description: 'string'
folder: {
name: 'string'
}
type: 'string'
// For remaining properties, see DataFlow objects
}
}
Objets DataFlow
Définissez le type propriété pour spécifier le type d’objet.
Pour Flowlet, utilisez :
{
type: 'Flowlet'
typeProperties: {
script: 'string'
scriptLines: [
'string'
]
sinks: [
{
dataset: {
parameters: {
{customized property}: any(...)
}
referenceName: 'string'
type: 'string'
}
description: 'string'
flowlet: {
datasetParameters: any(...)
parameters: {
{customized property}: any(...)
}
referenceName: 'string'
type: 'string'
}
linkedService: {
parameters: {
{customized property}: any(...)
}
referenceName: 'string'
type: 'string'
}
name: 'string'
rejectedDataLinkedService: {
parameters: {
{customized property}: any(...)
}
referenceName: 'string'
type: 'string'
}
schemaLinkedService: {
parameters: {
{customized property}: any(...)
}
referenceName: 'string'
type: 'string'
}
}
]
sources: [
{
dataset: {
parameters: {
{customized property}: any(...)
}
referenceName: 'string'
type: 'string'
}
description: 'string'
flowlet: {
datasetParameters: any(...)
parameters: {
{customized property}: any(...)
}
referenceName: 'string'
type: 'string'
}
linkedService: {
parameters: {
{customized property}: any(...)
}
referenceName: 'string'
type: 'string'
}
name: 'string'
schemaLinkedService: {
parameters: {
{customized property}: any(...)
}
referenceName: 'string'
type: 'string'
}
}
]
transformations: [
{
dataset: {
parameters: {
{customized property}: any(...)
}
referenceName: 'string'
type: 'string'
}
description: 'string'
flowlet: {
datasetParameters: any(...)
parameters: {
{customized property}: any(...)
}
referenceName: 'string'
type: 'string'
}
linkedService: {
parameters: {
{customized property}: any(...)
}
referenceName: 'string'
type: 'string'
}
name: 'string'
}
]
}
}
Pour MappingDataFlow, utilisez :
{
type: 'MappingDataFlow'
typeProperties: {
script: 'string'
scriptLines: [
'string'
]
sinks: [
{
dataset: {
parameters: {
{customized property}: any(...)
}
referenceName: 'string'
type: 'string'
}
description: 'string'
flowlet: {
datasetParameters: any(...)
parameters: {
{customized property}: any(...)
}
referenceName: 'string'
type: 'string'
}
linkedService: {
parameters: {
{customized property}: any(...)
}
referenceName: 'string'
type: 'string'
}
name: 'string'
rejectedDataLinkedService: {
parameters: {
{customized property}: any(...)
}
referenceName: 'string'
type: 'string'
}
schemaLinkedService: {
parameters: {
{customized property}: any(...)
}
referenceName: 'string'
type: 'string'
}
}
]
sources: [
{
dataset: {
parameters: {
{customized property}: any(...)
}
referenceName: 'string'
type: 'string'
}
description: 'string'
flowlet: {
datasetParameters: any(...)
parameters: {
{customized property}: any(...)
}
referenceName: 'string'
type: 'string'
}
linkedService: {
parameters: {
{customized property}: any(...)
}
referenceName: 'string'
type: 'string'
}
name: 'string'
schemaLinkedService: {
parameters: {
{customized property}: any(...)
}
referenceName: 'string'
type: 'string'
}
}
]
transformations: [
{
dataset: {
parameters: {
{customized property}: any(...)
}
referenceName: 'string'
type: 'string'
}
description: 'string'
flowlet: {
datasetParameters: any(...)
parameters: {
{customized property}: any(...)
}
referenceName: 'string'
type: 'string'
}
linkedService: {
parameters: {
{customized property}: any(...)
}
referenceName: 'string'
type: 'string'
}
name: 'string'
}
]
}
}
Pour WranglingDataFlow, utilisez :
{
type: 'WranglingDataFlow'
typeProperties: {
documentLocale: 'string'
script: 'string'
sources: [
{
dataset: {
parameters: {
{customized property}: any(...)
}
referenceName: 'string'
type: 'string'
}
description: 'string'
flowlet: {
datasetParameters: any(...)
parameters: {
{customized property}: any(...)
}
referenceName: 'string'
type: 'string'
}
linkedService: {
parameters: {
{customized property}: any(...)
}
referenceName: 'string'
type: 'string'
}
name: 'string'
schemaLinkedService: {
parameters: {
{customized property}: any(...)
}
referenceName: 'string'
type: 'string'
}
script: 'string'
}
]
}
}
Valeurs de propriété
Microsoft.DataFactory/usines/flux de données
| Nom |
Descriptif |
Valeur |
| nom |
Nom de la ressource |
corde
Contraintes:
Longueur minimale = 1
Longueur maximale = 260
Modèle = ^[A-Za-z0-9_][^<>*#.%&:\\+?/]*$ (obligatoire) |
| parent |
Dans Bicep, vous pouvez spécifier la ressource parente d’une ressource enfant. Vous devez uniquement ajouter cette propriété lorsque la ressource enfant est déclarée en dehors de la ressource parente.
Pour plus d’informations, consultez ressource enfant en dehors de la ressource parente. |
Nom symbolique de la ressource de type : fabriques de |
| Propriétés |
Propriétés du flux de données. |
dataflow (obligatoire) |
Flux de données
| Nom |
Descriptif |
Valeur |
| Annotations |
Liste des balises qui peuvent être utilisées pour décrire le flux de données. |
n’importe lequel[] |
| descriptif |
Description du flux de données. |
corde |
| dossier |
Dossier dans lequel se trouve ce flux de données. S’il n’est pas spécifié, le flux de données apparaît au niveau racine. |
DataFlowFolder |
| type |
Défini sur « Flowlet » pour le type Flowlet. Défini sur « MappingDataFlow » pour le type MappingDataFlow. Défini sur « WranglingDataFlow » pour le type WranglingDataFlow. |
'Flowlet'
'MappingDataFlow'
'WranglingDataFlow' (obligatoire) |
DataFlowFolder
| Nom |
Descriptif |
Valeur |
| nom |
Nom du dossier dans lequel se trouve ce flux de données. |
corde |
Référence DataFlowReference
| Nom |
Descriptif |
Valeur |
| datasetParamètres |
Référencer les paramètres de flux de données à partir du jeu de données. |
quelconque |
| Paramètres |
Paramètres de flux de données |
ParamètresDeRéférenceDeFlux de Données |
| referenceName |
Nom du flux de données de référence. |
chaîne (obligatoire) |
| type |
Type de référence de flux de données. |
'DataFlowReference' (obligatoire) |
ParamètresDeRéférenceDeFlux de Données
DataFlowSink (en anglais)
| Nom |
Descriptif |
Valeur |
| jeu de données |
Informations de référence sur le jeu de données. |
datasetReference |
| descriptif |
Description de la transformation. |
corde |
| Flowlet |
Informations de référence sur flowlet |
DataFlowReference |
| linkedService |
Informations de référence sur le service lié. |
LinkedServiceReference |
| nom |
Nom de la transformation. |
chaîne (obligatoire) |
| rejectedDataLinkedService |
Informations de référence sur le service lié aux données rejetées. |
LinkedServiceReference |
| schémaLinkedService |
Informations de référence sur le service lié au schéma. |
LinkedServiceReference |
DataFlowSource
| Nom |
Descriptif |
Valeur |
| jeu de données |
Informations de référence sur le jeu de données. |
datasetReference |
| descriptif |
Description de la transformation. |
corde |
| Flowlet |
Informations de référence sur flowlet |
DataFlowReference |
| linkedService |
Informations de référence sur le service lié. |
LinkedServiceReference |
| nom |
Nom de la transformation. |
chaîne (obligatoire) |
| schémaLinkedService |
Informations de référence sur le service lié au schéma. |
LinkedServiceReference |
DatasetReference
| Nom |
Descriptif |
Valeur |
| Paramètres |
Arguments pour le jeu de données. |
Paramètres de référenceEnsemble de données |
| referenceName |
Nom du jeu de données de référence. |
chaîne (obligatoire) |
| type |
Type de référence de jeu de données. |
'DatasetReference' (obligatoire) |
Paramètres de référenceEnsemble de données
Flowlet
| Nom |
Descriptif |
Valeur |
| type |
Type de flux de données. |
'Flowlet' (obligatoire) |
| propriétés de type |
Propriétés de type Flowlet. |
FlowletTypeProperties |
FlowletTypeProperties
| Nom |
Descriptif |
Valeur |
| scénario |
Script Flowlet. |
corde |
| scriptLines |
Lignes de script Flowlet. |
chaîne de caractères[] |
| Éviers |
Liste des récepteurs dans Flowlet. |
DataFlowSink[] |
| Sources |
Liste des sources dans Flowlet. |
dataFlowSource[] |
| Transformations |
Liste des transformations dans Flowlet. |
transformation[] |
LinkedServiceReference
| Nom |
Descriptif |
Valeur |
| Paramètres |
Arguments pour LinkedService. |
LinkedServiceReferenceParameters |
| referenceName |
Référencer le nom linkedService. |
chaîne (obligatoire) |
| type |
Type de référence de service lié. |
'LinkedServiceReference' (obligatoire) |
LinkedServiceReferenceParameters
MappageDataFlow
| Nom |
Descriptif |
Valeur |
| type |
Type de flux de données. |
'MappingDataFlow' (obligatoire) |
| propriétés de type |
Propriétés de type de flux de données de mappage. |
MappageDataFlowTypeProperties |
MappageDataFlowTypeProperties
| Nom |
Descriptif |
Valeur |
| scénario |
Script DataFlow. |
corde |
| scriptLines |
Lignes de script de flux de données. |
chaîne de caractères[] |
| Éviers |
Liste des récepteurs dans le flux de données. |
DataFlowSink[] |
| Sources |
Liste des sources dans le flux de données. |
dataFlowSource[] |
| Transformations |
Liste des transformations dans le flux de données. |
transformation[] |
PowerQuerySource
| Nom |
Descriptif |
Valeur |
| jeu de données |
Informations de référence sur le jeu de données. |
datasetReference |
| descriptif |
Description de la transformation. |
corde |
| Flowlet |
Informations de référence sur flowlet |
DataFlowReference |
| linkedService |
Informations de référence sur le service lié. |
LinkedServiceReference |
| nom |
Nom de la transformation. |
chaîne (obligatoire) |
| schémaLinkedService |
Informations de référence sur le service lié au schéma. |
LinkedServiceReference |
| scénario |
script source. |
corde |
PowerQueryTypeProperties
| Nom |
Descriptif |
Valeur |
| documentLocale |
Paramètres régionaux du document mashup Power Query. |
corde |
| scénario |
Script mashup Power Query. |
corde |
| Sources |
Liste des sources dans Power Query. |
PowerQuerySource[] |
| Nom |
Descriptif |
Valeur |
| jeu de données |
Informations de référence sur le jeu de données. |
datasetReference |
| descriptif |
Description de la transformation. |
corde |
| Flowlet |
Informations de référence sur flowlet |
DataFlowReference |
| linkedService |
Informations de référence sur le service lié. |
LinkedServiceReference |
| nom |
Nom de la transformation. |
chaîne (obligatoire) |
WranglingDataFlow
| Nom |
Descriptif |
Valeur |
| type |
Type de flux de données. |
'WranglingDataFlow' (obligatoire) |
| propriétés de type |
Propriétés de type de flux de données PowerQuery. |
PowerQueryTypeProperties |
Exemples d’utilisation
Exemples Bicep
Exemple de base de déploiement de Data Flow au sein d’Azure Data Factory.
param resourceName string = 'acctest0001'
param location string = 'westeurope'
resource factory 'Microsoft.DataFactory/factories@2018-06-01' = {
name: resourceName
location: location
properties: {
publicNetworkAccess: 'Enabled'
repoConfiguration: null
}
}
resource storageAccount 'Microsoft.Storage/storageAccounts@2021-09-01' = {
name: resourceName
location: location
kind: 'StorageV2'
properties: {
accessTier: 'Hot'
allowBlobPublicAccess: true
allowCrossTenantReplication: true
allowSharedKeyAccess: true
defaultToOAuthAuthentication: false
encryption: {
keySource: 'Microsoft.Storage'
services: {
queue: {
keyType: 'Service'
}
table: {
keyType: 'Service'
}
}
}
isHnsEnabled: false
isNfsV3Enabled: false
isSftpEnabled: false
minimumTlsVersion: 'TLS1_2'
networkAcls: {
defaultAction: 'Allow'
}
publicNetworkAccess: 'Enabled'
supportsHttpsTrafficOnly: true
}
sku: {
name: 'Standard_LRS'
}
}
resource dataflow 'Microsoft.DataFactory/factories/dataflows@2018-06-01' = {
parent: factory
name: resourceName
properties: {
description: ''
type: 'Flowlet'
typeProperties: {
script: '''source(
allowSchemaDrift: true,
validateSchema: false,
limit: 100,
ignoreNoFilesFound: false,
documentForm: ''documentPerLine'') ~> source1
source1 sink(
allowSchemaDrift: true,
validateSchema: false,
skipDuplicateMapInputs: true,
skipDuplicateMapOutputs: true) ~> sink1
'''
sinks: [
{
description: ''
linkedService: {
parameters: {}
referenceName: linkedservice.name
type: 'LinkedServiceReference'
}
name: 'sink1'
}
]
sources: [
{
description: ''
linkedService: {
parameters: {}
referenceName: linkedservice.name
type: 'LinkedServiceReference'
}
name: 'source1'
}
]
}
}
}
resource linkedservice 'Microsoft.DataFactory/factories/linkedservices@2018-06-01' = {
parent: factory
name: resourceName
properties: {
description: ''
type: 'AzureBlobStorage'
typeProperties: {
serviceEndpoint: storageAccount.properties.primaryEndpoints.blob
}
}
}
Définition de ressource de modèle ARM
Le type de ressource fabriques/dataflows peut être déployé avec des opérations qui ciblent :
Pour obtenir la liste des propriétés modifiées dans chaque version de l’API, consultez journal des modifications.
Pour créer une ressource Microsoft.DataFactory/factories/dataflows, ajoutez le code JSON suivant à votre modèle.
{
"type": "Microsoft.DataFactory/factories/dataflows",
"apiVersion": "2018-06-01",
"name": "string",
"properties": {
"annotations": [ {} ],
"description": "string",
"folder": {
"name": "string"
},
"type": "string"
// For remaining properties, see DataFlow objects
}
}
Objets DataFlow
Définissez le type propriété pour spécifier le type d’objet.
Pour Flowlet, utilisez :
{
"type": "Flowlet",
"typeProperties": {
"script": "string",
"scriptLines": [ "string" ],
"sinks": [
{
"dataset": {
"parameters": {
"{customized property}": {}
},
"referenceName": "string",
"type": "string"
},
"description": "string",
"flowlet": {
"datasetParameters": {},
"parameters": {
"{customized property}": {}
},
"referenceName": "string",
"type": "string"
},
"linkedService": {
"parameters": {
"{customized property}": {}
},
"referenceName": "string",
"type": "string"
},
"name": "string",
"rejectedDataLinkedService": {
"parameters": {
"{customized property}": {}
},
"referenceName": "string",
"type": "string"
},
"schemaLinkedService": {
"parameters": {
"{customized property}": {}
},
"referenceName": "string",
"type": "string"
}
}
],
"sources": [
{
"dataset": {
"parameters": {
"{customized property}": {}
},
"referenceName": "string",
"type": "string"
},
"description": "string",
"flowlet": {
"datasetParameters": {},
"parameters": {
"{customized property}": {}
},
"referenceName": "string",
"type": "string"
},
"linkedService": {
"parameters": {
"{customized property}": {}
},
"referenceName": "string",
"type": "string"
},
"name": "string",
"schemaLinkedService": {
"parameters": {
"{customized property}": {}
},
"referenceName": "string",
"type": "string"
}
}
],
"transformations": [
{
"dataset": {
"parameters": {
"{customized property}": {}
},
"referenceName": "string",
"type": "string"
},
"description": "string",
"flowlet": {
"datasetParameters": {},
"parameters": {
"{customized property}": {}
},
"referenceName": "string",
"type": "string"
},
"linkedService": {
"parameters": {
"{customized property}": {}
},
"referenceName": "string",
"type": "string"
},
"name": "string"
}
]
}
}
Pour MappingDataFlow, utilisez :
{
"type": "MappingDataFlow",
"typeProperties": {
"script": "string",
"scriptLines": [ "string" ],
"sinks": [
{
"dataset": {
"parameters": {
"{customized property}": {}
},
"referenceName": "string",
"type": "string"
},
"description": "string",
"flowlet": {
"datasetParameters": {},
"parameters": {
"{customized property}": {}
},
"referenceName": "string",
"type": "string"
},
"linkedService": {
"parameters": {
"{customized property}": {}
},
"referenceName": "string",
"type": "string"
},
"name": "string",
"rejectedDataLinkedService": {
"parameters": {
"{customized property}": {}
},
"referenceName": "string",
"type": "string"
},
"schemaLinkedService": {
"parameters": {
"{customized property}": {}
},
"referenceName": "string",
"type": "string"
}
}
],
"sources": [
{
"dataset": {
"parameters": {
"{customized property}": {}
},
"referenceName": "string",
"type": "string"
},
"description": "string",
"flowlet": {
"datasetParameters": {},
"parameters": {
"{customized property}": {}
},
"referenceName": "string",
"type": "string"
},
"linkedService": {
"parameters": {
"{customized property}": {}
},
"referenceName": "string",
"type": "string"
},
"name": "string",
"schemaLinkedService": {
"parameters": {
"{customized property}": {}
},
"referenceName": "string",
"type": "string"
}
}
],
"transformations": [
{
"dataset": {
"parameters": {
"{customized property}": {}
},
"referenceName": "string",
"type": "string"
},
"description": "string",
"flowlet": {
"datasetParameters": {},
"parameters": {
"{customized property}": {}
},
"referenceName": "string",
"type": "string"
},
"linkedService": {
"parameters": {
"{customized property}": {}
},
"referenceName": "string",
"type": "string"
},
"name": "string"
}
]
}
}
Pour WranglingDataFlow, utilisez :
{
"type": "WranglingDataFlow",
"typeProperties": {
"documentLocale": "string",
"script": "string",
"sources": [
{
"dataset": {
"parameters": {
"{customized property}": {}
},
"referenceName": "string",
"type": "string"
},
"description": "string",
"flowlet": {
"datasetParameters": {},
"parameters": {
"{customized property}": {}
},
"referenceName": "string",
"type": "string"
},
"linkedService": {
"parameters": {
"{customized property}": {}
},
"referenceName": "string",
"type": "string"
},
"name": "string",
"schemaLinkedService": {
"parameters": {
"{customized property}": {}
},
"referenceName": "string",
"type": "string"
},
"script": "string"
}
]
}
}
Valeurs de propriété
Microsoft.DataFactory/usines/flux de données
| Nom |
Descriptif |
Valeur |
| apiVersion |
Version de l’API |
'2018-06-01' |
| nom |
Nom de la ressource |
corde
Contraintes:
Longueur minimale = 1
Longueur maximale = 260
Modèle = ^[A-Za-z0-9_][^<>*#.%&:\\+?/]*$ (obligatoire) |
| Propriétés |
Propriétés du flux de données. |
dataflow (obligatoire) |
| type |
Type de ressource |
'Microsoft.DataFactory/factories/dataflows' |
Flux de données
| Nom |
Descriptif |
Valeur |
| Annotations |
Liste des balises qui peuvent être utilisées pour décrire le flux de données. |
n’importe lequel[] |
| descriptif |
Description du flux de données. |
corde |
| dossier |
Dossier dans lequel se trouve ce flux de données. S’il n’est pas spécifié, le flux de données apparaît au niveau racine. |
DataFlowFolder |
| type |
Défini sur « Flowlet » pour le type Flowlet. Défini sur « MappingDataFlow » pour le type MappingDataFlow. Défini sur « WranglingDataFlow » pour le type WranglingDataFlow. |
'Flowlet'
'MappingDataFlow'
'WranglingDataFlow' (obligatoire) |
DataFlowFolder
| Nom |
Descriptif |
Valeur |
| nom |
Nom du dossier dans lequel se trouve ce flux de données. |
corde |
Référence DataFlowReference
| Nom |
Descriptif |
Valeur |
| datasetParamètres |
Référencer les paramètres de flux de données à partir du jeu de données. |
quelconque |
| Paramètres |
Paramètres de flux de données |
ParamètresDeRéférenceDeFlux de Données |
| referenceName |
Nom du flux de données de référence. |
chaîne (obligatoire) |
| type |
Type de référence de flux de données. |
'DataFlowReference' (obligatoire) |
ParamètresDeRéférenceDeFlux de Données
DataFlowSink (en anglais)
| Nom |
Descriptif |
Valeur |
| jeu de données |
Informations de référence sur le jeu de données. |
datasetReference |
| descriptif |
Description de la transformation. |
corde |
| Flowlet |
Informations de référence sur flowlet |
DataFlowReference |
| linkedService |
Informations de référence sur le service lié. |
LinkedServiceReference |
| nom |
Nom de la transformation. |
chaîne (obligatoire) |
| rejectedDataLinkedService |
Informations de référence sur le service lié aux données rejetées. |
LinkedServiceReference |
| schémaLinkedService |
Informations de référence sur le service lié au schéma. |
LinkedServiceReference |
DataFlowSource
| Nom |
Descriptif |
Valeur |
| jeu de données |
Informations de référence sur le jeu de données. |
datasetReference |
| descriptif |
Description de la transformation. |
corde |
| Flowlet |
Informations de référence sur flowlet |
DataFlowReference |
| linkedService |
Informations de référence sur le service lié. |
LinkedServiceReference |
| nom |
Nom de la transformation. |
chaîne (obligatoire) |
| schémaLinkedService |
Informations de référence sur le service lié au schéma. |
LinkedServiceReference |
DatasetReference
| Nom |
Descriptif |
Valeur |
| Paramètres |
Arguments pour le jeu de données. |
Paramètres de référenceEnsemble de données |
| referenceName |
Nom du jeu de données de référence. |
chaîne (obligatoire) |
| type |
Type de référence de jeu de données. |
'DatasetReference' (obligatoire) |
Paramètres de référenceEnsemble de données
Flowlet
| Nom |
Descriptif |
Valeur |
| type |
Type de flux de données. |
'Flowlet' (obligatoire) |
| propriétés de type |
Propriétés de type Flowlet. |
FlowletTypeProperties |
FlowletTypeProperties
| Nom |
Descriptif |
Valeur |
| scénario |
Script Flowlet. |
corde |
| scriptLines |
Lignes de script Flowlet. |
chaîne de caractères[] |
| Éviers |
Liste des récepteurs dans Flowlet. |
DataFlowSink[] |
| Sources |
Liste des sources dans Flowlet. |
dataFlowSource[] |
| Transformations |
Liste des transformations dans Flowlet. |
transformation[] |
LinkedServiceReference
| Nom |
Descriptif |
Valeur |
| Paramètres |
Arguments pour LinkedService. |
LinkedServiceReferenceParameters |
| referenceName |
Référencer le nom linkedService. |
chaîne (obligatoire) |
| type |
Type de référence de service lié. |
'LinkedServiceReference' (obligatoire) |
LinkedServiceReferenceParameters
MappageDataFlow
| Nom |
Descriptif |
Valeur |
| type |
Type de flux de données. |
'MappingDataFlow' (obligatoire) |
| propriétés de type |
Propriétés de type de flux de données de mappage. |
MappageDataFlowTypeProperties |
MappageDataFlowTypeProperties
| Nom |
Descriptif |
Valeur |
| scénario |
Script DataFlow. |
corde |
| scriptLines |
Lignes de script de flux de données. |
chaîne de caractères[] |
| Éviers |
Liste des récepteurs dans le flux de données. |
DataFlowSink[] |
| Sources |
Liste des sources dans le flux de données. |
dataFlowSource[] |
| Transformations |
Liste des transformations dans le flux de données. |
transformation[] |
PowerQuerySource
| Nom |
Descriptif |
Valeur |
| jeu de données |
Informations de référence sur le jeu de données. |
datasetReference |
| descriptif |
Description de la transformation. |
corde |
| Flowlet |
Informations de référence sur flowlet |
DataFlowReference |
| linkedService |
Informations de référence sur le service lié. |
LinkedServiceReference |
| nom |
Nom de la transformation. |
chaîne (obligatoire) |
| schémaLinkedService |
Informations de référence sur le service lié au schéma. |
LinkedServiceReference |
| scénario |
script source. |
corde |
PowerQueryTypeProperties
| Nom |
Descriptif |
Valeur |
| documentLocale |
Paramètres régionaux du document mashup Power Query. |
corde |
| scénario |
Script mashup Power Query. |
corde |
| Sources |
Liste des sources dans Power Query. |
PowerQuerySource[] |
| Nom |
Descriptif |
Valeur |
| jeu de données |
Informations de référence sur le jeu de données. |
datasetReference |
| descriptif |
Description de la transformation. |
corde |
| Flowlet |
Informations de référence sur flowlet |
DataFlowReference |
| linkedService |
Informations de référence sur le service lié. |
LinkedServiceReference |
| nom |
Nom de la transformation. |
chaîne (obligatoire) |
WranglingDataFlow
| Nom |
Descriptif |
Valeur |
| type |
Type de flux de données. |
'WranglingDataFlow' (obligatoire) |
| propriétés de type |
Propriétés de type de flux de données PowerQuery. |
PowerQueryTypeProperties |
Exemples d’utilisation
Le type de ressource fabriques/dataflows peut être déployé avec des opérations qui ciblent :
Pour obtenir la liste des propriétés modifiées dans chaque version de l’API, consultez journal des modifications.
Pour créer une ressource Microsoft.DataFactory/factories/dataflows, ajoutez le terraform suivant à votre modèle.
resource "azapi_resource" "symbolicname" {
type = "Microsoft.DataFactory/factories/dataflows@2018-06-01"
name = "string"
parent_id = "string"
body = {
properties = {
annotations = [
?
]
description = "string"
folder = {
name = "string"
}
type = "string"
// For remaining properties, see DataFlow objects
}
}
}
Objets DataFlow
Définissez le type propriété pour spécifier le type d’objet.
Pour Flowlet, utilisez :
{
type = "Flowlet"
typeProperties = {
script = "string"
scriptLines = [
"string"
]
sinks = [
{
dataset = {
parameters = {
{customized property} = ?
}
referenceName = "string"
type = "string"
}
description = "string"
flowlet = {
datasetParameters = ?
parameters = {
{customized property} = ?
}
referenceName = "string"
type = "string"
}
linkedService = {
parameters = {
{customized property} = ?
}
referenceName = "string"
type = "string"
}
name = "string"
rejectedDataLinkedService = {
parameters = {
{customized property} = ?
}
referenceName = "string"
type = "string"
}
schemaLinkedService = {
parameters = {
{customized property} = ?
}
referenceName = "string"
type = "string"
}
}
]
sources = [
{
dataset = {
parameters = {
{customized property} = ?
}
referenceName = "string"
type = "string"
}
description = "string"
flowlet = {
datasetParameters = ?
parameters = {
{customized property} = ?
}
referenceName = "string"
type = "string"
}
linkedService = {
parameters = {
{customized property} = ?
}
referenceName = "string"
type = "string"
}
name = "string"
schemaLinkedService = {
parameters = {
{customized property} = ?
}
referenceName = "string"
type = "string"
}
}
]
transformations = [
{
dataset = {
parameters = {
{customized property} = ?
}
referenceName = "string"
type = "string"
}
description = "string"
flowlet = {
datasetParameters = ?
parameters = {
{customized property} = ?
}
referenceName = "string"
type = "string"
}
linkedService = {
parameters = {
{customized property} = ?
}
referenceName = "string"
type = "string"
}
name = "string"
}
]
}
}
Pour MappingDataFlow, utilisez :
{
type = "MappingDataFlow"
typeProperties = {
script = "string"
scriptLines = [
"string"
]
sinks = [
{
dataset = {
parameters = {
{customized property} = ?
}
referenceName = "string"
type = "string"
}
description = "string"
flowlet = {
datasetParameters = ?
parameters = {
{customized property} = ?
}
referenceName = "string"
type = "string"
}
linkedService = {
parameters = {
{customized property} = ?
}
referenceName = "string"
type = "string"
}
name = "string"
rejectedDataLinkedService = {
parameters = {
{customized property} = ?
}
referenceName = "string"
type = "string"
}
schemaLinkedService = {
parameters = {
{customized property} = ?
}
referenceName = "string"
type = "string"
}
}
]
sources = [
{
dataset = {
parameters = {
{customized property} = ?
}
referenceName = "string"
type = "string"
}
description = "string"
flowlet = {
datasetParameters = ?
parameters = {
{customized property} = ?
}
referenceName = "string"
type = "string"
}
linkedService = {
parameters = {
{customized property} = ?
}
referenceName = "string"
type = "string"
}
name = "string"
schemaLinkedService = {
parameters = {
{customized property} = ?
}
referenceName = "string"
type = "string"
}
}
]
transformations = [
{
dataset = {
parameters = {
{customized property} = ?
}
referenceName = "string"
type = "string"
}
description = "string"
flowlet = {
datasetParameters = ?
parameters = {
{customized property} = ?
}
referenceName = "string"
type = "string"
}
linkedService = {
parameters = {
{customized property} = ?
}
referenceName = "string"
type = "string"
}
name = "string"
}
]
}
}
Pour WranglingDataFlow, utilisez :
{
type = "WranglingDataFlow"
typeProperties = {
documentLocale = "string"
script = "string"
sources = [
{
dataset = {
parameters = {
{customized property} = ?
}
referenceName = "string"
type = "string"
}
description = "string"
flowlet = {
datasetParameters = ?
parameters = {
{customized property} = ?
}
referenceName = "string"
type = "string"
}
linkedService = {
parameters = {
{customized property} = ?
}
referenceName = "string"
type = "string"
}
name = "string"
schemaLinkedService = {
parameters = {
{customized property} = ?
}
referenceName = "string"
type = "string"
}
script = "string"
}
]
}
}
Valeurs de propriété
Microsoft.DataFactory/usines/flux de données
| Nom |
Descriptif |
Valeur |
| nom |
Nom de la ressource |
corde
Contraintes:
Longueur minimale = 1
Longueur maximale = 260
Modèle = ^[A-Za-z0-9_][^<>*#.%&:\\+?/]*$ (obligatoire) |
| parent_id |
ID de la ressource qui est le parent de cette ressource. |
ID de ressource de type : fabriques de |
| Propriétés |
Propriétés du flux de données. |
dataflow (obligatoire) |
| type |
Type de ressource |
« Microsoft.DataFactory/factories/dataflows@2018-06-01 » |
Flux de données
| Nom |
Descriptif |
Valeur |
| Annotations |
Liste des balises qui peuvent être utilisées pour décrire le flux de données. |
n’importe lequel[] |
| descriptif |
Description du flux de données. |
corde |
| dossier |
Dossier dans lequel se trouve ce flux de données. S’il n’est pas spécifié, le flux de données apparaît au niveau racine. |
DataFlowFolder |
| type |
Défini sur « Flowlet » pour le type Flowlet. Défini sur « MappingDataFlow » pour le type MappingDataFlow. Défini sur « WranglingDataFlow » pour le type WranglingDataFlow. |
'Flowlet'
'MappingDataFlow'
'WranglingDataFlow' (obligatoire) |
DataFlowFolder
| Nom |
Descriptif |
Valeur |
| nom |
Nom du dossier dans lequel se trouve ce flux de données. |
corde |
Référence DataFlowReference
| Nom |
Descriptif |
Valeur |
| datasetParamètres |
Référencer les paramètres de flux de données à partir du jeu de données. |
quelconque |
| Paramètres |
Paramètres de flux de données |
ParamètresDeRéférenceDeFlux de Données |
| referenceName |
Nom du flux de données de référence. |
chaîne (obligatoire) |
| type |
Type de référence de flux de données. |
'DataFlowReference' (obligatoire) |
ParamètresDeRéférenceDeFlux de Données
DataFlowSink (en anglais)
| Nom |
Descriptif |
Valeur |
| jeu de données |
Informations de référence sur le jeu de données. |
datasetReference |
| descriptif |
Description de la transformation. |
corde |
| Flowlet |
Informations de référence sur flowlet |
DataFlowReference |
| linkedService |
Informations de référence sur le service lié. |
LinkedServiceReference |
| nom |
Nom de la transformation. |
chaîne (obligatoire) |
| rejectedDataLinkedService |
Informations de référence sur le service lié aux données rejetées. |
LinkedServiceReference |
| schémaLinkedService |
Informations de référence sur le service lié au schéma. |
LinkedServiceReference |
DataFlowSource
| Nom |
Descriptif |
Valeur |
| jeu de données |
Informations de référence sur le jeu de données. |
datasetReference |
| descriptif |
Description de la transformation. |
corde |
| Flowlet |
Informations de référence sur flowlet |
DataFlowReference |
| linkedService |
Informations de référence sur le service lié. |
LinkedServiceReference |
| nom |
Nom de la transformation. |
chaîne (obligatoire) |
| schémaLinkedService |
Informations de référence sur le service lié au schéma. |
LinkedServiceReference |
DatasetReference
| Nom |
Descriptif |
Valeur |
| Paramètres |
Arguments pour le jeu de données. |
Paramètres de référenceEnsemble de données |
| referenceName |
Nom du jeu de données de référence. |
chaîne (obligatoire) |
| type |
Type de référence de jeu de données. |
'DatasetReference' (obligatoire) |
Paramètres de référenceEnsemble de données
Flowlet
| Nom |
Descriptif |
Valeur |
| type |
Type de flux de données. |
'Flowlet' (obligatoire) |
| propriétés de type |
Propriétés de type Flowlet. |
FlowletTypeProperties |
FlowletTypeProperties
| Nom |
Descriptif |
Valeur |
| scénario |
Script Flowlet. |
corde |
| scriptLines |
Lignes de script Flowlet. |
chaîne de caractères[] |
| Éviers |
Liste des récepteurs dans Flowlet. |
DataFlowSink[] |
| Sources |
Liste des sources dans Flowlet. |
dataFlowSource[] |
| Transformations |
Liste des transformations dans Flowlet. |
transformation[] |
LinkedServiceReference
| Nom |
Descriptif |
Valeur |
| Paramètres |
Arguments pour LinkedService. |
LinkedServiceReferenceParameters |
| referenceName |
Référencer le nom linkedService. |
chaîne (obligatoire) |
| type |
Type de référence de service lié. |
'LinkedServiceReference' (obligatoire) |
LinkedServiceReferenceParameters
MappageDataFlow
| Nom |
Descriptif |
Valeur |
| type |
Type de flux de données. |
'MappingDataFlow' (obligatoire) |
| propriétés de type |
Propriétés de type de flux de données de mappage. |
MappageDataFlowTypeProperties |
MappageDataFlowTypeProperties
| Nom |
Descriptif |
Valeur |
| scénario |
Script DataFlow. |
corde |
| scriptLines |
Lignes de script de flux de données. |
chaîne de caractères[] |
| Éviers |
Liste des récepteurs dans le flux de données. |
DataFlowSink[] |
| Sources |
Liste des sources dans le flux de données. |
dataFlowSource[] |
| Transformations |
Liste des transformations dans le flux de données. |
transformation[] |
PowerQuerySource
| Nom |
Descriptif |
Valeur |
| jeu de données |
Informations de référence sur le jeu de données. |
datasetReference |
| descriptif |
Description de la transformation. |
corde |
| Flowlet |
Informations de référence sur flowlet |
DataFlowReference |
| linkedService |
Informations de référence sur le service lié. |
LinkedServiceReference |
| nom |
Nom de la transformation. |
chaîne (obligatoire) |
| schémaLinkedService |
Informations de référence sur le service lié au schéma. |
LinkedServiceReference |
| scénario |
script source. |
corde |
PowerQueryTypeProperties
| Nom |
Descriptif |
Valeur |
| documentLocale |
Paramètres régionaux du document mashup Power Query. |
corde |
| scénario |
Script mashup Power Query. |
corde |
| Sources |
Liste des sources dans Power Query. |
PowerQuerySource[] |
| Nom |
Descriptif |
Valeur |
| jeu de données |
Informations de référence sur le jeu de données. |
datasetReference |
| descriptif |
Description de la transformation. |
corde |
| Flowlet |
Informations de référence sur flowlet |
DataFlowReference |
| linkedService |
Informations de référence sur le service lié. |
LinkedServiceReference |
| nom |
Nom de la transformation. |
chaîne (obligatoire) |
WranglingDataFlow
| Nom |
Descriptif |
Valeur |
| type |
Type de flux de données. |
'WranglingDataFlow' (obligatoire) |
| propriétés de type |
Propriétés de type de flux de données PowerQuery. |
PowerQueryTypeProperties |
Exemples d’utilisation
Exemple de base de déploiement de Data Flow au sein d’Azure Data Factory.
terraform {
required_providers {
azapi = {
source = "Azure/azapi"
}
}
}
provider "azapi" {
skip_provider_registration = false
}
variable "resource_name" {
type = string
default = "acctest0001"
}
variable "location" {
type = string
default = "westeurope"
}
resource "azapi_resource" "resourceGroup" {
type = "Microsoft.Resources/resourceGroups@2020-06-01"
name = var.resource_name
location = var.location
}
resource "azapi_resource" "factory" {
type = "Microsoft.DataFactory/factories@2018-06-01"
parent_id = azapi_resource.resourceGroup.id
name = var.resource_name
location = var.location
body = {
properties = {
publicNetworkAccess = "Enabled"
repoConfiguration = null
}
}
schema_validation_enabled = false
response_export_values = ["*"]
}
resource "azapi_resource" "storageAccount" {
type = "Microsoft.Storage/storageAccounts@2021-09-01"
parent_id = azapi_resource.resourceGroup.id
name = var.resource_name
location = var.location
body = {
kind = "StorageV2"
properties = {
accessTier = "Hot"
allowBlobPublicAccess = true
allowCrossTenantReplication = true
allowSharedKeyAccess = true
defaultToOAuthAuthentication = false
encryption = {
keySource = "Microsoft.Storage"
services = {
queue = {
keyType = "Service"
}
table = {
keyType = "Service"
}
}
}
isHnsEnabled = false
isNfsV3Enabled = false
isSftpEnabled = false
minimumTlsVersion = "TLS1_2"
networkAcls = {
defaultAction = "Allow"
}
publicNetworkAccess = "Enabled"
supportsHttpsTrafficOnly = true
}
sku = {
name = "Standard_LRS"
}
}
schema_validation_enabled = false
response_export_values = ["*"]
}
resource "azapi_resource" "linkedservice" {
type = "Microsoft.DataFactory/factories/linkedservices@2018-06-01"
parent_id = azapi_resource.factory.id
name = var.resource_name
body = {
properties = {
description = ""
type = "AzureBlobStorage"
typeProperties = {
serviceEndpoint = azapi_resource.storageAccount.output.properties.primaryEndpoints.blob
}
}
}
schema_validation_enabled = false
response_export_values = ["*"]
}
resource "azapi_resource" "dataflow" {
type = "Microsoft.DataFactory/factories/dataflows@2018-06-01"
parent_id = azapi_resource.factory.id
name = var.resource_name
body = {
properties = {
description = ""
type = "Flowlet"
typeProperties = {
script = "source(\n allowSchemaDrift: true, \n validateSchema: false, \n limit: 100, \n ignoreNoFilesFound: false, \n documentForm: 'documentPerLine') ~> source1 \nsource1 sink(\n allowSchemaDrift: true, \n validateSchema: false, \n skipDuplicateMapInputs: true, \n skipDuplicateMapOutputs: true) ~> sink1\n"
sinks = [
{
description = ""
linkedService = {
parameters = {
}
referenceName = azapi_resource.linkedservice.name
type = "LinkedServiceReference"
}
name = "sink1"
},
]
sources = [
{
description = ""
linkedService = {
parameters = {
}
referenceName = azapi_resource.linkedservice.name
type = "LinkedServiceReference"
}
name = "source1"
},
]
}
}
}
schema_validation_enabled = false
response_export_values = ["*"]
}