Kör ett SSIS-paket med aktiviteten Execute SSIS Package (Kör SSIS-paket) i Azure Data Factory med PowerShell

  • Artikel

GÄLLER FÖR: Azure Data Factory Azure Synapse Analytics

Dricks

Prova Data Factory i Microsoft Fabric, en allt-i-ett-analyslösning för företag. Microsoft Fabric omfattar allt från dataflytt till datavetenskap, realtidsanalys, business intelligence och rapportering. Lär dig hur du startar en ny utvärderingsversion kostnadsfritt!

Den här artikeln beskriver hur du kör ett SQL Server Integration Services-paket (SSIS) i en Azure Data Factory-pipeline med hjälp av PowerShell och aktiviteten Execute SSIS Package (Kör SSIS-paket).

Förutsättningar

Kommentar

Vi rekommenderar att du använder Azure Az PowerShell-modulen för att interagera med Azure. Se Installera Azure PowerShell för att komma igång. Information om hur du migrerar till Az PowerShell-modulen finns i artikeln om att migrera Azure PowerShell från AzureRM till Az.

Skapa en Azure-SSIS-integreringskörning (IR) om du inte redan har en genom att följa de stegvisa anvisningarna i Självstudie: Etablera Azure-SSIS IR.

Skapa en datafabrik med Azure-SSIS IR

Du kan antingen använda en befintlig datafabrik som redan har Azure-SSIS IR etablerad eller skapa en ny datafabrik med Azure-SSIS IR. Följ de stegvisa anvisningarna i Självstudie: Distribuera SSIS-paket till Azure via PowerShell.

Skapa en pipeline med aktiviteten Execute SSIS Package (Kör SSIS-paket)

I det här steget skapar du en pipeline med aktiviteten Execute SSIS Package (Kör SSIS-paket). Aktiviteten kör ditt SSIS-paket.

  1. Skapa en JSON-fil med namnet RunSSISPackagePipeline.json i C:\ADF\RunSSISPackage mappen med innehåll som liknar följande exempel.

    Viktigt!

    Ersätt objektnamn, beskrivningar och sökvägar, egenskaps- eller parametervärden, lösenord och andra variabelvärden innan du sparar filen.

    {
    "name": "RunSSISPackagePipeline",
    "properties": {
        "activities": [{
            "name": "MySSISActivity",
            "description": "My SSIS package/activity description",
            "type": "ExecuteSSISPackage",
            "typeProperties": {
                "connectVia": {
                    "referenceName": "MyAzureSSISIR",
                    "type": "IntegrationRuntimeReference"
                },
                "executionCredential": {
                    "domain": "MyExecutionDomain",
                    "username": "MyExecutionUsername",
                    "password": {
                        "type": "SecureString",
                        "value": "MyExecutionPassword"
                    }
                },
                "runtime": "x64",
                "loggingLevel": "Basic",
                "packageLocation": {
                    "type": "SSISDB",
                    "packagePath": "MyFolder/MyProject/MyPackage.dtsx"
                },
                "environmentPath": "MyFolder/MyEnvironment",
                "projectParameters": {
                    "project_param_1": {
                        "value": "123"
                    },
                    "project_param_2": {
                        "value": {
                            "value": "@pipeline().parameters.MyProjectParameter",
                            "type": "Expression"
                        }
                    }
                },
                "packageParameters": {
                    "package_param_1": {
                        "value": "345"
                    },
                    "package_param_2": {
                        "value": {
                            "type": "AzureKeyVaultSecret",
                            "store": {
                                "referenceName": "myAKV",
                                "type": "LinkedServiceReference"
                            },
                            "secretName": "MyPackageParameter"
                        }
                    }
                },
                "projectConnectionManagers": {
                    "MyAdonetCM": {
                        "username": {
                            "value": "MyConnectionUsername"
                        },
                        "password": {
                            "value": {
                                "type": "SecureString",
                                "value": "MyConnectionPassword"
                            }
                        }
                    }
                },
                "packageConnectionManagers": {
                    "MyOledbCM": {
                        "username": {
                            "value": {
                                "value": "@pipeline().parameters.MyConnectionUsername",
                                "type": "Expression"
                            }
                        },
                        "password": {
                            "value": {
                                "type": "AzureKeyVaultSecret",
                                "store": {
                                    "referenceName": "myAKV",
                                    "type": "LinkedServiceReference"
                                },
                                "secretName": "MyConnectionPassword",
                                "secretVersion": "MyConnectionPasswordVersion"
                            }
                        }
                    }
                },
                "propertyOverrides": {
                    "\\Package.MaxConcurrentExecutables": {
                        "value": 8,
                        "isSensitive": false
                    }
                }
            },
            "policy": {
                "timeout": "0.01:00:00",
                "retry": 0,
                "retryIntervalInSeconds": 30
            }
        }]
    }
}

    Om du vill köra paket som lagras i filsystemet/Azure Files anger du värdena för paket- och loggplatsegenskaperna på följande sätt:

    {
    {
        {
            {
                "packageLocation": {
                    "type": "File",
                    "packagePath": "//MyStorageAccount.file.core.windows.net/MyFileShare/MyPackage.dtsx",
                    "typeProperties": {
                        "packagePassword": {
                            "type": "SecureString",
                            "value": "MyEncryptionPassword"
                        },
                        "accessCredential": {
                            "domain": "Azure",
                            "username": "MyStorageAccount",
                            "password": {
                                "type": "SecureString",
                                "value": "MyAccountKey"
                            }
                        }
                    }
                },
                "logLocation": {
                    "type": "File",
                    "logPath": "//MyStorageAccount.file.core.windows.net/MyFileShare/MyLogFolder",
                    "typeProperties": {
                        "accessCredential": {
                            "domain": "Azure",
                            "username": "MyStorageAccount",
                            "password": {
                                "type": "AzureKeyVaultSecret",
                                "store": {
                                    "referenceName": "myAKV",
                                    "type": "LinkedServiceReference"
                                },
                                "secretName": "MyAccountKey"
                            }
                        }
                    }
                }
            }
        }
    }
}

    Om du vill köra paket i projekt som lagras i filsystemet/Azure Files anger du värdena för paketplatsegenskaperna på följande sätt:

    {
    {
        {
            {
                "packageLocation": {
                    "type": "File",
                    "packagePath": "//MyStorageAccount.file.core.windows.net/MyFileShare/MyProject.ispac:MyPackage.dtsx",
                    "typeProperties": {
                        "packagePassword": {
                            "type": "SecureString",
                            "value": "MyEncryptionPassword"
                        },
                        "accessCredential": {
                            "domain": "Azure",
                            "userName": "MyStorageAccount",
                            "password": {
                                "type": "SecureString",
                                "value": "MyAccountKey"
                            }
                        }
                    }
                }
            }
        }
    }
}

    Om du vill köra inbäddade paket anger du värdena för paketplatsegenskaperna på följande sätt:

    {
    {
        {
            {
                "packageLocation": {
                    "type": "InlinePackage",
                    "typeProperties": {
                        "packagePassword": {
                            "type": "SecureString",
                            "value": "MyEncryptionPassword"
                        },
                        "packageName": "MyPackage.dtsx",
                        "packageContent":"My compressed/uncompressed package content",
                        "packageLastModifiedDate": "YYYY-MM-DDTHH:MM:SSZ UTC-/+HH:MM"
                    }
                }
            }
        }
    }
}

    Om du vill köra paket som lagras i paketlager anger du värdena för paket- och konfigurationsplatsegenskaperna på följande sätt:

    {
    {
        {
            {
                "packageLocation": {
                    "type": "PackageStore",
                    "packagePath": "myPackageStore/MyFolder/MyPackage",
                    "typeProperties": {
                        "packagePassword": {
                            "type": "SecureString",
                            "value": "MyEncryptionPassword"
                        },
                        "accessCredential": {
                            "domain": "Azure",
                            "username": "MyStorageAccount",
                            "password": {
                                "type": "SecureString",
                                "value": "MyAccountKey"
                            }
                        },
                        "configurationPath": "//MyStorageAccount.file.core.windows.net/MyFileShare/MyConfiguration.dtsConfig",
                        "configurationAccessCredential": {
                            "domain": "Azure",
                            "userName": "MyStorageAccount",
                            "password": {
                                "type": "AzureKeyVaultSecret",
                                "store": {
                                    "referenceName": "myAKV",
                                    "type": "LinkedServiceReference"
                                },
                                "secretName": "MyAccountKey"
                            }
                        }
                    }
                }
            }
        }
    }
}

  2. Växla till mappen i C:\ADF\RunSSISPackage Azure PowerShell.

  3. Kör cmdleten Set-AzDataFactoryV2Pipeline för att skapa pipelinen RunSSISPackagePipeline.

    $DFPipeLine = Set-AzDataFactoryV2Pipeline -DataFactoryName $DataFactory.DataFactoryName `
                                               -ResourceGroupName $ResGrp.ResourceGroupName `
                                               -Name "RunSSISPackagePipeline"
                                               -DefinitionFile ".\RunSSISPackagePipeline.json"

    Här är exempelutdata:

    PipelineName      : Adfv2QuickStartPipeline
ResourceGroupName : <resourceGroupName>
DataFactoryName   : <dataFactoryName>
Activities        : {CopyFromBlobToBlob}
Parameters        : {[inputPath, Microsoft.Azure.Management.DataFactory.Models.ParameterSpecification], [outputPath, Microsoft.Azure.Management.DataFactory.Models.ParameterSpecification]}

Köra pipelinen

Använd cmdleten Invoke-AzDataFactoryV2Pipeline för att köra pipelinen. Cmdleten samlar även in pipelinekörningens ID för kommande övervakning.

$RunId = Invoke-AzDataFactoryV2Pipeline -DataFactoryName $DataFactory.DataFactoryName `
                                             -ResourceGroupName $ResGrp.ResourceGroupName `
                                             -PipelineName $DFPipeLine.Name

Övervaka pipelinen

Kör följande PowerShell-skript för att kontinuerligt kontrollera pipelinekörningens status tills kopieringen av data är klar. Kopiera eller klistra in följande skript i PowerShell-fönstret och välj Retur.

while ($True) {
    $Run = Get-AzDataFactoryV2PipelineRun -ResourceGroupName $ResGrp.ResourceGroupName `
                                               -DataFactoryName $DataFactory.DataFactoryName `
                                               -PipelineRunId $RunId

    if ($Run) {
        if ($run.Status -ne 'InProgress') {
            Write-Output ("Pipeline run finished. The status is: " +  $Run.Status)
            $Run
            break
        }
        Write-Output  "Pipeline is running...status: InProgress"
    }

    Start-Sleep -Seconds 10
}

Du kan också övervaka pipelinen med hjälp av Azure-portalen. Stegvisa instruktioner finns i Övervaka pipelinen.

Schemalägga pipelinen med en utlösare

I föregående steg körde du pipelinen på begäran. Du kan också skapa en schemautlösare för att köra pipelinen enligt ett schema, till exempel varje timme eller varje dag.

  1. Skapa en JSON-fil med namnet MyTrigger.json i C:\ADF\RunSSISPackage mappen med följande innehåll:

    {
    "properties": {
        "name": "MyTrigger",
        "type": "ScheduleTrigger",
        "typeProperties": {
            "recurrence": {
                "frequency": "Hour",
                "interval": 1,
                "startTime": "2017-12-07T00:00:00-08:00",
                "endTime": "2017-12-08T00:00:00-08:00"
            }
        },
        "pipelines": [{
            "pipelineReference": {
                "type": "PipelineReference",
                "referenceName": "RunSSISPackagePipeline"
            },
            "parameters": {}
        }]
    }
}

  2. Växla till mappen i C:\ADF\RunSSISPackage Azure PowerShell.

  3. Kör cmdleten Set-AzDataFactoryV2Trigger , som skapar utlösaren.

    Set-AzDataFactoryV2Trigger -ResourceGroupName $ResGrp.ResourceGroupName `
                                -DataFactoryName $DataFactory.DataFactoryName `
                                -Name "MyTrigger" -DefinitionFile ".\MyTrigger.json"

  4. Utlösaren är som standard i stoppat tillstånd. Starta utlösaren genom att köra cmdleten Start-AzDataFactoryV2Trigger .

    Start-AzDataFactoryV2Trigger -ResourceGroupName $ResGrp.ResourceGroupName `
                                  -DataFactoryName $DataFactory.DataFactoryName `
                                  -Name "MyTrigger"

  5. Bekräfta att utlösaren startas genom att köra cmdleten Get-AzDataFactoryV2Trigger .

    Get-AzDataFactoryV2Trigger -ResourceGroupName $ResourceGroupName `
                                -DataFactoryName $DataFactoryName `
                                -Name "MyTrigger"

  6. Kör följande kommando efter nästa timme. Om den aktuella tiden till exempel är 15:25 UTC kör du kommandot kl. 16.00 UTC.

    Get-AzDataFactoryV2TriggerRun -ResourceGroupName $ResourceGroupName `
                                   -DataFactoryName $DataFactoryName `
                                   -TriggerName "MyTrigger" `
                                   -TriggerRunStartedAfter "2017-12-06" `
                                   -TriggerRunStartedBefore "2017-12-09"

    Kör följande fråga mot SSISDB-databasen på SQL-servern för att kontrollera att paketet har körts.

    select * from catalog.executions

Relaterat innehåll