Bagikan melalui

Mereferensikan metadata pemicu dalam menjalankan pipeline

BERLAKU UNTUK: Azure Data Factory Azure Synapse Analytics

Petunjuk / Saran

Cobalah Data Factory di Microsoft Fabric, solusi analitik all-in-one untuk perusahaan. Microsoft Fabric mencakup semuanya mulai dari pergerakan data hingga ilmu data, analitik real time, kecerdasan bisnis, dan pelaporan. Pelajari cara memulai uji coba baru secara gratis!

Artikel ini menjelaskan bagaimana metadata pemicu, seperti waktu mulai pemicu, dapat digunakan dalam eksekusi alur.

Alur terkadang perlu memahami dan membaca metadata dari pemicu yang memanggilnya. Misalnya, dengan eksekusi pemicu jendela tumbling yang dijalankan, berdasarkan waktu mulai dan berakhirnya jendela, rangkaian proses memproses berbagai irisan data atau folder yang berbeda. Di Azure Data Factory, kami menggunakan parameterisasi dan variabel sistem untuk meneruskan metadata dari pemicu ke alur.

Pola ini sangat berguna untuk pemicu jendela tumbling, di mana pemicu menyediakan waktu mulai dan berakhir jendela, dan pemicu peristiwa kustom, di mana pemicu menganalisis dan memproses nilai dalam bidang yang ditentukan khusus untuk data.

Catatan

Jenis pemicu yang berbeda menyediakan informasi metadata yang berbeda. Untuk informasi selengkapnya, lihat Variabel sistem.

Antarmuka Pengguna Azure Data Factory

Bagian ini menunjukkan kepada Anda cara meneruskan informasi metadata dari pemicu ke alur, dalam antarmuka pengguna (UI) Data Factory.

  1. Buka Kanvas Penulisan dan edit alur.

  2. Pilih kanvas kosong untuk memunculkan pengaturan alur. Jangan pilih aktivitas apa pun. Anda mungkin perlu menarik panel pengaturan dari bagian bawah kanvas karena mungkin diciutkan.

  3. Pilih tab Parameter dan pilih + Baru untuk menambahkan parameter.

    Cuplikan layar yang memperlihatkan pengaturan alur yang menunjukkan cara menentukan parameter dalam alur.

  4. Tambahkan pemicu ke alur dengan memilih + Pemicu.

  5. Buat atau lampirkan pemicu ke alur dan pilih OK.

  6. Setelah Anda memilih OK, halaman Pemicu baru lain muncul dengan daftar parameter yang ditentukan untuk alur, seperti yang ditunjukkan pada cuplikan layar berikut. Pada halaman tersebut, lengkapi metadata pemicu untuk setiap parameter. Gunakan format yang ditentukan dalam Variabel sistem untuk mengambil informasi pemicu. Anda tidak perlu mengisi informasi untuk semua parameter. Cukup isi bagian yang akan memuat nilai metadata pemicu. Misalnya, di sini kita menetapkan waktu mulai eksekusi pemicu ke parameter_1.

    Cuplikan layar yang memperlihatkan halaman Parameter Eksekusi Pemicu memperlihatkan cara meneruskan informasi pemicu ke parameter alur.

  7. Untuk menggunakan nilai dalam alur, gunakan parameter, seperti @pipeline().parameters.parameterName, bukan variabel sistem, dalam definisi alur. Misalnya, dalam kasus ini, untuk membaca waktu mulai pemicu, kami merujuk @pipeline().parameters.parameter_1.

Skema JSON

Untuk meneruskan informasi pemicu ke eksekusi alur, baik pemicu maupun alur JSON perlu diperbarui dengan bagian parameters.

Definisi alur

Di bawah bagian , properties tambahkan definisi parameter ke bagian parameters .

{
    "name": "demo_pipeline",
    "properties": {
        "activities": [
            {
                "name": "demo_activity",
                "type": "WebActivity",
                "dependsOn": [],
                "policy": {
                    "timeout": "7.00:00:00",
                    "retry": 0,
                    "retryIntervalInSeconds": 30,
                    "secureOutput": false,
                    "secureInput": false
                },
                "userProperties": [],
                "typeProperties": {
                    "url": {
                        "value": "@pipeline().parameters.parameter_1",
                        "type": "Expression"
                    },
                    "method": "GET"
                }
            }
        ],
        "parameters": {
            "parameter_1": {
                "type": "string"
            },
            "parameter_2": {
                "type": "string"
            },
            "parameter_3": {
                "type": "string"
            },
            "parameter_4": {
                "type": "string"
            },
            "parameter_5": {
                "type": "string"
            }
        },
        "annotations": [],
        "lastPublishTime": "2021-02-24T03:06:23Z"
    },
    "type": "Microsoft.DataFactory/factories/pipelines"
}

Definisi trigger

Di bawah bagian , pipelines tetapkan nilai parameter di bagian parameters . Anda tidak perlu mengisi informasi untuk semua parameter. Cukup isi bagian yang akan memuat nilai metadata pemicu.

{
    "name": "trigger1",
    "properties": {
        "annotations": [],
        "runtimeState": "Started",
        "pipelines": [
            {
                "pipelineReference": {
                    "referenceName": "demo_pipeline",
                    "type": "PipelineReference"
                },
                "parameters": {
                    "parameter_1": "@trigger().startTime"
                }
            }
        ],
        "type": "ScheduleTrigger",
        "typeProperties": {
            "recurrence": {
                "frequency": "Minute",
                "interval": 15,
                "startTime": "2021-03-03T04:38:00Z",
                "timeZone": "UTC"
            }
        }
    }
}

Menggunakan informasi pemicu dalam alur

Untuk menggunakan nilai dalam alur, gunakan parameter, seperti @pipeline().parameters.parameterName, bukan variabel sistem, dalam definisi alur.

Konten terkait

Untuk informasi selengkapnya tentang pemicu, lihat Eksekusi dan pemicu alur.

  • Last updated on