Azure Data Factory'da işlem hattı çalıştırmak için özel olay tetikleyicisi oluşturma

ŞUNLARA UYGULANIR: Azure Data Factory Azure Synapse Analytics

İpucu

Microsoft Fabric'daki Data Factory, daha basit bir mimariye, yerleşik yapay zekaya ve yeni özelliklere sahip yeni nesil Azure Data Factory. Veri tümleştirmeyi yeni kullanmaya başladıysanız Fabric Data Factory ile başlayın. Mevcut ADF iş yükleri veri bilimi, gerçek zamanlı analiz ve raporlama genelinde yeni özelliklere erişmek için Fabric yükseltebilir.

Azure Data Factory olay tetikleyicileri, veri kaynaklarınızda gerçekleşen belirli olaylara göre işlem hatlarının yürütülmesini otomatikleştirmenize olanak sağlar. Bu, gerçek zamanlı veri tümleştirme ve işlemeyi etkinleştiren olay odaklı mimarinin önemli bir özelliğidir.

Olay odaklı mimari, üretim, algılama, tüketim ve olaylara tepkiyi içeren yaygın bir veri tümleştirme düzenidir. Veri tümleştirme senaryoları genellikle Azure Data Factory müşterilerin belirli olaylar gerçekleştiğinde işlem hatlarını tetiklemelerini gerektirir. Azure Event Grid ile Data Factory yerel tümleştirmesi artık özel konuları kapsar. Olayları bir Event Grid konusuna gönderirsiniz. Data Factory konuya abone olur, dinler ve ardından işlem hatlarını buna göre tetikler.

Bu makalede açıklanan tümleştirme Azure Event Grid bağlıdır. Aboneliğinizin Event Grid kaynak sağlayıcısına kayıtlı olduğundan emin olun. Daha fazla bilgi için bkz . Kaynak sağlayıcıları ve türleri. Microsoft.EventGrid/eventSubscriptions/ eylemini yapabilmeniz gerekir. Bu eylem, EventGrid EventSubscription Katkıda Bulunanı yerleşik rolünün bir parçasıdır.

Önemli

Bu özelliği Azure Synapse Analytics kullanıyorsanız aboneliğinizin bir Data Factory kaynak sağlayıcısına da kayıtlı olduğundan emin olun. Aksi takdirde, "Olay Aboneliği oluşturulamadı" iletisini alırsınız.

İşlem hattı parametrelerini ve özel bir olay tetikleyicisini birleştirirseniz, işlem hattı çalıştırmalarında özel data yükleri ayrıştırabilir ve bunlara başvurabilirsiniz. data Özel olay yükündeki alan serbest biçimli bir JSON anahtar-değer yapısı olduğundan, olay temelli işlem hattı çalıştırmalarını denetleyebilirsiniz.

Önemli

Parametreleştirmede başvuruda bulunılan bir anahtar özel olay yükünde eksikse başarısız trigger run olur. keyName özelliği mevcut olmadığından ifadenin değerlendirilemeyeceğini belirten bir ileti alırsınız. Bu durumda, olay tarafından hayırpipeline run tetiklenir.

Olay ve tetikleyici kullanım örnekleri

Tetikleyiciler aşağıdakiler dahil olmak üzere çeşitli olaylar tarafından tetiklenebilir:

Blob Oluşturuldu: Belirtilen kapsayıcıya yeni bir dosya yüklendiğinde. Blob Silindi: Depodan bir dosya kaldırıldığında. Blob Güncellendi: Mevcut bir dosya güncellendiğinde.

İşlem hattı yürütmelerinizi dinamik olarak denetlemek için olayları kullanabilirsiniz. Örneğin, Azure Blob Depolama'daki 'gelen' klasörüne yeni bir veri dosyası yüklendiğinde, tetikleyici verileri işlemek için otomatik olarak bir işlem hattı başlatarak zamanında veri tümleştirmesi sağlayabilir.

Event Grid'de özel konu ayarlama

Data Factory'de özel olay tetikleyicisini kullanmak için önceEvent Grid'de özel bir konu ayarlamanız gerekir.

Event Grid'e gidin ve konuyu kendiniz oluşturun. Özel konu oluşturma hakkında daha fazla bilgi için bkz. Event Grid portal öğreticileri ve Azure CLI öğreticileri.

Not

İş akışı, depolama olayı tetikleyicisinden farklıdır. Burada Data Factory konuyu sizin için ayarlamaz.

Data Factory, olayların Event Grid olay şemasını izlemesini bekler. Olay yüklerinin aşağıdaki alanlara sahip olduğundan emin olun:

[
  {
    "topic": string,
    "subject": string,
    "id": string,
    "eventType": string,
    "eventTime": string,
    "data":{
      object-unique-to-each-publisher
    },
    "dataVersion": string,
    "metadataVersion": string
  }
]

Data Factory kullanarak özel olay tetikleyicisi oluşturma

  1. Data Factory'ye gidin ve oturum açın.

  2. Düzenle sekmesine geçin. Kalem simgesini arayın.

  3. Menüden Tetikleyici'yi ve ardından Yeni/Düzenle'yi seçin.

  4. Tetikleyici Ekle sayfasında Tetikleyici seç'i ve ardından + Yeni'yi seçin.

  5. Tür altında Özel olaylar'ı seçin.

    Data Factory kullanıcı arabiriminde yeni bir özel olay tetikleyicisi oluşturmayı gösteren ekran görüntüsü.

  6. Azure abonelik açılan listesinden özel konunuzu seçin veya olay konusu kapsamını el ile girin.

    Not

    Data Factory'de özel olay tetikleyicisi oluşturmak veya değiştirmek için uygun Azure rol tabanlı erişim denetimine (Azure RBAC) sahip bir Azure hesabı kullanmanız gerekir. Başka izin gerekmez. Data Factory hizmet sorumlusu Event Grid'iniz için özel izin gerektirmez. Erişim denetimi hakkında daha fazla bilgi için Rol tabanlı erişim denetimi bölümüne bakın.

  7. Subject begins with ve Subject ends with özellikleri tetikleyici olaylarını filtrelemenize olanak sağlar. Her iki özellik de isteğe bağlıdır.

  8. Filtre uygulamak üzere Olay türleri eklemek için + Yeni'yi kullanın. Özel olay tetikleyicileri listesinde OR ilişkisi kullanılır. Listede bir eventType özelliği olan özel bir olayla eşleştiğinde, bir işlem hattı çalıştırılır. Etkinlik türü büyük/küçük harfe duyarlı değildir. Örneğin, aşağıdaki ekran görüntüsünde tetikleyici, fabrikalarla başlayan bir konuya sahip olan tüm copycompleted veya copysucceeded olaylarla eşleşir.

    Data Factory kullanıcı arabiriminde Olay türlerini ve Konu filtrelemeyi açıklamak için Tetikleyiciyi düzenle sayfasını gösteren ekran görüntüsü.

  9. Özel bir olay tetikleyicisi ayrıştırabilir ve işlem hattınıza özel data bir yük gönderebilir. İşlem hattı parametrelerini oluşturur ve ardından Parametreler sayfasındaki değerleri doldurursunuz. Veri yükünü ayrıştırmak ve değerleri işlem hattı parametrelerine geçirmek için biçimini @triggerBody().event.data._keyName_ kullanın.

    Ayrıntılı bir açıklama için bkz:

    İşlem hattı parametreleri ayarlarını gösteren ekran görüntüsü.

    Özel bir olaydaki veri yüküne başvurmak için parametreler sayfasını gösteren ekran görüntüsü.

  10. Parametreleri girdikten sonra Tamam'ı seçin.

Gelişmiş filtreleme

Özel olay tetikleyicileri, Event Grid gelişmiş filtrelemeye benzer gelişmiş filtreleme özelliklerini destekler. Bu koşullu filtreler, işlem hatlarının olay yükünün değerlerine göre tetiklenebilmesini sağlar. Örneğin, olay yükünde Department adlı bir alanınız olabilir ve işlem hattının tetiklenmesi için Departman'ınFinans'a eşit olması gerekir. [1, 2, 3, 4, 5] listesindeki tarih alanı, [11, 12] listesinde yer almayanay alanı ve etiket alanında [Fiscal Year 2021, FiscalYear2021 veya FY2021] varsa karmaşık mantık da belirtebilirsiniz.

Müşteri olay tetikleyicisi için gelişmiş filtreler ayarlamayı gösteren ekran görüntüsü.

Bugünden itibaren özel olay tetikleyicileri, Event Grid'deki gelişmiş filtreleme işleçlerinin bir alt kümesini destekler. Aşağıdaki filtre koşulları desteklenir:

  • NumberIn
  • NumberNotIn
  • NumberLessThan
  • NumberGreaterThan
  • NumberLessThanOrEquals
  • NumberGreaterThanOrEquals
  • BoolEquals
  • StringContains
  • StringBeginsWith
  • StringEndsWith
  • StringIn
  • StringNotIn

Yeni filtre koşulları eklemek için + Yeni'yi seçin.

Özel olay tetikleyicileri de Event Grid ile aynı sınırlamalara uyar, örneğin:

  • Özel olay tetikleyicisi başına tüm filtreler arasında 5 gelişmiş filtre ve 25 filtre değeri.
  • Dize değeri başına 512 karakter.
  • in ve not in işleçleri için 5 değer.
  • Tuşların . içinde (nokta) karakteri olamaz, örneğin, john.doe@contoso.com. Şu anda anahtarlarda kaçış karakterleri için destek yoktur.
  • Aynı anahtar birden fazla filtrede kullanılabilir.

Data Factory, Event Grid API'sinin en son genel kullanılabilirlik (GA) sürümünü kullanır. Yeni API sürümleri GA aşamasına geçerken Data Factory, daha gelişmiş filtreleme işleçleri için desteğini genişletir.

JSON şeması

Aşağıdaki tabloda, özel olay tetikleyicileriyle ilgili şema öğelerine genel bir bakış sağlanır.

JSON öğesi Açıklama Tür İzin verilen değerler Zorunlu
scope Event Grid konusunun Azure Resource Manager kaynak kimliği. Dize Azure Resource Manager Kimliği Evet.
events Bu tetikleyicinin çalışmasına neden olan olay türleri. Dizeler dizisi Evet, en az bir değer beklenir.
subjectBeginsWith Tetikleyicinin etkinleşebilmesi için alanın subject sağlanan desenle başlaması gerekir. Örneğin, fabrikalar yalnızca fabrikalar ile başlayan olay konuları için tetikleyiciyi ateşler. Dize Hayır
subjectEndsWith subject alanının, tetikleyicinin çalışması için sağlanan desenle bitmesi gerekir. Dize Hayır
advancedFilters Her biri bir filtre koşulu belirten JSON bloblarının listesi. Her bir blob key, operatorType, ve values belirtir. JSON bloblarının listesi Hayır

Rol tabanlı erişim denetimi

Data Factory, yetkisiz erişimi yasaklama amacıyla Azure RBAC kullanır. Data Factory'nin düzgün çalışması için şunlara erişim gerekir:

  • Olayları dinleyin.
  • Olaylardan güncelleştirmelere abone olun.
  • Özel olaylarla ilişkilendirilmiş iş akışlarını tetikleyin.

Özel olay tetikleyicisini başarıyla oluşturmak veya güncelleştirmek için uygun erişime sahip bir Azure hesabıyla Data Factory'de oturum açmanız gerekir. Aksi takdirde, işlem "Erişim Reddedildi" iletisiyle başarısız olur.

Data Factory, Event Grid örneğinde özel izin gerektirmez. Ayrıca not işlemi için Data Factory hizmet sorumlusuna özel Azure RBAC rolü izni atamanıza gerek yoktur.

Özellikle, Microsoft.EventGrid/EventSubscriptions/Write üzerinde /subscriptions/####/resourceGroups//####/providers/Microsoft.EventGrid/topics/someTopics iznine sahip olmanız gerekmektedir.

  • Veri fabrikasında (örneğin geliştirme ortamında) yazarken, oturum açmış Azure hesabının önceki izne sahip olması gerekir.
  • Sürekli tümleştirme ve sürekli teslim aracılığıyla yayımladığınızda, Azure Resource Manager şablonunu test veya üretim fabrikasında yayımlamak için kullanılan hesabın belirtilen önceki izne sahip olması gerekir.

İlgili içerik

  • Last updated on