Haritalama veri akışlarını parametreleştirme

ŞUNLARA UYGULANIR: Azure Data Factory Azure Synapse Analytics

İpucu

Microsoft Fabric'daki Data Factory, daha basit bir mimariye, yerleşik yapay zekaya ve yeni özelliklere sahip yeni nesil Azure Data Factory. Veri tümleştirmeyi yeni kullanmaya başladıysanız Fabric Data Factory ile başlayın. Mevcut ADF iş yükleri veri bilimi, gerçek zamanlı analiz ve raporlama genelinde yeni özelliklere erişmek için Fabric yükseltebilir.

• Fabric ücretsiz deneme başlatın.
• Azure Data Factory'den Microsoft Fabric içindeki Data Factory'ye yükseltin

Azure Data Factory ve Synapse işlem hatlarındaki eşleme veri akışları parametrelerin kullanımını destekler. Veri akışı tanımınızın içinde parametreler tanımlayın ve bunları ifadeleriniz boyunca kullanın. Parametre değerleri, çağıran işlem hattı tarafından Execute Data Flow etkinliği aracılığıyla ayarlanır. Veri akışı etkinlik ifadelerindeki değerleri ayarlamak için üç seçeneğiniz vardır:

• Dinamik değer ayarlamak için işlem hattı denetim akışı ifade dilini kullanma
• Dinamik değer ayarlamak için veri akışı ifade dilini kullanma
• Statik değişmez değer ayarlamak için iki ifade dilini kullanın

Veri akışlarınızı genel amaçlı, esnek ve yeniden kullanılabilir hale getirmek için bu özelliği kullanın. Veri akışı ayarlarını ve ifadelerini bu parametrelerle parametreleştirebilirsiniz.

Eşleme veri akışında parametre oluşturma

Veri akışınıza parametre eklemek için, genel özellikleri görmek için veri akışı tuvalinin boş bölümüne tıklayın. Ayarlar bölmesinde Parametre adlı bir sekme görürsünüz. Yeni bir parametre oluşturmak için Yeni'yi seçin. Her parametre için bir ad atamanız, bir tür seçmeniz ve isteğe bağlı olarak bir varsayılan değer ayarlamanız gerekir.

Eşleme veri akışında parametreleri kullanma

Parametrelere herhangi bir veri akışı ifadesinde başvurulabilir. Parametreler $ ile başlar ve sabittir. İfade Oluşturucusu'nun içinde Parametreler sekmesinin altında kullanılabilir parametrelerin listesini bulabilirsiniz.

Yeni parametre'yi seçip adı ve türü belirterek hızlı bir şekilde ek parametreler ekleyebilirsiniz.

Eşleme veri akışında parametreli bağlı hizmetleri kullanma

Parametreli bağlı hizmetler eşleme veri akışında (veri kümesi veya satır içi kaynak türleri için) kullanılabilir.

Satır içi kaynak türü için, bağlı hizmet parametreleri aşağıda gösterildiği gibi işlem hattı içindeki veri akışı etkinlik ayarlarında gösterilir.

Veri kümesi kaynak türü için bağlı hizmet parametreleri doğrudan veri kümesi yapılandırmasında gösterilir.

İşlem hattından parametre değerleri atama

Parametrelerle bir veri akışı oluşturduktan sonra, bir işlem hattından Veri Akışı Yürütme Etkinliği ile çalıştırabilirsiniz. Etkinliği işlem hattı tuvalinize ekledikten sonra etkinliğin Parametreler sekmesinde kullanılabilir veri akışı parametreleri gösterilir.

Parametre değerlerini atarken, Spark türlerine bağlı olarak işlem hattı ifade dilini veya veri akışı ifade dilini kullanabilirsiniz. Her eşleme veri akışı, işlem hattı ve veri akışı ifade parametrelerinin herhangi bir bileşimine sahip olabilir.

İşlem hattı ifade parametreleri

İşlem hattı ifade parametreleri, sistem değişkenlerine, işlevlere, işlem hattı parametrelerine ve diğer işlem hattı etkinliklerine benzer değişkenlere başvurmanıza olanak sağlar. İşlem hattı ifadesine tıkladığınızda, ifade oluşturucu ile bir ifade girmenize olanak tanıyan bir yan gezinme menüsü açılır.

Başvurulduğunda işlem hattı parametreleri değerlendirilir ve ardından veri akışı ifade dilinde değerleri kullanılır. İşlem hattı ifade türünün veri akışı parametre türüyle eşleşmesi gerekmez.

Dize sabitleri ile ifadelerin karşılaştırılması

Dize türünde bir pipeline ifade parametresi atanırken, varsayılan olarak tırnak işaretleri eklenir ve değer harfiyen değerlendirilir. Parametre değerini veri akışı ifadesi olarak okumak için parametrenin yanındaki ifade kutusunu işaretleyin.

Veri akışı parametresi stringParam değeriyle bir upper(column1) işlem hattı parametresine başvuruda bulunursa.

• İfade işaretliyse, $stringParam sütun1 değerinin tümü büyük harfle değerlendirilir.
• İfade işaretlenmemişse (varsayılan davranış), $stringParam ifadesi 'upper(column1)' olarak değerlendirilir.

Zaman damgalarını aktarma

İşlem hattı ifade dilinde, pipeline().TriggerTime gibi sistem değişkenleri ve utcNow() gibi fonksiyonlar, zaman damgalarını 'yyyy-MM-dd'T'HH:mm:ss.SSSSSSZ' biçiminde dize olarak döndürür. Bunları zaman damgası türünde veri akışı parametrelerine dönüştürmek için, istenen zaman damgasını bir toTimestamp() işleve eklemek için dize ilişkilendirmesini kullanın. Örneğin, işlem hattı tetikleyici süresini bir veri akışı parametresine dönüştürmek için kullanabilirsiniz toTimestamp(left('@{pipeline().TriggerTime}', 23), 'yyyy-MM-dd\'T\'HH:mm:ss.SSS').

Not

Veri akışları yalnızca 3 milisaniye hane sayısına kadar destekleyebilir. Bu left() işlevi fazladan basamakları kırpmak için kullanılır.

İşlem hattı parametresi örneği

intParam tamsayı parametresinin, Dize türünde bir işlem hattı parametresi olan @pipeline.parameters.pipelineParam'i referans aldığını varsayalım.

__c0__ çalışma zamanında __c1__ değerine atanır.

Türetilmiş sütun gibi bir ifadede başvurulduğunda$intParam, abs(1) değerini döndürür1.

Veri akışı ifade parametreleri

Veri akışı ifadesi'ni seçtiğinizde veri akışı ifade oluşturucusu açılır. Veri akışınızda işlevlere, diğer parametrelere ve tanımlı şema sütunlarına başvurabileceksiniz. Bu ifade başvurulduğunda olduğu gibi değerlendirilir.

Not

Geçersiz bir ifade geçirirseniz veya bu dönüştürmede mevcut olmayan bir şema sütununa başvurursanız, parametre null olarak değerlendirilir.

Sütun adını parametre olarak geçirme

Yaygın bir desen, bir sütun adını parametre değeri olarak geçirmektir. Sütun veri akışı şemasında tanımlanmışsa, doğrudan bir string ifadeye başvurabilirsiniz. Şemada sütun tanımlanmamışsa byName() işlevini kullanın. Kolonu toString() gibi bir dönüştürme işleviyle uygun türüne çevirmeyi hatırlayın.

Örneğin, columnName adlı bir parametreye göre bir dize sütununu eşlemek istiyorsanız, toString(byName($columnName)) değerine eşit olan türetilmiş bir sütun dönüşümü ekleyebilirsiniz.

Not

Veri akışı ifadelerinde, dize ilişkilendirmesi (dizenin içindeki değişkenleri değiştirme) desteklenmez. Bunun yerine, ifadeyi dize değerlerine birleştirin. Örneğin 'string part 1' + $variable + 'string part 2'

İlgili içerik

• Veri akışı etkinliğini yürütme
• Denetim akışı ifadeleri