Eşleme veri akışlarını parametreleştirme

UYGULANANLAR: Azure Data Factory Azure Synapse Analytics

İpucu

Kuruluşlar için hepsi bir arada analiz çözümü olan Microsoft Fabric'te Data Factory'yi deneyin. Microsoft Fabric , veri taşımadan veri bilimine, gerçek zamanlı analize, iş zekasına ve raporlamaya kadar her şeyi kapsar. Yeni bir deneme sürümünü ücretsiz olarak başlatmayı öğrenin!

Azure Data Factory ve Synapse işlem hatlarındaki eşleme veri akışları parametrelerin kullanımını destekler. Veri akışı tanımınızın içinde parametreler tanımlayın ve bunları ifadeleriniz boyunca kullanın. Parametre değerleri çağıran işlem hattı tarafından Execute Veri Akışı etkinliği aracılığıyla ayarlanır. Veri akışı etkinlik ifadelerindeki değerleri ayarlamak için üç seçeneğiniz vardır:

• Dinamik değer ayarlamak için işlem hattı denetim akışı ifade dilini kullanma
• Dinamik değer ayarlamak için veri akışı ifade dilini kullanma
• Statik değişmez değer ayarlamak için iki ifade dilini kullanın

Veri akışlarınızı genel amaçlı, esnek ve yeniden kullanılabilir hale getirmek için bu özelliği kullanın. Veri akışı ayarlarını ve ifadelerini bu parametrelerle parametreleştirebilirsiniz.

Eşleme veri akışında parametre oluşturma

Veri akışınıza parametre eklemek için, genel özellikleri görmek için veri akışı tuvalinin boş bölümüne tıklayın. Ayarlar bölmesinde Parametre adlı bir sekme görürsünüz. Yeni bir parametre oluşturmak için Yeni'yi seçin. Her parametre için bir ad atamanız, bir tür seçmeniz ve isteğe bağlı olarak bir varsayılan değer ayarlamanız gerekir.

Eşleme veri akışında parametreleri kullanma

Parametrelere herhangi bir veri akışı ifadesinde başvurulabilir. Parametreler $ ile başlar ve sabittir. İfade Oluşturucusu'nun içinde Parametreler sekmesinin altında kullanılabilir parametrelerin listesini bulabilirsiniz.

Yeni parametre'yi seçip adı ve türü belirterek hızlı bir şekilde ek parametreler ekleyebilirsiniz.

Eşleme veri akışında parametreli bağlı hizmetleri kullanma

Parametreli bağlı hizmetler eşleme veri akışında (veri kümesi veya satır içi kaynak türleri için) kullanılabilir.

Satır içi kaynak türü için, bağlı hizmet parametreleri aşağıda gösterildiği gibi işlem hattı içindeki veri akışı etkinlik ayarlarında gösterilir.

Veri kümesi kaynak türü için bağlı hizmet parametreleri doğrudan veri kümesi yapılandırmasında gösterilir.

İşlem hattından parametre değerleri atama

Parametrelerle bir veri akışı oluşturduktan sonra yürütme Veri Akışı Etkinliği ile bir işlem hattından yürütebilirsiniz. Etkinliği işlem hattı tuvalinize ekledikten sonra etkinliğin Parametreler sekmesinde kullanılabilir veri akışı parametreleri gösterilir.

Parametre değerleri atarken, spark türlerine göre işlem hattı ifade dilini veya veri akışı ifade dilini kullanabilirsiniz. Her eşleme veri akışı, işlem hattı ve veri akışı ifade parametrelerinin herhangi bir bileşimine sahip olabilir.

İşlem hattı ifade parametreleri

İşlem hattı ifade parametreleri, sistem değişkenlerine, işlevlere, işlem hattı parametrelerine ve diğer işlem hattı etkinliklerine benzer değişkenlere başvurmanıza olanak sağlar. İşlem hattı ifadesi'ne tıkladığınızda, ifade oluşturucusunu kullanarak bir ifade girmenize olanak sağlayan bir yan gezinti açılır.

Başvurulduğunda işlem hattı parametreleri değerlendirilir ve ardından veri akışı ifade dilinde değerleri kullanılır. İşlem hattı ifade türünün veri akışı parametre türüyle eşleşmesi gerekmez.

Dize değişmez değerleri ile ifadeler karşılaştırması

Dize türünde bir işlem hattı ifade parametresi atanırken varsayılan olarak tırnak işaretleri eklenir ve değer değişmez değer olarak değerlendirilir. Parametre değerini veri akışı ifadesi olarak okumak için parametrenin yanındaki ifade kutusunu işaretleyin.

Veri akışı parametresi stringParam değeriyle upper(column1)bir işlem hattı parametresine başvuruda bulunursa.

• İfade işaretliyse, $stringParam sütun1 değerinin tümü büyük harfle değerlendirilir.
• İfade işaretlenmemişse (varsayılan davranış), $stringParam'upper(column1)'

Zaman damgalarını geçirme

İşlem hattı ifade dilinde, ve gibi pipeline().TriggerTime utcNow() sistem değişkenleri zaman damgalarını 'yy-MM-dd'T'HH:mm:ss biçiminde dize olarak döndürür. SSSSSZ'. Bunları zaman damgası türünde veri akışı parametrelerine dönüştürmek için, istenen zaman damgasını bir toTimestamp() işleve eklemek için dize ilişkilendirmesini kullanın. Örneğin, işlem hattı tetikleyici süresini bir veri akışı parametresine dönüştürmek için kullanabilirsiniz toTimestamp(left('@{pipeline().TriggerTime}', 23), 'yyyy-MM-dd\'T\'HH:mm:ss.SSS').

Not

Veri Akışı yalnızca 3 milisaniyeye kadar basamakları destekleyebilir. işlevi left() ek basamakları kırpmak için kullanılır.

İşlem hattı parametresi örneği

Dize @pipeline.parameters.pipelineParamtüründe bir işlem hattı parametresine intParam başvuran bir tamsayı parametreniz olduğunu varsayalım.

@pipeline.parameters.pipelineParam çalışma zamanında değerine abs(1) atanır.

Türetilmiş sütun gibi bir ifadede başvurulduğunda$intParam, dönüş 1değerini değerlendirirabs(1).

Veri akışı ifade parametreleri

Veri akışı ifadesi'ni seçtiğinizde veri akışı ifade oluşturucusu açılır. Veri akışınızda işlevlere, diğer parametrelere ve tanımlı şema sütunlarına başvurabileceksiniz. Bu ifade başvurulduğunda olduğu gibi değerlendirilir.

Not

Geçersiz bir ifade geçirirseniz veya bu dönüştürmede mevcut olmayan bir şema sütununa başvurursanız, parametre null olarak değerlendirilir.

Sütun adını parametre olarak geçirme

Yaygın bir desen, bir sütun adını parametre değeri olarak geçirmektir. Sütun veri akışı şemasında tanımlanmışsa, doğrudan dize ifadesi olarak başvurabilirsiniz. Sütun şemada tanımlanmamışsa işlevini kullanın byName() . sütunu gibi toString()bir atama işleviyle uygun türüne dönüştürmeyi unutmayın.

Örneğin, bir parametreyi columnNametemel alan bir dize sütununu eşlemek istiyorsanız, değerine eşit toString(byName($columnName))türetilmiş bir sütun dönüşümü ekleyebilirsiniz.

Not

Veri akışı ifadelerinde, dize ilişkilendirmesi (dizenin içindeki değişkenleri değiştirme) desteklenmez. Bunun yerine, ifadeyi dize değerlerine birleştirin. Örneğin 'string part 1' + $variable + 'string part 2'

İlgili içerik

• Veri akışı etkinliğini yürütme
• Denetim akışı ifadeleri