Eşleme veri akışında onay dönüşümü

UYGULANANLAR: Azure Data Factory Azure Synapse Analytics

İpucu

Kuruluşlar için hepsi bir arada analiz çözümü olan Microsoft Fabric'te Data Factory'yi deneyin. Microsoft Fabric , veri taşımadan veri bilimine, gerçek zamanlı analize, iş zekasına ve raporlamaya kadar her şeyi kapsar. Yeni bir deneme sürümünü ücretsiz olarak başlatmayı öğrenin!

Veri akışları hem Azure Data Factory'de hem de Azure Synapse Pipelines'da kullanılabilir. Bu makale, eşleme veri akışları için geçerlidir. Dönüştürmeler hakkında yeniyseniz lütfen eşleme veri akışı kullanarak verileri dönüştürme başlıklı giriş makalesine bakın.

Onay dönüştürmesi, veri kalitesi ve veri doğrulaması için eşleme veri akışlarınızda özel kurallar oluşturmanıza olanak tanır. Değerlerin beklenen değer etki alanını karşılayıp karşılamadığını belirleyecek kurallar oluşturabilirsiniz. Ayrıca, satır benzersizliğini denetleen kurallar oluşturabilirsiniz. Onay dönüştürmesi, verilerinizdeki her satırın bir ölçüt kümesini karşılayıp karşılamadığını belirlemeye yardımcı olur. Onay dönüştürmesi, veri doğrulama kuralları karşılanmadığında özel hata iletileri ayarlamanıza da olanak tanır.

Yapılandırma

Onay dönüştürme yapılandırma panelinde onay türünü seçer, onay için benzersiz bir ad, isteğe bağlı açıklama sağlar ve ifade ile isteğe bağlı filtreyi tanımlarsınız. Veri önizleme bölmesi, onaylarınızın başarısız olduğu satırları gösterir. Ayrıca, ve kullanarak isError() hasError() her satır etiketini aşağı akışta ve onaylarının başarısız olduğu satırları test edebilirsiniz.

Onay türü

1. True beklenmelidir: İfadenizin sonucu boole gerçek sonucu olarak değerlendirilmelidir. Verilerinizdeki etki alanı değer aralıklarını doğrulamak için bunu kullanın.
2. Benzersiz olmasını bekleme: Verilerinizde bir sütunu veya ifadeyi benzersizlik kuralı olarak ayarlayın. Yinelenen satırları etiketlemek için bunu kullanın.
3. Beklenir: Bu seçenek yalnızca ikinci bir gelen akışı seçtiğinizde kullanılabilir. Var, her iki akışa da bakar ve satırların sütunlara veya belirttiğiniz ifadelere göre her iki akışta da var olup olmadığını belirler. için ikinci akışı eklemek için öğesini seçin Additional streams.

Veri akışının başarısız olmasına neden olur

Onay kuralı başarısız olur olmaz veri akışı etkinliğinizin hemen başarısız olmasını istiyorsanız seçin fail data flow .

Onay Kimliği

Onay kimliği, onaylamanız için bir (dize) adı gireceğiniz bir özelliktir. Onay hata kodunu kullanarak veya çıkışını kullanarak hasError() veri akışınızda daha sonra aşağı akış tanımlayıcısını kullanabilirsiniz. Onay kimlikleri her veri akışı içinde benzersiz olmalıdır.

Onay açıklaması

Onaylamanız için buraya bir dize açıklaması girin. Burada ifadeleri ve satır bağlamı sütun değerlerini de kullanabilirsiniz.

Filtre

Filter, ifade değerinize göre onayları yalnızca bir satır alt kümesine göre filtreleyebileceğiniz isteğe bağlı bir özelliktir.

Expression

Onaylarınızın her biri için değerlendirme için bir ifade girin. Her onay dönüştürmesi için birden çok onaylamanız olabilir. Her onay türü, onayın geçirilip geçirilmediğini test etmek için ADF'nin değerlendirmesi gereken bir ifade gerektirir.

DLL'leri yoksay

Varsayılan olarak, onay dönüşümü satır onay değerlendirmesine NULL'leri içerir. Bu özellik ile NULL'leri yoksaymayı seçebilirsiniz.

Doğrudan onay satırı hataları

Onay başarısız olduğunda, havuz dönüşümündeki "Hatalar" sekmesini kullanarak isteğe bağlı olarak bu hata satırlarını Azure'daki bir dosyaya yönlendirebilirsiniz. Ayrıca havuz dönüşümünde hata satırlarını yoksayarak onaylama hataları olan satırların çıkışını almama seçeneğiniz de olur.

Örnekler

source(output(
		AddressID as integer,
		AddressLine1 as string,
		AddressLine2 as string,
		City as string,
		StateProvince as string,
		CountryRegion as string,
		PostalCode as string,
		rowguid as string,
		ModifiedDate as timestamp
	),
	allowSchemaDrift: true,
	validateSchema: false,
	isolationLevel: 'READ_UNCOMMITTED',
	format: 'table') ~> source1
source(output(
		CustomerID as integer,
		AddressID as integer,
		AddressType as string,
		rowguid as string,
		ModifiedDate as timestamp
	),
	allowSchemaDrift: true,
	validateSchema: false,
	isolationLevel: 'READ_UNCOMMITTED',
	format: 'table') ~> source2
source1, source2 assert(expectExists(AddressLine1 == AddressLine1, false, 'nonUS', true(), 'only valid for U.S. addresses')) ~> Assert1

Veri akışı betiği

Örnekler

source1, source2 assert(expectTrue(CountryRegion == 'United States', false, 'nonUS', null, 'only valid for U.S. addresses'),
	expectExists(source1@AddressID == source2@AddressID, false, 'assertExist', StateProvince == 'Washington', toString(source1@AddressID) + ' already exists in Washington'),
	expectUnique(source1@AddressID, false, 'uniqueness', null, toString(source1@AddressID) + ' is not unqiue')) ~> Assert1

İlgili içerik

• Sütunları seçmek ve doğrulamak için Dönüştürmeyi seç'i kullanın.
• Türetilmiş sütun dönüştürmesini kullanarak sütun değerlerini dönüştürün.