Eşleme veri akışlarında dış çağrı dönüşümü
UYGULANANLAR: Azure Data Factory Azure Synapse Analytics
İpucu
Kuruluşlar için hepsi bir arada analiz çözümü olan Microsoft Fabric'te Data Factory'yi deneyin. Microsoft Fabric , veri taşımadan veri bilimine, gerçek zamanlı analize, iş zekasına ve raporlamaya kadar her şeyi kapsar. Yeni bir deneme sürümünü ücretsiz olarak başlatmayı öğrenin!
Veri akışları hem Azure Data Factory'de hem de Azure Synapse Pipelines'da kullanılabilir. Bu makale, eşleme veri akışları için geçerlidir. Dönüştürmeler hakkında yeniyseniz lütfen eşleme veri akışı kullanarak verileri dönüştürme başlıklı giriş makalesine bakın.
Dış çağrı dönüşümü, veri mühendislerinin veri akışı akışlarınıza özel veya üçüncü taraf sonuçlar eklemek için dış REST uç noktalarına satır satır çağrıda bulunur.
Yapılandırma
Dış çağrı dönüştürme yapılandırma panelinde, önce bağlanmak istediğiniz dış uç nokta türünü seçersiniz. Sonraki adım, gelen sütunları eşlemektir. Son olarak, aşağı akış dönüşümleri tarafından kullanılacak bir çıkış veri yapısı tanımlayın.
Ayarlar
Satır içi veri kümesi türünü ve ilişkili bağlı hizmeti seçin. Bugün yalnızca REST desteklenir. Ancak SQL saklı yordamları ve diğer bağlı hizmet türleri de kullanılabilir duruma gelir. Ayarlar özelliklerinin açıklamaları için bkz. REST kaynak yapılandırması.
Eşleme
Tüm giriş sütunlarını uç noktaya geçirmek için otomatik eşlemeyi seçebilirsiniz. İsteğe bağlı olarak, sütunları el ile ayarlayabilir ve hedef uç noktaya gönderilen sütunları burada yeniden adlandırabilirsiniz.
Çıktı
Burası, dış çağrının çıkışı için veri yapısını tanımlayabileceğiniz yerdir. Gövdenin yapısını tanımlayabilir ve üst bilgileri ve dış çağrıdan döndürülen durumu nasıl depolayabileceğinizi seçebilirsiniz.
Gövdeyi, üst bilgileri ve durumu depolamayı seçerseniz, önce her birinin aşağı akış veri dönüştürmeleri tarafından tüketilmesi için bir sütun adı seçin.
ADF veri akışı söz dizimini kullanarak gövde veri yapısını el ile tanımlayabilirsiniz. Gövde için sütun adlarını ve veri türlerini tanımlamak için "yansıtmayı içeri aktar" seçeneğine tıklayın ve ADF'nin dış çağrıdan gelen şema çıkışını algılamasına izin verin. Aşağıda, bir hava durumu REST API GET çağrısının çıktısı olarak örnek bir şema tanımı yapısı verilmiştir:
({@context} as string[],
geometry as (coordinates as string[][][],
type as string),
properties as (elevation as (unitCode as string,
value as string),
forecastGenerator as string,
generatedAt as string,
periods as (detailedForecast as string, endTime as string, icon as string, isDaytime as string, name as string, number as string, shortForecast as string, startTime as string, temperature as string, temperatureTrend as string, temperatureUnit as string, windDirection as string, windSpeed as string)[],
units as string,
updateTime as string,
updated as string,
validTimes as string),
type as string)
Örnekler
Veri akışı betiği dahil örnekler
source(output(
id as string
),
allowSchemaDrift: true,
validateSchema: false,
ignoreNoFilesFound: false) ~> source1
Filter1 call(mapColumn(
id
),
skipDuplicateMapInputs: false,
skipDuplicateMapOutputs: false,
output(
headers as [string,string],
body as (name as string)
),
allowSchemaDrift: true,
store: 'restservice',
format: 'rest',
timeout: 30,
httpMethod: 'POST',
entity: 'api/Todo/',
requestFormat: ['type' -> 'json'],
responseFormat: ['type' -> 'json', 'documentForm' -> 'documentPerLine']) ~> ExternalCall1
source1 filter(toInteger(id)==1) ~> Filter1
ExternalCall1 sink(allowSchemaDrift: true,
validateSchema: false,
skipDuplicateMapInputs: true,
skipDuplicateMapOutputs: true,
store: 'cache',
format: 'inline',
output: false,
saveOrder: 1) ~> sink1
Veri akışı betiği
ExternalCall1 sink(allowSchemaDrift: true,
validateSchema: false,
skipDuplicateMapInputs: true,
skipDuplicateMapOutputs: true,
store: 'cache',
format: 'inline',
output: false,
saveOrder: 1) ~> sink1
İlgili içerik
- Satırları sütunlara döndürmek için Düzleştirme dönüştürmesini kullanın.
- Satırları dönüştürmek için Türetilmiş sütun dönüştürmesini kullanın.
- REST ayarları hakkında daha fazla bilgi için REST kaynağına bakın.