Azure Synapse 資料總管資料擷取概觀 (預覽)

資料擷取是透過資料總管新增資料至資料表並可供查詢的流程。 您可以在擷取命令的 with 關鍵字之後新增屬性。

內嵌屬性

下表列出資料總管所支援的屬性、屬性描述,並提供範例:

屬性 描述 範例
ingestionMapping 字串值,該值指出如何將來源檔案的資料對應到資料表中的實際資料行。 使用相關對應類型定義 format 值。 請參閱資料對應 with (format="json", ingestionMapping = "[{\"column\":\"rownumber\", \"Properties\":{\"Path\":\"$.RowNumber\"}}, {\"column\":\"rowguid\", \"Properties\":{\"Path\":\"$.RowGuid\"}}]")
(已淘汰: avroMappingcsvMappingjsonMapping)
ingestionMappingReference 字串值,該值指出如何使用具名對應原則物件,將來源檔案的資料對應到資料表中的實際資料行。 使用相關對應類型定義 format 值。 請參閱資料對應 with (format="csv", ingestionMappingReference = "Mapping1")
(已淘汰: avroMappingReferencecsvMappingReferencejsonMappingReference)
creationTime 日期時間值 (格式為 ISO8601 字串),在建立擷取資料範圍的時間時使用。 如未指定,則會使用目前的值 (now())。 在擷取較舊的資料時,覆寫預設值很有用,可讓保留原則正確套用。 指定時,請確定目標資料表的有效範圍合併原則中的 Lookback 屬性與指定的值一致。 with (creationTime="2017-02-13")
extend_schema 布林值,若已指定,則指示命令擴充資料表的結構描述 (預設為 false)。 此選項僅適用於 .append.set-or-append 命令。 唯一允許的結構描述擴充會在資料表結尾新增其他資料行。 如果原始資料表結構描述為 (a:string, b:int),則有效的結構描述擴充會是 (a:string, b:int, c:datetime, d:string),但 (a:string, c:datetime) 將不適用
folder 針對 ingest-from-query 命令,會指派資料夾給資料表。 如果資料表已經存在,此屬性將會覆寫資料表的資料夾。 with (folder="Tables/Temporary")
format 資料格式 (請參閱支援的資料格式)。 with (format="csv")
ingestIfNotExists 字串值,若已指定,則會在資料表中已經有具相同值和 ingest-by: 標記的資料時,防止從後續內嵌。 如此可確保資料以等冪方式擷取。 如需詳細資訊,請參閱依標籤擷取 with (ingestIfNotExists='["Part0001"]', tags='["ingest-by:Part0001"]') 屬性表示如果已經存在具有 ingest-by:Part0001 標籤的資料,則不要完成目前的擷取。 如果尚不存在,則這項新的擷取應該設定此標籤 (以免未來的擷取嘗試再次擷取相同的資料)。
ignoreFirstRecord 布林值,若設為 true,則表示內嵌應該忽略每個檔案的第一筆記錄。 如果檔案中的第一筆記錄是資料行名稱,此屬性即適用於 CSV 和類似格式的檔案。 預設會採用 false with (ignoreFirstRecord=false)
persistDetails 布林值,若已指定,則表示命令應該保存詳細的結果 (即使成功),以便 .show operation details 命令擷取它們。 預設值為 false with (persistDetails=true)
policy_ingestiontime 布林值,若已指定,則描述是否要在此命令所建立的資料表上啟用內嵌時間原則。 預設為 true with (policy_ingestiontime=false)
recreate_schema 布林值,若已指定,則描述此命令是否可以重建資料表的結構描述。 此屬性只會套用至 .set-or-replace 命令。 此屬性的優先順序高於extend_schema 屬性 (如果兩者都已設定)。 with (recreate_schema=true)
tags 要與內嵌資料產生關聯的標記清單,其格式為 JSON 字串 with (tags="['Tag1', 'Tag2']")
validationPolicy 指出要在內嵌期間執行哪些驗證的 JSON 字串。 如需不同選項的說明,請參閱資料擷取 with (validationPolicy='{"ValidationOptions":1, "ValidationImplications":1}') (這實際上是預設原則)
zipPattern 從具有 ZIP 封存的儲存體擷取資料時,請使用此屬性。 這是一個字串值,表示在選取要從 ZIP 封存中擷取哪些檔案時,所要使用的規則運算式。 封存中的所有其他檔案都會被忽略。 with (zipPattern="*.csv")

後續步驟