在表格 <tableName>中發現了重複的資料。 資料來源類型: <sourceName>。
相同行
發現 <count> 一模一樣的行數: <rowExample>。
請從來源移除重複的列,並重新執行流程。 如果錯誤依然存在,就提交服務請求。
ROWS_WITH_SAME_PRIMARY_KEY(具有相同主鍵的行)
主要鍵 <keys> 包含重複值。 找到 <count> 筆與 <keyExample> 鍵相關的資料列。
你可以選擇從資料來源中移除重複資料,或在 table_configuration 中設定欄位 "primary_keys": ["__databricks_id"],並以 SCD TYPE 1 完整刷新受影響的資料表,這樣會為來源中所有選擇的欄位產生一個雜湊值,以便可以擷取重複的鍵。