湖流量管線的處理保證

在任何真正的流程中,重試和重新執行都是不可避免的。 Lakeflow 管線預設在其管理的資料表中提供精確一次的處理,並在系統邊界處加入冪等寫入以保障重跑安全。

Overview

有兩個相關特性決定重新運行管線是否安全:

  • 冪性 是指無論你對同一輸入執行多少次,管線都會產生相同的結果。 失敗後重跑、重複填入同一日期範圍,或手動重新觸發工作,都不會產生重複列或損壞狀態。
  • 處理保證 描述每個記錄影響結果的次數。 至少一次處理能確保所有紀錄都能被處理,但失敗並重試時,有些紀錄可能會重複處理,這可能導致重複。 恰好一次處理可保證每筆記錄對結果造成的影響,都如同只被處理過一次,即使在重試的情況下也是如此,且不會重複,也不會遺漏。

Lakeflow 管線對其所管理的部分預設具冪等性,並且在其自身管理的資料表中提供恰好一次處理。 重要的是要了解這些保證何時不再自動,這樣你才能在管道邊緣加入適當的防護措施。

運作原理

Lakeflow 管線為其管理的資料流提供恰好一次處理和冪等性,並提供工具讓你撰寫的邏輯也能保持冪等性。

管理資料表的精確一次處理

在受控資料表中,預設即可實現恰好一次處理。 串流資料表使用 Structured Streaming 檢查點並結合 Delta Lake 的交易式寫入:每個微批次都會一併提交其來源偏移量與輸出,因此失敗後重試的批次要麼完全成功,要麼完全回滾後再重試,絕不會有部分內容被重複套用兩次。 這也適用於 Auto Loader 檔案資料擷取、Kafka、Kinesis 和 Azure 事件中樞 的讀取作業,以及 AUTO CDC 更新插入作業,而且完全不需要你撰寫任何程式碼。

如果一個至少一次的來源多次傳送同一條記錄,管線會將它們視為唯一紀錄處理,並將所有記錄寫入你的資料表。 移除那些重複的檔案是你的責任。 請參見至少 一次去重複的來源。

讀取操作的冪等性同樣源自這些檢查點。 自動載入器與串流表檢查點確保每個來源檔案或偏移量只處理一次以進行狀態追蹤,因此在失敗後重新處理管線更新時,會從檢查點重新處理,而非重新處理或跳過資料。 你可以透過使用基於 spark.readStream 的串流資料表來做到這一點,而不是使用手動撰寫的批次迴圈。 請參閱 串流數據表。

請使用 AUTO CDC 取代手動撰寫的 MERGE

AUTO CDC INTO 就其 keys 和 sequence_by 而言,本質上是冪等的。 重複套用相同的變更記錄,或錯序套用記錄,會產生相同的最終狀態,因為管線會利用序列欄位來判斷一個輸入的列是否真的比儲存的列還新:

CREATE FLOW customers_cdc_flow AS AUTO CDC INTO customers_silver
FROM stream(customers_cdc_bronze)
KEYS (customer_id)
SEQUENCE BY sequence_num
STORED AS SCD TYPE 1;

如果你在 AUTO CDC 之外自行撰寫 upsert 邏輯(這種情況很少見,但面對複雜的合併條件時有時是必要的),應以穩定的業務鍵作為依據,並確保可安全地重複套用兩次,例如使用以 order_id 為鍵的 MERGE ... WHEN MATCHED,而不是盲目地使用 INSERT。 欲了解更多資訊,請參閱 AUTO CDC API:簡化使用管線進行變更資料擷取。

保持你自己的轉換為冪等

為了在重新執行寫入作業時保持邏輯的冪等性,請遵循以下兩項指引:

  • 避免在具體化視圖中使用非確定性轉換。 由於實體化檢視表可進行完整或增量重新計算,請避免使用其輸出取決於執行時機而非輸入內容為何的函式。 例如,不要用 current_timestamp() 來計算一個寫入後應該保持不變的業務值;取出來源事件的時間戳記或作為參數傳入,讓重新計算產生相同的輸出。
  • 設計完整刷新以保障安全。 完整刷新會刪除資料表並從頭重新計算,只有在每個上游來源仍能提供完整的歷史資料時,這樣做才安全。 如果上游來源僅提供變更的滾動視窗,下游 AUTO CDC 資料表的完全重新整理可能會在不知不覺中遺失歷史資料,因此在設計來源端與 topic 的保留策略時應將此點納入考量。

從邊緣精確瞄準一次

恰好一次不再是自動保證的地方,是在管線可直接控制範圍的邊界處,例如寫入外部系統時。 當你將資料分送到外部系統時,請讓寫入操作本身具備冪等性,例如在接收端依鍵值執行 upsert,因為否則重試的微批次可能會將同一批資料寫入兩次。 以下匯入器會從執行者寫入批次的每個分割,並使用冪等性鍵,避免重試批次重複寫入:

from pyspark import pipelines as dp

@dp.foreach_batch_sink(name="orders_to_external_api")
def write_orders_to_api(batch_df, batch_id):
    def write_partition(rows):
        # Open one client per partition.
        for row in rows:
            # Use an idempotency key (order_id) so a retried batch doesn't double-write.
            upsert_to_external_system(key=row.order_id, payload=row.asDict())

    batch_df.select("order_id", "amount").foreachPartition(write_partition)

因為 ForEach sink 會針對每個資料列執行你的程式碼,所以每次寫入都必須是冪等的。 請參見 「處理失敗與重複列」。

如需進一步了解如何將資料寫入外部系統,請參閱 Lakeflow 管線中的接收端。

對至少一次傳遞來源去重

當來源可能會傳送同一筆記錄不只一次時,請在下游進行去重。 將浮水印與 dropDuplicatesWithinWatermark 結合,後者具備浮水印感知能力,且不需要無界的狀態即可偵測重複。 根據可唯一識別事件的欄位去除重複。 當沒有任何單一欄位本身具有唯一性時,識別可以由多個欄位組成。 在以下範例中,點擊序列號僅在其工作階段內是唯一的,因此這兩個欄位合在一起即可識別該事件:

from pyspark import pipelines as dp

@dp.table(name="clicks_deduped")
def clicks_deduped():
    return (
        spark.readStream.table("clicks_bronze")
        .withWatermark("click_ts", "5 minutes")
        .dropDuplicatesWithinWatermark(["session_id", "click_seq_num"])
    )

應從來源的唯一性約束中選擇那些欄位,而不是根據樣本資料中看似彼此相異的欄位來判斷。 當你把那些本來就可能合法重複的欄位當作識別依據時,就會捨棄真實事件。 使用者點擊同一則廣告兩次是常見的例子:若以使用者和廣告作為去重依據,第二次點擊就會被悄悄捨棄。

AUTO CDC的基於金鑰的 upsert 語意也會自然地崩解重複,因此將至少一次資料路由 AUTO CDC 到以穩定商業金鑰為鍵的流程中,是另一種收斂到恰好一次狀態的方式。

Limitations

恰好一次處理適用於受管理的 Delta 到 Delta 流程。 將下列邊緣視為具至少一次語義,並在這些位置加入明確的去重複或冪等寫入邏輯:

  • foreach_batch_sink 以及自訂外部寫入。 Spark 保證每個批次至少會被嘗試一次,但在部分寫入後重試的批次,可能會使某些資料列在外部系統中重複出現。 使外部寫入具備冪等性,例如依自然鍵執行 upsert,或寫入可供接收端據此去重的批次 ID。
  • 卡夫卡就像水槽一樣。 Kafka 主題不像 Delta 那樣支援交易式精確一次寫入,因此在重試將微批次寫入 Kafka 時,可能會產生重複訊息。 若下游消費者對重複項目很敏感,則可在消費者端進行去重,例如依事件 ID 去除重複項目。
  • 使用自訂的 Python 資料來源作為來源。 讀取是否能保證恰好一次,取決於你的來源端實作是否能正確回報偏移量,並從該偏移量恢復。 如果它不追蹤偏移量,就將其視為至少一次(at-least-once)語義,並在下游使用 AUTO CDC 依事件 ID 去重,或依靠 dropDuplicates 以鍵為基礎的 upsert 語意。

根據經驗法則,如果你的整個資料管線都是 Delta-to-Delta(串流資料表和實體化檢視都是透過受管理流程來讀寫 Delta 資料表),你就已經具備僅一次處理保證。 一旦你加入 foreach_batch_sink、非 Delta 接收端,或未經驗證的自訂來源,就將該特定邊緣視為至少一次,並在該處加入冪等寫入或去重邏輯。

其他資源