將這個微批次提交並附上提交訊息清單。
當所有任務成功執行時,驅動程式會呼叫此方法。 提交訊息是從 write() 每個任務的方法呼叫中收集並傳遞給該方法。 實作應利用提交訊息將微批次提交到串流匯入。
語法
commit(messages: List[Optional[WriterCommitMessage]], batchId: int)
參數
| 參數 | 類型 | 說明 |
|---|---|---|
messages |
WriterCommitMessage 列表 | 一份提交訊息清單。 若寫入任務失敗,提交訊息將為 None。 |
batchId |
int | 一個整數,唯一識別正在寫入的資料批次。 整數會隨著每處理一個微批次增加1。 |