自動載入器無法封存處理過的檔案,因為它沒有來源目錄或移動目的地的寫入許可權。
需要權限
<reason>
若要修正,您可以:
將寫入權限授予來源目錄,並將目的地移動(如果滿足 OR 條件)
將 cleanSource 設定為 'OFF'
你也可以透過將 SQLConf spark.databricks.cloudFiles.cleanSource.disabledDueToAuthorizationErrors 設為「true」來解除封鎖串流。
使用_VOLUMES_FOR_MOVE
無法建立同時限定於來源和移動目的地的雲端訪問令牌。 請在你來源資料的父目錄上定義一個磁碟區,並將卷內的檔案移到另一個目錄。
你也可以透過將 SQLConf spark.databricks.cloudFiles.cleanSource.disabledDueToAuthorizationErrors 設為「true」來解除封鎖您的串流。