FSCK REPAIR TABLE

  • Artículo

Se aplica a:check marked yes Databricks SQL check marked yes Databricks Runtime

Quita las entradas de archivo del registro de transacciones de una tabla de Delta que ya no se encuentra en el sistema de archivos subyacente. Esto puede ocurrir cuando estos archivos se han eliminado manualmente.

Sintaxis

FSCK REPAIR TABLE table_name [DRY RUN]

Parámetros

  • table_name

    Identifica una tabla de Delta existente. El nombre no debe incluir una especificación temporal.

  • DRY RUN

    Muestra información sobre las entradas de archivo que se quitarían del registro de transacciones de una tabla Delta por FSCK REPAIR TABLE, ya que ya no se pueden encontrar en el sistema de archivos subyacente. Esto puede ocurrir cuando estos archivos se han eliminado manualmente. Las entradas de archivo son una ruta de acceso del archivo de datos o una combinación de una ruta de acceso del archivo de datos y una ruta de acceso de archivo vectorial de eliminación. Las entradas de archivo se incluirán en la salida cuando falte el archivo de datos, cuando falte el archivo vectorial de eliminación o cuando falten ambos.

    De forma predeterminada, DRY RUN solo devuelve los primeros 1000 archivos. Puede aumentar este umbral estableciendo la variable spark.databricks.delta.fsck.maxNumEntriesInResult de SparkSession en un valor superior antes de ejecutar el comando en un cuaderno.

Devoluciones

Para DRY RUN un informe con el formato:

  • dataFilePath STRING NOT NULL
  • dataFileMissing BOOLEAN NOT NULL
  • deletionVectorPath STRING
  • deletionVectorFileMissing BOOLEAN NOT NULL

Ejemplos

— Assume file1.parquet is missing and no DV is expected.
> FSCK REPAIR TABLE t DRY RUN;
  dataFilePath dataFileMissing deletionVectorPath deletionVectorFileMissing
 ------------- --------------- ------------------ -------------------------
 file1.parquet            true               null                     false

— Assume dv1.bin is missing.
> FSCK REPAIR TABLE t DRY RUN;
  dataFilePath dataFileMissing deletionVectorPath deletionVectorFileMissing
 ------------- --------------- ------------------ -------------------------
 file1.parquet           false            dv1.bin                      true