Nota:
El acceso a esta página requiere autorización. Puede intentar iniciar sesión o cambiar directorios.
El acceso a esta página requiere autorización. Puede intentar cambiar los directorios.
Importante
Esta característica se encuentra en su versión beta. Para usarlo, un administrador del espacio de trabajo debe activar Actualizaciones Eficientes de Columnas desde la página de Previsualizaciones . Consulte Administrar versiones preliminares de Azure Databricks.
Actualizaciones Eficientes de Columnas (ECU) te permite añadir y rellenar columnas en una tabla Delta Lake sin reescribir columnas sin cambios. Úsalo para rellenar nuevas características, incrustaciones y otros valores derivados en conjuntos de datos existentes.
Añadir una columna cambia el esquema de la tabla sin reescribir los datos existentes. Rellenar esa columna con valores puede requerir reescribir los archivos de datos que contienen las filas afectadas, incluidas las columnas que no han cambiado. Actualizaciones eficientes de columnas evitan esas reescrituras de columnas sin cambios escribiendo los valores de columna actualizados en archivos Parquet separados.
Esto es especialmente útil cuando añades un pequeño número de columnas a una tabla que contiene cargas útiles grandes o embeddings. Las consultas continúan devolviendo una tabla lógica, combinando los datos existentes con los valores actualizados de la columna.
El siguiente diagrama compara la adición y el relleno posterior de una columna. Los bloques grises representan datos de columna existentes, los bloques verdes representan los datos de columna nuevos y los contornos rojos identifican los datos reescritos.
- R: Sin ECU, un relleno sustituye los archivos de datos originales (contornos discontinuos) por archivos que contienen tanto las columnas sin cambios como la nueva columna.
- B: Con ECU, los archivos originales se conservan y los nuevos valores de columna se escriben en archivos separados.
Requirements
- Utilice Databricks Runtime 19 o superior para leer o escribir en una tabla con Actualizaciones Eficientes de Columnas habilitadas.
- Utilice una tabla Delta Lake gestionada por Unity Catalog con commits de catálogo habilitados.
- Activa el seguimiento de filas y los vectores de eliminación en la tabla.
- Utilice mapeo de columnas en modo
id('delta.columnMapping.mode' = 'id'). Este modo debe configurarse cuando se crea la tabla. - Active la Beta desde la página Previews del espacio de trabajo.
Habilitar actualizaciones eficientes de columnas
Puedes habilitar las Actualizaciones Eficientes de Columna cuando creas una tabla o en una tabla existente que cumpla con los requisitos. Revise las limitaciones antes de habilitarlo.
Para crear una tabla con Actualizaciones Eficientes de Columnas habilitadas, configure la propiedad de la delta.enableColumnUpdates-preview tabla junto con las propiedades de las características requeridas:
CREATE TABLE documents (
document_id BIGINT,
description STRING
)
TBLPROPERTIES (
'delta.feature.catalogManaged' = 'supported',
'delta.enableRowTracking' = 'true',
'delta.enableDeletionVectors' = 'true',
'delta.columnMapping.mode' = 'id',
'delta.enableColumnUpdates-preview' = 'true'
);
Para una tabla existente que ya utiliza mapeo de columnas en id modo, habilita confirmaciones de catálogo, seguimiento de filas y vectores de eliminación si no están ya habilitados:
ALTER TABLE documents SET TBLPROPERTIES (
'delta.feature.catalogManaged' = 'supported',
'delta.enableRowTracking' = 'true',
'delta.enableDeletionVectors' = 'true'
);
Luego habilite actualizaciones eficientes de columnas:
ALTER TABLE documents SET TBLPROPERTIES (
'delta.enableColumnUpdates-preview' = 'true'
);
Si encuentras problemas, puedes revertir a las actualizaciones estándar.
Añadir y rellenar una columna
El siguiente ejemplo utiliza una tabla existente documents con una document_id columna y una description columna tipo cadena. Añade una columna que contiene la longitud de cada descripción:
ALTER TABLE documents ADD COLUMN text_length INT;
UPDATE documents
SET text_length = LENGTH(description);
Después de añadir la columna, las filas existentes contienen NULL en text_length hasta que UPDATE rellene sus valores. Actualizaciones eficientes de columnas permiten al backfill escribir los nuevos valores de columna sin reescribir las columnas sin cambios.
Consulta la tabla para inspeccionar los valores rellenados:
SELECT document_id, description, text_length
FROM documents
LIMIT 10;
Actualizaciones eficientes de columnas reducen la cantidad de datos reescritos durante un relleno. La actualización sigue leyendo las columnas de entrada y calculando los nuevos valores.
Habilitar Actualizaciones Eficientes de Columnas no garantiza que todas las actualizaciones UPDATE las utilicen. En algunos casos, Azure Databricks recurre a una actualización estándar que reescribe los archivos de datos afectados. La actualización sigue teniendo éxito y produce los mismos resultados.
Revertir a actualizaciones estándar
Si encuentra problemas con las Actualizaciones Eficientes de Columna, desactive las nuevas actualizaciones de columnas y consolide los archivos de columna existentes:
Dejar de escribir nuevos archivos de columna:
ALTER TABLE documents SET TBLPROPERTIES ( 'delta.enableColumnUpdates-preview' = 'false' );Reescribe archivos de datos que contengan archivos columna usando REORG TABLE:
REORG TABLE documents APPLY (PURGE);
REORG Escribe los valores de columna más recientes en los archivos de datos reescritos, creando una nueva versión de tabla sin archivos columna. Los valores actualizados se conservan. Las versiones anteriores de tablas aún pueden hacer referencia a archivos de columnas.
La función de tabla permanece habilitada en el protocolo de tabla, por lo que las lecturas y escrituras siguen requiriendo Databricks Runtime 19 o superior.
Limitations
- Actualizaciones eficientes de columnas es incompatible con el flujo de datos de cambio en tiempo de escritura (CDF). Consulta change data feed heredado.
- Efficient Column Updates es incompatible con Formato Universal (UniForm).
- No se admiten tablas gestionadas por Apache Iceberg.
-
MERGElas operaciones no utilizan Actualizaciones Eficientes de Columna. - No se admite la eliminación de Efficient Column Updates con
DROP FEATURE. Databricks recomienda que evites habilitarlo en tablas críticas. Para dejar de usar actualizaciones de columnas, consulte Revertir a actualizaciones estándar. - Las canalizaciones de Lakeflow no son compatibles.