Cumplimiento de esquemas
Azure Databricks valida la calidad de los datos aplicando el esquema en la escritura.
Nota:
En este artículo se describe el comportamiento predeterminado de las tablas en Azure Databricks, que están respaldadas por Delta Lake. La aplicación del esquema no se aplica a las tablas respaldadas por datos externos.
Aplicación de esquema para operaciones de inserción
Azure Databricks aplica las reglas siguientes al insertar datos en una tabla:
- Todas las columnas insertadas deben existir en la tabla de destino.
- Los tipos de datos de todas las columnas deben coincidir con los tipos de datos de las columnas de la tabla de destino.
Nota:
Azure Databricks intenta convertir de forma segura los tipos de datos de columna para que coincidan con la tabla de destino.
Validación del esquema durante las operaciones MERGE
Azure Databricks aplica las siguientes reglas al insertar o actualizar datos como parte de una operación MERGE
:
- Si el tipo de datos de la instrucción de origen no coincide con la columna de destino,
MERGE
intenta convertir de forma segura los tipos de datos de columna para que coincidan con la tabla de destino. - Las columnas que son el destino de una acción
UPDATE
oINSERT
deben existir en la tabla de destino. - Al usar sintaxis
INSERT *
oUPDATE SET *
:- Se omiten las columnas del conjunto de datos de origen que no están presentes en la tabla de destino.
- El conjunto de datos de origen debe tener todas las columnas presentes en la tabla de destino.
Modificar un esquema de tabla
Puede actualizar el esquema de una tabla mediante instrucciones explícitas ALTER TABLE
o mediante la evolución automática del esquema. Consulte Actualización del esquema de tabla de Delta Lake.
La evolución del esquema tiene una semántica especial para las operaciones MERGE
. Consulte Evolución automática del esquema para la combinación de Delta Lake.