Establecimiento del catálogo y el esquema de destino

La sección Ubicación predeterminada de los recursos de datos de la interfaz de usuario de configuración de canalización establece el catálogo y el esquema predeterminados de una canalización. Este catálogo y esquema predeterminados se usan para todas las definiciones de conjunto de datos y lecturas de tabla, a menos que se invalide dentro de la consulta.

Nota:

El modo de publicación heredado usa el LIVE esquema virtual para lograr un comportamiento similar. En el modo de publicación predeterminado (usado por todas las canalizaciones nuevas), se omite la palabra clave LIVE. Consulte el esquema LIVE (heredado).

Establecer como destino un conjunto de datos en un catálogo o esquema diferente

Lakeflow Spark Declarative Pipelines admite la semántica de resolución de identificadores de tres niveles. Databricks recomienda usar identificadores completos para consultas e instrucciones que tienen como destino conjuntos de datos distintos de los valores predeterminados configurados para la canalización. Consulte Resolución de identificadores del Unity Catalog. Por ejemplo, para crear una vista materializada denominada regional_sales en el catálogo main y el esquema stores, que no son los valores predeterminados de la canalización, califique por completo el nombre, como main.stores.regional_sales:

Pitón

from pyspark import pipelines as dp

@dp.materialized_view(name="main.stores.regional_sales")
def func():
  return spark.read.table("partners");

SQL

CREATE OR REPLACE MATERIALIZED VIEW main.stores.regional_sales
  AS SELECT *
  FROM partners;

Pipelimes admiten los comandos SQL USE CATALOG catalog_name y USE SCHEMA schema_name. Ejecute estos comandos para establecer el catálogo actual y el esquema con ámbito en el archivo o cuaderno que contiene estos comandos. Las operaciones que siguen estos comandos en el archivo de código fuente y usan identificadores no calificados o parcialmente calificados se resuelven en el catálogo y el esquema actuales en lugar de los valores predeterminados establecidos en la configuración de canalización. Consulte ¿Cuál es el catálogo y el esquema actuales?.

¿Qué ocurre si un conjunto de datos no existe?

En la tabla siguiente se describe el comportamiento cuando el código fuente de canalización hace referencia a conjuntos de datos que no existen:

Operation	Resultado
Read	Si no existe una tabla, una vista materializada, una tabla de streaming o una vista para el identificador especificado, se produce un error en la actualización.
Escribir	Si para el identificador especificado no existe una vista materializada, tabla de streaming, vista o receptor, la actualización intenta crear el conjunto de datos. Si es necesario, la actualización también crea el esquema especificado.

Importante

Es posible que reciba un mensaje de error que indica que un conjunto de datos no existe si no tiene privilegios suficientes para ver el conjunto de datos.

Debe tener privilegios suficientes para leer, escribir y crear conjuntos de datos con canalizaciones declarativas de Lakeflow Spark. Vea Requisitos.