Ejecución de consultas federadas en Microsoft Azure Synapse
Importante
Esta característica está en versión preliminar pública.
En este artículo, se describe cómo configurar Lakehouse Federation para ejecutar consultas federadas en datos de Azure Synapse (SQL Data Warehouse) no administrados por Azure Databricks. Para más información sobre Lakehouse Federation, consulte ¿Qué es Lakehouse Federation?
Para conectarse a una base de datos de Azure Synapse (SQL Data Warehouse) mediante Lakehouse Federation, debe crear lo siguiente en el metastore de Azure Databricks Unity Catalog:
- Una conexión a la base de datos de Azure Synapse (SQL Data Warehouse).
- Un catálogo externo que refleje la base de datos de Azure Synapse (SQL Data Warehouse) en el catálogo de Unity, de modo que pueda usar la sintaxis de consulta y las herramientas de gobernanza de datos del catálogo de Unity para administrar el acceso de usuario de Azure Databricks a la base de datos.
Antes de empezar
Requisitos del área de trabajo:
- Área de trabajo habilitada para Unity Catalog.
Requisitos de proceso:
- Conectividad de red desde el clúster de Databricks Runtime o el almacén de SQL a los sistemas de base de datos de destino. Consulte Recomendaciones de redes para Lakehouse Federation.
- Los clústeres de Azure Databricks deben usar Databricks Runtime 13.3 LTS o superior y el modo de acceso compartido o de usuario único.
- Los almacenes de SQL deben ser Pro o sin servidor.
Permisos necesarios:
- Para crear una conexión, debe ser administrador del metastore o usuario con el privilegio
CREATE CONNECTION
en el metastore de Unity Catalog adjunto al área de trabajo. - Para crear un catálogo externo, debe tener el permiso
CREATE CATALOG
en el metastore, y ser el propietario de la conexión o tener el privilegioCREATE FOREIGN CATALOG
en la conexión.
Los requisitos de permisos adicionales se especifican en cada sección basada en tareas que se indica a continuación.
Crear una conexión
Una conexión especifica una ruta de acceso y las credenciales para acceder a un sistema de base de datos externo. Para crear una conexión, puede usar el Explorador de catálogos o el comando SQL CREATE CONNECTION
en un cuaderno de Azure Databricks o el editor de consultas de Databricks SQL.
Permisos necesarios: administrador del metastore o usuario con el privilegio CREATE CONNECTION
.
Explorador de catálogo
En el área de trabajo de Azure Databricks, haga clic en
Catálogo.
En la parte superior del panel Catálogo, haga clic en el icono
Agregar y seleccione Agregar una conexión en el menú.
Como alternativa, en la página de Acceso rápido, haga clic en el botón Datos externos>, vaya a la pestaña Conexiones y haga clic en Crear conexión.
Escriba un Nombre de conexión descriptivo.
Seleccione un Tipo de conexión de SQLDW.
Introduzca las siguientes propiedades de conexión para la instancia de Azure Synapse.
- Host: por ejemplo,
sqldws-demo.database.windows.net
. - Puerto: por ejemplo,
1433
- trustServerCertificate: el valor predeterminado es
false
. Cuando se establece entrue
, la capa de transporte utiliza SSL para cifrar el canal y omite la cadena de certificados para validar la confianza. Deje este conjunto en el valor predeterminado a menos que tenga una necesidad específica de omitir la validación de confianza. - User
- Contraseña
- Host: por ejemplo,
(Opcional) Haga clic en Probar conexión para confirmar que funcione.
(Opcional) Agregue un comentario.
Haga clic en Crear.
SQL
Ejecute el siguiente comando en un cuaderno o en el editor de consultas de Databricks SQL.
CREATE CONNECTION <connection-name> TYPE sqldw
OPTIONS (
host '<hostname>',
port '<port>',
user '<user>',
password '<password>'
);
Se recomienda usar secretos de Azure Databricks en lugar de cadenas de texto no cifrado para valores confidenciales, como las credenciales. Por ejemplo:
CREATE CONNECTION <connection-name> TYPE sqldw
OPTIONS (
host '<hostname>',
port '<port>',
user secret ('<secret-scope>','<secret-key-user>'),
password secret ('<secret-scope>','<secret-key-password>')
)
Para obtener más información sobre la configuración de secretos, consulte Administración de secretos.
Creación de un catálogo externo
Un catálogo externo refleja una base de datos en un sistema de datos externo para que pueda consultar y administrar el acceso a los datos de esa base de datos mediante Azure Databricks y Unity Catalog. Para crear un catálogo externo, use una conexión al origen de datos que ya se ha definido.
Para crear un catálogo externo, puede usar Catalog Explorer o el comando SQL CREATE FOREIGN CATALOG
en un cuaderno de Azure Databricks o el editor de consultas SQL.
Permisos necesarios: CREATE CATALOG
permiso en el metastore y la propiedad de la conexión o el privilegio CREATE FOREIGN CATALOG
en la conexión.
Explorador de catálogo
En el área de trabajo de Azure Databricks, haga clic en
Catálogo para abrir el Explorador de catálogos.
En la parte superior del panel Catálogo, haga clic en el icono
Agregar y seleccione Agregar un catálogo en el menú.
Como alternativa, en la página Acceso rápido, haga clic en el botón Catálogos y, a continuación, haga clic en el botón Crear catálogo.
Siga las instrucciones para crear catálogos externos en Crear catálogos.
SQL
Ejecute el siguiente comando SQL en un cuaderno o en un editor de consultas SQL. Los elementos entre corchetes son opcionales. Reemplace los valores de marcador de posición:
<catalog-name>
: nombre del catálogo en Azure Databricks.<connection-name>
: El objeto de conexión que especifica el origen de datos, la ruta de acceso y las credenciales de acceso.<database-name>
: nombre de la base de datos que desea reflejar como un catálogo en Azure Databricks.
CREATE FOREIGN CATALOG [IF NOT EXISTS] <catalog-name> USING CONNECTION <connection-name>
OPTIONS (database '<database-name>');
Delegaciones admitidas
Se admiten las siguientes delegaciones:
- Filtros
- Proyecciones
- Límite
- Agregados (Average, Count, Max, Min, StddevPop, StddevSamp, Sum, VarianceSamp)
- Funciones (funciones aritméticas y varias otras, como Alias, Cast y SortOrder)
- Ordenación
No se admiten las siguientes delegaciones:
- Combinaciones
- Funciones de Windows
Asignaciones de tipo de datos
Al leer de Synapse o SQL Data Warehouse a Spark, los tipos de datos se asignan de la siguiente manera:
Tipo de Synapse | Tipo de Spark |
---|---|
decimal, money, numeric, smallmoney | DecimalType |
SMALLINT | ShortType |
tinyint | ByteType |
int | IntegerType |
bigint | LongType |
real | FloatType |
FLOAT | DoubleType |
char, nchar, ntext, nvarchar, text, uniqueidentifier, varchar, xml | StringType |
binary, geography, geometry, image, timestamp, udt, varbinary | BinaryType |
bit | BooleanType |
date | DateType |
datetime, datetime, smalldatetime, time | TimestampType/TimestampNTZType* |
*Cuando se lee desde Synapse/SQL Data Warehouse (SQLDW), SQLDW datetimes
se asigna a Spark TimestampType
si es preferTimestampNTZ = false
(valor predeterminado). SQLDW datetimes
se asigna a TimestampNTZType
si preferTimestampNTZ = true
.
Comentarios
https://aka.ms/ContentUserFeedback.
Próximamente: A lo largo de 2024 iremos eliminando gradualmente GitHub Issues como mecanismo de comentarios sobre el contenido y lo sustituiremos por un nuevo sistema de comentarios. Para más información, vea:Enviar y ver comentarios de