Accesos directos de OneLake

Los accesos directos de Microsoft OneLake unifican los datos entre dominios, nubes y cuentas haciendo de OneLake el único lago de datos virtual para toda la empresa. Las experiencias de Fabric y los motores analíticos pueden conectarse a los orígenes de datos existentes, como Azure, Amazon Web Services (AWS) y OneLake a través de un espacio de nombres unificado. OneLake administra todos los permisos y credenciales, por lo que no es necesario configurar por separado cada carga de trabajo de Fabric para conectarse a cada origen de datos. Además, puede usar atajos para eliminar copias periféricas de los datos y reducir la latencia del proceso asociada a copias de datos y almacenamiento temporal.

¿Qué son los accesos directos?

Los accesos directos son objetos de OneLake que apuntan a otras ubicaciones de almacenamiento. La ubicación puede ser interna o externa a OneLake. La ubicación a la que apunta un acceso directo es la ruta de acceso de destino del acceso directo. La ubicación donde aparece el acceso directo es la ruta de acceso directo.

Los accesos directos aparecen como carpetas en OneLake y cualquier carga de trabajo o servicio que tenga acceso a OneLake puede usarlos. Los accesos directos se comportan como vínculos simbólicos. Son un objeto independiente del destino. Si elimina un acceso directo, el destino no se ve afectado. Si mueve, cambia el nombre o elimina una ruta de acceso de destino, el acceso directo puede interrumpirse.

¿Dónde puedo crear accesos directos?

Puede crear accesos directos en los almacenes de lago de datos y las bases de datos de Lenguaje de consulta Kusto (KQL).

Puede usar el portal de Fabric para crear accesos directos de forma interactiva y puede usar la API REST para crear accesos directos mediante programación.

Lakehouse

Al crear accesos directos en un almacén de lago de datos, es importante comprender la estructura de las carpetas del elemento. Lakehouses tiene dos carpetas de nivel superior: la carpeta Tablas y la carpeta Files . La carpeta tables es para conjuntos de datos estructurados. La carpeta files es para datos no estructurados o semiestructurados.

En la carpeta 'Tablas', solo puede crear accesos directos en el nivel superior. OneLake no admite accesos directos en subdirectorios de la carpeta tables. Los accesos directos en la sección de tablas suelen apuntar a fuentes internas dentro de OneLake o vincularse a otros recursos de datos que siguen el formato de tabla Delta. Si el destino del acceso directo contiene datos en el formato Delta Parquet, lakehouse sincroniza automáticamente los metadatos y reconoce la carpeta como una tabla. Los accesos directos de la sección de tablas pueden vincularse a una sola tabla o a un esquema, que es una carpeta primaria para varias tablas.

Nota:

El formato Delta no admite tablas con caracteres de espacio en el nombre. OneLake no reconoce ningún acceso directo que contenga un espacio en el nombre como una tabla Delta en el lago.

En la carpeta files, no hay restricciones sobre dónde puede crear accesos directos. Puede crear accesos directos en cualquier nivel de la jerarquía de carpetas. La detección de tablas no se produce en la carpeta files. Los accesos directos aquí pueden apuntar a sistemas de almacenamiento internos de OneLake y externos con datos en cualquier formato.

Base de datos KQL

Al crear un acceso directo en una base de datos KQL, este aparece en la carpeta Accesos directos de la base de datos. La base de datos KQL trata accesos directos como tablas externas. Para consultar el acceso directo, use la función external_table del Lenguaje de consulta Kusto.

¿Dónde puedo acceder a los accesos directos?

Cualquier servicio de Fabric o que no sea de Fabric que pueda acceder a los datos de OneLake puede usar los accesos directos. Los accesos directos son transparentes para cualquier servicio que acceda a los datos a través de la API de OneLake. Los accesos directos simplemente aparecen como otra carpeta en el lago. Apache Spark, SQL, Inteligencia en Tiempo Real y Servicios de Análisis pueden usar atajos al consultar datos.

Apache Spark

Los cuadernos de Apache Spark y los trabajos de Apache Spark pueden usar los accesos directos que cree en OneLake. Utilice rutas de acceso de archivo relativas para leer datos directamente desde accesos directos. Además, si crea un acceso directo en la sección Tablas del almacén de lago de datos y está en formato Delta, puede leerlo como una tabla administrada mediante la sintaxis SQL de Apache Spark.

df = spark.read.format("delta").load("Tables/MyShortcut")
display(df)

df = spark.sql("SELECT * FROM MyLakehouse.MyShortcut LIMIT 1000")
display(df)

SQL

Los accesos directos de la sección Tablas de un almacén de lago de datos se deben leer mediante el punto de conexión de análisis SQL del almacén de lago. Puede acceder al punto de conexión análisis SQL mediante el selector de modo del almacén de lago de datos o a través de SQL Server Management Studio (SSMS).

SELECT TOP (100) *
FROM [MyLakehouse].[dbo].[MyShortcut]

Inteligencia en tiempo real

Los accesos directos en las bases de datos KQL se reconocen como tablas externas. Para consultar el acceso directo, use la función external_table del Lenguaje de consulta Kusto.

external_table('MyShortcut')
| take 100

Servicios de Análisis

Puede crear modelos semánticos para los almacenes de lago de datos que contienen accesos directos en la sección Tablas del almacén de lago de datos. Cuando el modelo semántico se ejecuta en modo Direct Lake, Analysis Services puede leer datos directamente desde el acceso directo.

Servicios que no son de Fabric

Las aplicaciones y los servicios fuera de Fabric también pueden acceder a accesos directos a través de OneLake API. OneLake admite un subconjunto de las API de ADLS Gen2 y Blob Storage. Para más información sobre la API de OneLake, consulte Acceso a OneLake con las API.

https://onelake.dfs.fabric.microsoft.com/MyWorkspace/MyLakhouse/Tables/MyShortcut/MyFile.csv

Tipos de accesos directos

Los accesos directos de OneLake admiten varios orígenes de datos del sistema de archivos. Estos orígenes incluyen ubicaciones internas de OneLake y orígenes externos o que no son de Microsoft.

También puede crear accesos directos a ubicaciones locales o restringidas a la red mediante la puerta de enlace de datos local (OPDG) de Fabric.

Accesos directos internos de OneLake

Use accesos directos internos de OneLake para hacer referencia a datos dentro de los elementos de Fabric existentes, entre los que se incluyen:

• Bases de datos KQL
• Casas junto al lago
• Catálogos de Azure Databricks reflejados
• Bases de datos en espejo
• Modelos semánticos
• Bases de datos SQL
• Almacenes

Para obtener instrucciones para crear un acceso directo interno, consulte Creación de un acceso directo interno de OneLake.

El acceso directo puede apuntar a una ubicación de carpeta dentro del mismo elemento, entre elementos dentro de la misma área de trabajo o incluso entre elementos de áreas de trabajo diferentes. Al crear un acceso directo entre elementos, no es necesario que los tipos de elemento coincidan. Por ejemplo, puede crear un acceso directo en una instancia de Lakehouse que apunte a los datos de un almacenamiento de datos.

Cuando un usuario accede a los datos desde otra ubicación de OneLake a través de un acceso directo, OneLake usa la identidad del usuario que realiza la llamada para autorizar el acceso a los datos. Este usuario debe tener permisos en la ubicación de destino para leer los datos.

Importante

Cuando los usuarios acceden a accesos directos a través de modelos semánticos de Power BI mediante DirectLake sobre motores SQL o T-SQL en modo de identidad delegada, la identidad del usuario que llama no se pasa al destino del acceso directo. En su lugar, se pasa la identidad del propietario del elemento de llamada, que delega el acceso al usuario que realiza la llamada. Para resolver esta limitación, use modelos semánticos de Power BI en DirectLake a través del modo OneLake o T-SQL en modo de identidad de usuario.

Accesos directos externos de OneLake

Para obtener instrucciones detalladas para crear un tipo de acceso directo específico, seleccione un artículo de esta lista de orígenes externos admitidos:

• Accesos directos de Amazon S3
• Accesos directos compatibles con Amazon S3
• Accesos directos de Azure Data Lake Storage (ADLS) Gen 2
• Accesos directos de Azure Blob Storage
• Accesos directos de Dataverse
• Accesos directos de Google Cloud Storage
• Atajos de Iceberg
• Accesos directos de OneDrive y SharePoint

Almacenamiento en caché

El almacenamiento en caché de atajos puede reducir los costes de salida asociados con el acceso a datos entre diferentes nubes. Como OneLake lee los archivos a través de un acceso directo externo, el servicio almacena los archivos en una memoria caché para el área de trabajo de Fabric. OneLake responde a las solicitudes de lectura posteriores de la memoria caché en lugar del proveedor de almacenamiento remoto. Puede establecer el período de retención para los archivos almacenados en caché entre 1 y 28 días. Cada vez que accede al archivo, se restablece el período de retención. Si el almacenamiento remoto proporciona tiene una versión más reciente del archivo que la versión de la caché, OneLake atiende la solicitud del proveedor de almacenamiento remoto y actualiza el archivo en la memoria caché. Si no tiene acceso a un archivo dentro del período de retención seleccionado, se purga de la memoria caché. Los archivos individuales mayores de 1 GB de tamaño no se almacenan en caché.

Nota:

Actualmente, el almacenamiento en caché de atajos admite atajos de Google Cloud Storage (GCS), S3, compatibles con S3 y puertas de enlace de datos locales.

Para habilitar el almacenamiento en caché para accesos directos, abre el panel Configuración del área de trabajo. Elija la pestaña OneLake. Cambie la configuración de caché a Activado y seleccione el período de retención.

Puede borrar la memoria caché en cualquier momento. En la misma página de configuración, seleccione el botón Restablecer caché. Esta acción elimina todos los archivos de la memoria caché de accesos directos en este espacio de trabajo.

Cómo los accesos directos utilizan conexiones en la nube

Los accesos directos de ADLS y S3 delegan la autorización mediante conexiones en la nube. Al crear un nuevo acceso directo de ADLS o S3, cree una nueva conexión o seleccione una conexión existente para el origen de datos. Establecer una conexión para un acceso directo es una operación de enlace. Solo los usuarios con permisos en la conexión pueden realizar la operación de enlace. Si no tiene permiso en la conexión, no puede crear nuevos accesos directos mediante esa conexión.

Para obtener más información sobre cómo ver y actualizar conexiones en la nube, consulte Administración de conexiones para accesos directos.

Seguridad de acceso directo

Los accesos directos requieren determinados permisos para administrar y usar. OneLake shortcut security (Seguridad de acceso directo de OneLake ) explica los permisos necesarios para crear accesos directos y acceder a los datos a través de ellos.

¿Cómo manejan los accesos directos las eliminaciones?

Los accesos directos no admiten eliminaciones en cascada. Al eliminar un acceso directo, solo se elimina el objeto de acceso directo. Los datos del destino de acceso directo permanecen sin cambios. Sin embargo, si elimina un archivo o una carpeta dentro de un acceso directo y tiene permisos en el objeto de destino del acceso directo para realizar la operación de eliminación, también eliminará el archivo o la carpeta en el objeto de destino.

Por ejemplo, imagine un almacén de lago de datos con la siguiente ruta de acceso: MyLakehouse\Files\MyShortcut\Foo\Bar. MyShortcut es un acceso directo que apunta a una cuenta de ADLS Gen2 que contiene los directorios Foo\Bar.

Si elimina MyLakehouse\Files\MyShortcut, elimina el acceso directo MyShortcut de lakehouse, pero los archivos y directorios de la cuenta de ADLS Gen2 Foo\Bar permanecerán sin cambios.

Si elimina MyLakehouse\Files\MyShortcut\Foo\Bary tiene permisos de escritura en la cuenta de ADLS Gen2, elimine el directorio Bar de la cuenta de ADLS Gen2.

Vista de linaje del área de trabajo

Al crear accesos directos entre varios elementos de Fabric dentro de un área de trabajo, puede visualizar las relaciones de acceso directo a través de la vista de linaje del área de trabajo. Seleccione el botón Vista de linaje ( ) en la esquina superior derecha del explorador del área de trabajo.

Nota:

La vista de linaje se limita a una sola área de trabajo. No aparecen accesos directos a ubicaciones fuera del área de trabajo seleccionada.

Limitaciones y consideraciones

• Cada elemento de Fabric admite hasta 100 000 accesos directos. En este contexto, el término item hace referencia a aplicaciones, lakehouses, almacenes, informes, etc.
• Una única ruta oneLake admite hasta 10 accesos directos.
• El número máximo de accesos directos a los vínculos de acceso directo es 5.
• Los nombres de los accesos directos de OneLake, las rutas primarias y las rutas de destino no pueden contener caracteres "%" o "+".
• Los accesos directos no admiten caracteres no latinos.
• Actualmente, el linaje de los accesos directos a almacenes de datos y modelos semánticos no está disponible.
• Un acceso directo de Fabric se sincroniza con el origen casi al instante, pero el tiempo de propagación puede variar debido al rendimiento del origen de datos, las vistas almacenadas en caché o los problemas de conectividad de red.
• Table API puede tardar hasta un minuto en reconocer nuevos accesos directos.

Contenido relacionado

• Creación de un acceso directo de OneLake
• Uso de las API de REST para las combinaciones de teclas de OneLake