¿Qué es el almacenamiento de datos en Microsoft Fabric?

Se aplica a: punto de conexión de análisis SQL y Warehouse en Microsoft Fabric

Microsoft Fabric proporciona a los clientes un producto unificado que aborda todos los aspectos de su patrimonio de datos al ofrecer una plataforma completa de datos SaaS, análisis e inteligencia artificial, centrada en lago y abierta. La base de Microsoft Fabric permite al usuario principiante a través del profesional experimentado aprovechar las cargas de trabajo de base de datos, análisis, mensajería, integración de datos e inteligencia empresarial a través de una experiencia SaaS enriquecida, fácil de usar y compartida con Microsoft OneLake como pieza central.

Una experiencia SaaS centrada en lago creada para cualquier nivel de aptitud

Microsoft Fabric presenta un almacenamiento de datos centrado en lago basado en un motor de procesamiento distribuido de nivel empresarial que permite el rendimiento líder del sector a gran escala, al tiempo que elimina la necesidad de configuración y administración. A través de una experiencia SaaS fácil de usar que está estrechamente integrada con Power BI para facilitar el análisis y la creación de informes, Warehouse en Microsoft Fabric converge el mundo de los lagos de datos y los almacenes con el objetivo de simplificar considerablemente la inversión de una organización en su patrimonio de análisis. Las cargas de trabajo de almacenamiento de datos se benefician de las funcionalidades enriquecidas del motor de SQL sobre un formato de datos abierto, lo que permite a los clientes centrarse en la preparación, el análisis y los informes de datos en una sola copia de sus datos almacenados en Microsoft OneLake.

La instancia de Warehouse se crea para cualquier nivel de aptitud, desde el desarrollador civil hasta el desarrollador profesional, DBA o ingeniero de datos. El amplio conjunto de experiencias integradas en el área de trabajo de Microsoft Fabric permite a los clientes reducir el tiempo de obtención de información al tener un modelo semántico siempre conectado y fácil de consumir que se integra con Power BI en el modo Direct Lake. Esto permite un rendimiento insuperable del sector que garantiza que el informe de un cliente siempre tenga los datos más recientes para el análisis y los informes. Las consultas entre bases de datos se pueden usar para aprovechar rápidamente y sin problemas varios orígenes de datos que abarcan varias bases de datos para obtener conclusiones rápidas y cero duplicaciones de datos.

Almacenes virtuales con consultas entre bases de datos

Microsoft Fabric proporciona a los clientes la capacidad de soportar almacenes virtuales que contienen datos de prácticamente cualquier origen mediante accesos directos. Los clientes pueden crear un almacenamiento virtual mediante la creación de accesos directos a sus datos dondequiera que residan. Un almacén virtual puede constar de datos de OneLake, Azure Data Lake Storage o cualquier otro almacenamiento de proveedor de nube dentro de un único límite y sin duplicación de datos.

Desbloquee sin problemas el valor de una gran variedad de orígenes de datos a través de la riqueza de las consultas entre bases de datos en Microsoft Fabric. La consulta entre bases de datos permite a los clientes aprovechar rápidamente y sin problemas varios orígenes de datos para obtener conclusiones rápidas y con cero duplicaciones de datos. Los datos almacenados en diferentes orígenes se pueden combinar fácilmente, lo que permite a los clientes ofrecer información enriquecida que antes requería un esfuerzo significativo de los equipos de ingeniería e integración de datos.

Las consultas entre bases de datos se pueden crear mediante el Editor de consultas visuales, que ofrece una ruta de acceso sin código para obtener información sobre varias tablas. El Editor de consultas SQL u otras herramientas conocidas, como SQL Server Management Studio (SSMS), también se pueden usar para crear consultas entre bases de datos.

Administración autónoma de cargas de trabajo

Los almacenes de Microsoft Fabric aprovechan un motor de procesamiento de consultas distribuidas líder del sector, que proporciona a los clientes cargas de trabajo que tienen un límite de aislamiento natural. No hay perillas que girar con la asignación autónoma y la renuncia de recursos para ofrecer el mejor rendimiento con escala automática y simultaneidad integrada. El verdadero aislamiento se obtiene separando las cargas de trabajo con características diferentes, lo que garantiza que los trabajos ETL nunca interfieran con sus cargas de trabajo de análisis e informes ad hoc.

Formato abierto para la interoperabilidad sin problemas del motor

Los datos del Warehouse se almacenan en el formato de archivo parquet y se publican como Delta Lake Logs, lo que permite transacciones ACID e interoperabilidad entre motores que puede aprovecharse a través de otras experiencias Microsoft Fabric como Spark, Pipelines, Power BI y Azure Data Explorer. Los clientes ya no necesitan crear varias copias de sus datos para habilitar a los profesionales de datos con diferentes conjuntos de aptitudes. Los ingenieros de datos que están acostumbrados a trabajar en Python pueden aprovechar fácilmente los mismos datos modelados y servidos por un profesional de almacenamiento de datos que está acostumbrado a trabajar en SQL. En paralelo, los profesionales de BI pueden aprovechar rápida y fácilmente los mismos datos para crear un amplio conjunto de visualizaciones en Power BI con rendimiento de registros y sin duplicación de datos.

Separación del almacenamiento y el proceso

El proceso y el almacenamiento se desacoplan en una instancia de Warehouse que permite a los clientes escalar casi de forma instantánea para satisfacer las demandas de su negocio. Esto permite que varios motores de proceso lean desde cualquier origen de almacenamiento compatible con garantías transaccionales ACID sólidas y de seguridad completa.

Ingesta, carga y transformación sencillas a gran escala

Los datos se pueden ingerir en la instancia de Warehouse a través de canalizaciones, flujos de datos, consultas entre bases de datos o el comando COPY INTO. Una vez ingeridos, varios grupos empresariales pueden analizar los datos mediante funcionalidades como el uso compartido y la consulta entre bases de datos. El tiempo hasta obtener la información se acelera a través de una experiencia de BI totalmente integrada mediante una experiencia web de modelado gráfico de datos fácil de usar para realizar consultas en el editor de Warehouse.

Experiencias de almacenamiento de datos en Microsoft Fabric

En esta sección se proporciona información general de dos experiencias de almacenamiento de datos distintas en Microsoft Fabric: el punto de conexión de análisis SQL del almacén de lago y del almacén.

Punto de conexión de análisis SQL del almacén de lago

Un punto de conexión de análisis SQL es un almacenamiento que se genera automáticamente a partir de un almacén de lago en Microsoft Fabric. Un cliente puede realizar la transición desde la vista "Lake" de la instancia de Lakehouse (que admite la ingeniería de datos y Apache Spark) a la vista "SQL" de la misma instancia de Lakehouse. El punto de conexión de análisis SQL es de solo lectura y los datos solo se pueden modificar a través de la vista "Lago" del almacén de lago mediante Spark.

A través del punto de conexión de análisis SQL del almacén de lago, el usuario tiene un subconjunto de comandos SQL que pueden definir y consultar objetos de datos, pero no manipular los datos. Puede realizar las siguientes acciones en el punto de conexión de análisis SQL:

  • Consulte las tablas que hacen referencia a datos en las carpetas de Delta Lake del lago.
  • Cree vistas, TVF insertadas y procedimientos para encapsular la semántica y la lógica de negocios en T-SQL.
  • Administre los permisos en los objetos.

En un área de trabajo de Microsoft Fabric, un punto de conexión de análisis SQL se etiqueta como "Punto de conexión de análisis SQL" en la columna Tipo. Cada almacén de lago tiene un punto de conexión de análisis SQL generado automáticamente que se puede aprovechar mediante herramientas de SQL conocidas como SQL Server Management Studio, Azure Data Studio, el Editor de consultas SQL de Microsoft Fabric.

Screenshot showing the SQL analytics endpoint type in workspace.

Para empezar a trabajar con el punto de conexión de análisis SQL, consulte Juntos es mejor: el almacén de lago y el almacenamiento en Microsoft Fabric.

Synapse: almacenamiento de datos

En un área de trabajo de Microsoft Fabric, una instancia de Synapse Data Warehouse o Warehouse se etiqueta como "Almacén" en la columna Tipo. Una instancia de Warehouse admite transacciones, DDL y consultas DML.

Screenshot showing the Warehouse type in workspace.

A diferencia de un punto de conexión de análisis SQL que solo admite consultas de solo lectura y creación de vistas y TVF, un almacén tiene compatibilidad completa con DDL transaccional y DML, y se crea mediante un cliente. Un almacén se rellena mediante uno de los métodos de ingesta de datos admitidos, como COPY INTO, Pipelines, flujos de datos o opciones de ingesta entre bases de datos, como CREATE TABLE AS SELECT (CTAS), INSERT..SELECT o SELECT INTO.

Para empezar a trabajar con Warehouse, consulte Creación de un almacén en Microsoft Fabric.

Comparación entre un almacén y el punto de conexión de análisis SQL del almacén de lago

En esta sección se describen las diferencias entre el almacén y el punto de conexión de análisis SQL en Microsoft Fabric.

Diagram of the Fabric workspace for data warehousing, including the SQL analytics endpoint and Warehouse.

El punto de conexión de análisis SQL es un almacenamiento de solo lectura que se genera automáticamente tras la creación de un almacén de lago en Microsoft Fabric. Las tablas delta que se crean a través de Spark en un almacén de lago se pueden detectar automáticamente en el punto de conexión de análisis SQL como tablas. El punto de conexión de análisis SQL permite a los ingenieros de datos crear una capa relacional sobre los datos físicos del almacén de lago y exponerlos a herramientas de análisis y generación de informes mediante la cadena de conexión SQL. Los analistas de datos pueden usar T-SQL para acceder a los datos de Lakehouse mediante la experiencia de almacenamiento. Use el punto de conexión de análisis SQL para diseñar el almacenamiento para las necesidades de BI y atender los datos.

Synapse Data Warehouse o Warehouse es un almacenamiento de datos "tradicional" y admite todas las funcionalidades transaccionales de T-SQL como un almacenamiento de datos empresarial. A diferencia de un punto de conexión de análisis SQL, donde se crean automáticamente tablas y datos, tiene el control total de la creación de tablas, la carga, la transformación y la consulta de los datos en el almacenamiento de datos mediante el portal de Microsoft Fabric o los comandos de T-SQL.

Para más información sobre cómo consultar los datos en Microsoft Fabric, consulte Consulta del punto de conexión de análisis SQL o el almacenamiento en Microsoft Fabric.

Comparación de diferentes funcionalidades de almacenamiento

Para atender mejor los casos de uso de análisis, hay una variedad de funcionalidades disponibles para usted. Por lo general, el almacenamiento se puede considerar como un superconjunto de todas las demás funcionalidades, lo que proporciona una relación sinérgica entre todas las demás ofertas de análisis que proporcionan T-SQL.

Dentro del tejido, hay usuarios que pueden necesitar decidir entre un Warehouse, Lakehouse e incluso un dataMart de Power BI.

Oferta de Microsoft Fabric

Almacén

Punto de conexión de análisis SQL del almacén de lago

DataMart de Power BI


Licencias

Fabric o Power BI Premium

Fabric o Power BI Premium

Power BI Premium solo


Funcionalidades principales

Compatible con ACID, almacenamiento de datos completo con compatibilidad con transacciones en T-SQL.

Solo lectura, punto de conexión de análisis SQL generado por el sistema para el almacén de lago para consultas y servicios de T-SQL. Admite el análisis en las tablas Delta de Lakehouse y las carpetas de Delta Lake a las que se hace referencia mediante accesos directos.

Almacenamiento de datos sin código y consultas T-SQL


Perfil del desarrollador

Desarrolladores de SQL o desarrolladores civiles

Ingenieros de datos o desarrolladores de SQL

Solo desarrollador civil


Caso de uso recomendado

  • Almacenamiento de datos para uso empresarial
  • Almacenamiento de datos que admite el uso departamental, de unidad de negocio o autoservicio
  • Análisis de datos estructurados en T-SQL con tablas, vistas, procedimientos y funciones, y compatibilidad con SQL avanzado para BI
  • Exploración y consulta de tablas delta desde el almacén de lago
  • Almacenamiento provisional de datos y zona de archivado para el análisis
  • Arquitectura de medallón del almacén de lago con zonas para el análisis de bronce, plata y oro
  • Emparejamiento con instancias de Warehouse para casos de uso de análisis empresarial
  • Casos de uso de almacenamiento de unidades de negocio o de departamentos pequeños
  • Casos de uso de almacenamiento de datos de autoservicio
  • Zona de aterrizaje para flujos de datos de Power BI y compatibilidad sencilla con SQL para BI

Experiencia de desarrollo

  • Editor de Warehouse con compatibilidad completa con experiencias de interfaz de usuario de ingesta, modelado, desarrollo y consulta de datos de T-SQL para la ingesta, el modelado y la consulta de datos
  • Compatibilidad de lectura y escritura para herramientas propias y de terceros
  • Punto de conexión de análisis SQL del almacén de lago con compatibilidad limitada con T-SQL para vistas, funciones con valores de tabla y consultas SQL
  • Experiencias de interfaz de usuario para el modelado y la consulta
  • Compatibilidad limitada con T-SQL para herramientas propias y de terceros
  • Editor de DataMart con compatibilidad con experiencias de interfaz de usuario y consultas
  • Experiencias de interfaz de usuario para la ingesta, el modelado y la consulta de datos
  • Compatibilidad de solo lectura con herramientas propias y de terceros

Funcionalidades de T-SQL

Compatibilidad completa con DQL, DML y DDL T-SQL, compatibilidad completa con transacciones

Compatibilidad con T-SQL con DQL completo, sin DML, con DDL limitado, como vistas SQL y TVF

Solo DQL completo


Carga de datos

SQL, canalizaciones, flujos de datos

Spark, canalizaciones, flujos de datos, accesos directos

Solo flujos de datos


Compatibilidad con tablas delta

Lee y escribe tablas delta

Lee tablas delta

N/D


Capa de almacenamiento

Formato de datos abiertos: Delta

Formato de datos abiertos: Delta

N/D


Esquema generado automáticamente en el punto de conexión de análisis SQL del almacén de lago

El punto de conexión de análisis SQL administra las tablas generadas automáticamente para que los usuarios del área de trabajo no puedan modificarlas. Los usuarios pueden enriquecer el modelo de base de datos agregando sus propios esquemas SQL, vistas, procedimientos y otros objetos de base de datos.

Para cada tabla delta del almacén de lago, el punto de conexión de análisis SQL genera automáticamente una tabla.

Las tablas del punto de conexión de análisis SQL se crean con un retraso. Una vez creada o actualizada la carpeta o tabla de Delta Lake en el lago, la tabla de almacenamiento que hace referencia a los datos del lago no se creará ni actualizará inmediatamente. Los cambios se aplicarán en el almacén después de 5-10 segundos.

Para los tipos de datos de esquema generados automáticamente para el punto de conexión de análisis SQL, consulte Tipos de datos en Microsoft Fabric.