Tipos de almacenes de SQL

Databricks SQL admite tipos sin servidor, profesionales y clásicos. En este artículo se describen las características disponibles para cada tipo y se comparan el rendimiento y las características.

Funcionalidades de rendimiento por tipo

Cada tipo de almacenamiento de SQL tiene diferentes funcionalidades de rendimiento. En la tabla siguiente se muestran las características de rendimiento admitidas por cada tipo de almacenamiento de SQL.

Tipo de almacenamiento	Motor Photon	E/S predictiva	Administración inteligente de cargas de trabajo
Sin servidor	X	X	X
Pros	X	X
Clásico	X

En la lista siguiente se describe cada característica de rendimiento:

• Photon: el motor de consultas vectorizado integrado en Databricks. Hace que las llamadas a sql y DataFrame API existentes sean más rápidas y reducen el costo total por carga de trabajo.

• IO predictivo: Un conjunto de funciones para acelerar las operaciones de escaneo selectivo en consultas SQL. La I/O predictiva puede proporcionar una amplia gama de aceleraciones.

• Administración inteligente de cargas de trabajo (IWM): un conjunto de características que mejora la capacidad de Databricks SQL Serverless para procesar un gran número de consultas de manera rápida y rentable. Mediante el uso de técnicas de predicción y administración dinámica con tecnología de inteligencia artificial, IWM funciona para comprobar que las cargas de trabajo tienen la cantidad correcta de recursos rápidamente. La diferencia clave radica en las funcionalidades de inteligencia artificial de Databricks SQL para responder dinámicamente a las demandas de carga de trabajo en lugar de usar umbrales estáticos.

  Nota:

  Para conocer los precios de cada tipo de almacenamiento y una comparación detallada de características, consulte Databricks SQL. Para obtener información sobre las últimas características de SQL de Databricks, consulte las notas de la versión de Databricks SQL.

Diferencias de rendimiento entre los tipos de SQL Warehouse

Cada tipo de almacenamiento de SQL tiene características de rendimiento diferentes.

Almacenes de SQL sin servidor

Con la arquitectura sin servidor de Azure Databricks, una instancia de SQL Warehouse sin servidor admite todas las características de rendimiento de Databricks SQL. Con una instancia de SQL Warehouse sin servidor y sus características de rendimiento, obtendrá lo siguiente:

• Tiempo de inicio rápido (normalmente entre 2 y 6 segundos).
• Escalado rápido para adquirir más capacidad de computación cuando sea necesario para mantener una latencia baja.
• La capacidad de procesamiento de las consultas se acerca más a las limitaciones del hardware que a la de la máquina virtual.
• Reducción rápida para minimizar los costes cuando la demanda es baja, proporcionando un rendimiento constante con costes y recursos optimizados.

Elija un almacenamiento SQL sin servidor para obtener el mejor rendimiento de inicio, la E/S más eficaz, el control más inteligente de la demanda de consultas que varía considerablemente con el tiempo y el escalado automático rápido cuando se produce la puesta en cola de consultas. Consulte Administración inteligente de cargas de trabajo y escalado automático.

Un almacenamiento de SQL sin servidor funciona bien con estos tipos de cargas de trabajo:

• ETL
• Inteligencia empresarial
• Análisis exploratorio

Importante

Los almacenes de SQL no admiten el paso directo de credenciales. Databricks recomienda usar Unity Catalog para la gobernanza de datos. Consulte ¿Qué es Unity Catalog?

Almacenamientos de PRO SQL

Un almacenamiento pro SQL admite Photon y E/S predictiva, pero no admite Intelligent Workload Management. Con un SQL Warehouse Pro (a diferencia de un SQL Warehouse sin servidor), la capa de proceso existe en la cuenta de suscripción de Azure en lugar de en la cuenta de Azure Databricks. Sin la administración inteligente de cargas de trabajo, los almacenes tienen menos capacidad de respuesta a la demanda de consultas que varía considerablemente con el tiempo y no se pueden escalar automáticamente como un almacenamiento sql sin servidor. Un almacén SQL profesional tarda varios minutos en iniciarse (normalmente alrededor de 4 minutos) y se escala de forma menos receptiva que un almacén SQL sin servidor. Consulte Lógica de puesta en cola y escalado automático.

Use un almacenamiento de SQL pro cuando:

• Los almacenes de SQL sin servidor no están disponibles en una región.
• Tiene redes definidas de forma personalizada y quiere conectarse a bases de datos de la red en la nube o en el entorno local para la federación o una arquitectura de tipo híbrido. Por ejemplo, use un almacenamiento de SQL pro si desea colocar otros servicios en la red, como un bus de eventos o bases de datos, o si desea conectar la red a la red local.

Almacenes de SQL clásicos

Un almacenamiento de SQL clásico admite Photon, pero no admite E/S predictiva ni Administración inteligente de cargas de trabajo. Con una instancia clásica de SQL Warehouse (a diferencia de SQL Warehouse sin servidor), la capa de procesamiento existe en la cuenta de suscripción de Azure en lugar de en la cuenta de Azure Databricks. Sin compatibilidad con la E/S predictiva o la administración inteligente de cargas de trabajo, un almacenamiento de SQL clásico solo proporciona un rendimiento de nivel de entrada y menos rendimiento que un almacenamiento de SQL profesional o sin servidor. Un almacén de SQL clásico también tarda varios minutos en iniciarse (normalmente aproximadamente 4 minutos) y se escala y reduce con menos capacidad de respuesta que un almacén de SQL sin servidor. Consulte Lógica de puesta en cola y escalado automático.

Use un almacenamiento sql clásico para ejecutar consultas interactivas para la exploración de datos con el rendimiento de nivel de entrada y las características de SQL de Databricks.

Nota:

Para obtener información sobre cómo ajustar el tamaño de SQL Warehouse y cómo se escala en respuesta a la cola de consultas, consulte Lógica de puesta en cola y escalado automático.

¿Cuáles son los valores predeterminados del tipo de almacenamiento?

Para espacios de trabajo en regiones que soportan almacenes SQL sin servidor y cumplen los requisitos:

• Con la interfaz de usuario, el tipo de almacenamiento de SQL predeterminado es sin servidor.

• Con la API de sql Warehouses con parámetros predeterminados, el tipo de almacenamiento de SQL predeterminado es clásico. Para usar sin servidor, establezca el parámetro enable_serverless_compute en true y warehouse_type en pro. Si este área de trabajo usó la API de sql Warehouses para crear un almacenamiento entre el 1 de noviembre de 2022 y el 19 de mayo de 2023 y se ajusta a los requisitos de los almacenes de SQL sin servidor, el valor predeterminado permanece establecido en true. Para evitar ambigüedad, especialmente para las organizaciones con muchas áreas de trabajo, Databricks recomienda establecer siempre este campo.

• Si el área de trabajo usa un metastore de Hive externo heredado, no se admiten almacenes sql sin servidor. El tipo de almacén de SQL predeterminado es el mismo que si la computación sin servidor estuviera deshabilitada, que es el modo pro en la interfaz de usuario y el modo clásico mediante la API. Además, póngase en contacto con el equipo de la cuenta de Azure Databricks para obtener más información sobre El catálogo de Unity u otras opciones.

En el caso de las áreas de trabajo que no admiten almacenes sql sin servidor:

• Con la interfaz de usuario, el tipo de almacenamiento de SQL predeterminado es pro.
• Con la API de sql Warehouses con parámetros predeterminados, el tipo de almacenamiento de SQL predeterminado es clásico.