Tipos de almacenes de SQL

  • Artículo

Databricks SQL admite los siguientes tipos de almacenes de SQL:

  • Sin servidor
  • Pro
  • Clásico

Cada tipo de almacén de SQL tiene diferentes funcionalidades de rendimiento. En la siguiente tabla se muestran las características de rendimiento admitidas por cada tipo de almacén de SQL.

Photon Engine E/S predictiva Administración inteligente de cargas de trabajo
Sin servidor X X X
Pro X X
Clásico X

En la siguiente lista se describe cada característica de rendimiento:

  • Photon: el motor de consultas vectorizado nativo en Databricks. Agiliza las llamadas API SQL y DataFrame existentes y reduce el coste total por carga de trabajo.

  • E/S predictiva: conjunto de características para acelerar las operaciones de examen selectivo en consultas SQL. La E/S predictiva puede proporcionar una amplia gama de velocidades.

  • Administración inteligente de cargas de trabajo (IWM): un conjunto de características que mejora la capacidad de Databricks SQL sin servidor para procesar un gran número de consultas de forma rápida y rentable. Mediante el uso de técnicas de predicción y administración dinámica con tecnología de inteligencia artificial, IWM funciona para asegurarse de que las cargas de trabajo tienen la cantidad correcta de recursos rápidamente. La diferencia clave radica en las funcionalidades de inteligencia artificial de Databricks SQL para responder dinámicamente a las demandas de carga de trabajo en lugar de usar umbrales estáticos.

    Nota:

    Para conocer los precios de cada tipo de almacenamiento y una comparación de las características detallada, consulte Databricks SQL. Para información sobre las características más recientes de Databricks SQL, consulte Notas de la versión de Databricks SQL.

Diferencias de rendimiento entre los tipos de almacén de SQL

Cada tipo de almacén de SQL tiene características de rendimiento diferentes.

Almacenes de SQL sin servidor

Con la arquitectura sin servidor de Azure Databricks, un almacén de SQL sin servidor admite todas las características de rendimiento de Databricks SQL. Con una instancia de almacén de SQL sin servidor y sus características de rendimiento, obtendrá lo siguiente:

  • Tiempo de inicio rápido (normalmente entre 2 y 6 segundos).
  • Escalado rápido para adquirir más proceso cuando sea necesario para mantener una latencia baja.
  • Admisión de consultas más cerca de la limitación del hardware en lugar de la máquina virtual.
  • Escalado rápido para minimizar los costos cuando la demanda es baja, lo que proporciona un rendimiento coherente con los costos y recursos optimizados.

Para obtener el mejor rendimiento de inicio, E/S más eficaz, el control más inteligente de la demanda de consultas que varía considerablemente con el tiempo y el escalado automático rápido cuando se produce la puesta en cola de consultas, elija un almacén de SQL sin servidor. Consulte Escalado automático sin servidor y puesta en cola de consultas.

Un almacén de SQL sin servidor funciona bien con estos tipos de cargas de trabajo:

  • ETL
  • Business intelligence
  • Análisis exploratorio

Importante

Los almacenes de SQL no admiten el paso a través de credenciales. Databricks recomienda usar Unity Catalog para la gobernanza de datos. Consulte ¿Qué es Unity Catalog?

Almacenamientos de PRO SQL

Un almacenamiento pro SQL admite Photon y E/S predictiva, pero no admite la IWM. Con un almacén de SQL profesional (a diferencia de un almacén de SQL sin servidor), la capa de proceso existe en su cuenta de suscripción de Azure en lugar de en la cuenta de Azure Databricks. Como resultado, un almacén de SQL profesional no admite la IWM, lo que hace que tenga menos capacidad de respuesta a la demanda de consultas que varía considerablemente con el tiempo y no se puede escalar automáticamente como un almacén de SQL sin servidor. Un almacén de SQL profesional tarda varios minutos en iniciarse (normalmente 4 minutos) y se escala verticalmente y reduce verticalmente con menos capacidad de respuesta que un almacén de SQL sin servidor. Consulte Colas y escalado automático para almacenes de SQL clásicos y profesionales.

Use un almacenamiento de SQL profesional cuando:

  • Los almacenes de SQL sin servidor no están disponibles en una región.
  • Tiene redes definidas de forma personalizada y quiere conectarse a bases de datos de la red en la nube o en el entorno local para la federación o una arquitectura de tipo híbrido. Por ejemplo, use un almacenamiento de SQL pro si desea colocar otros servicios en la red, como un bus de eventos o bases de datos, o si desea conectar la red a la red local.

Almacenes de SQL clásicos

Un almacén profesional de SQL admite Photon y E/S predictiva, pero no admite la IWM. Con un almacén de SQL clásico (a diferencia de un almacén de SQL sin servidor), la capa de proceso existe en la cuenta de suscripción de Azure en lugar de en la cuenta de Azure Databricks. Sin compatibilidad con E/S predictiva o IWM, un almacén de SQL clásico solo proporciona un rendimiento de nivel de entrada y menos rendimiento que un almacén de SQL sin servidor o profesional. Un almacén de SQL clásico también tarda varios minutos en iniciarse (normalmente 4 minutos) y se escala verticalmente y reduce verticalmente con menos capacidad de respuesta que un almacén de SQL sin servidor. Consulte Colas y escalado automático para almacenes de SQL clásicos y profesionales.

Use un almacén de SQL clásico para ejecutar consultas interactivas para la exploración de datos con el rendimiento de nivel de entrada y las características de SQL de Databricks.

Nota:

Para obtener información sobre cómo ajustar el tamaño del almacén de SQL y cómo escala en respuesta a la puesta en cola de consultas, consulte Colas y escalado automático para almacenes de SQL clásicos y profesionales.

¿Cuáles son los valores predeterminados del tipo de almacén?

En el caso de las áreas de trabajo de las regiones que admiten almacenes SQL sin servidor y cumplen los requisitos:

  • Con la interfaz de usuario, el tipo predeterminado de almacén de SQL es sin servidor.
  • Con la API de almacenes de SQL con parámetros predeterminados, el tipo de almacén de SQL predeterminado es clásico. Para usar el tipo sin servidor, establezca el parámetro enable_serverless_compute en true y también establezca warehouse_type en pro. Si esta área de trabajo usó la API de almacenes de SQL para crear un almacén entre el 1 de noviembre de 2022 y el 19 de mayo de 2023 y se ajusta a los requisitos de los almacenes de SQL sin servidor, el valor predeterminado se mantiene establecido en true. Para evitar la ambigüedad, especialmente para las organizaciones con muchas áreas de trabajo, Databricks recomienda establecer siempre este campo.
  • Si el área de trabajo usa un metastore de Hive externo heredado, no se admiten almacenes de SQL sin servidor. El tipo predeterminado de almacén de SQL es el mismo que si el proceso sin servidor estuviera deshabilitado, es decir, Pro en la interfaz de usuario y Clásico con la API. Asimismo, póngase en contacto con el equipo de la cuenta de Azure Databricks para obtener más información sobre Unity Catalog u otras opciones.

En el caso de las áreas de trabajo que no admiten almacenes de SQL sin servidor:

  • Con la interfaz de usuario, el tipo predeterminado de almacén de SQL es Pro.
  • Con la API de almacenes de SQL con parámetros predeterminados, el tipo de almacén de SQL predeterminado es clásico.