Usa Lakehouse Real-Time con paneles de IA/BI

Importante

Lakehouse Real-Time (Lakehouse//RT) está en fase Beta y en desarrollo activo. Las características de rendimiento y el conjunto de características admitidos cambiarán antes de la disponibilidad general. Para activarlo en tu cuenta, contacta con tu equipo de cuentas de Azure Databricks.

Puedes usar un almacén Lakehouse//RT para alimentar paneles de IA/BI que requieren respuestas en menos de un segundo para cientos o miles de usuarios simultáneos. Usa Lakehouse//RT para crear nuevos paneles que encajen dentro de las limitaciones actuales. No se recomienda migrar un panel existente, ya que los paneles existentes suelen depender de funcionalidades que Lakehouse//RT aún no soporta, como Genie, tablas externas o materialización de vistas métricas.

Uso previsto

Lakehouse//RT ofrece una latencia inferior a un segundo para consultas selectivas que leen una pequeña cantidad de datos. No acelera consultas costosas, como aquellas que escanean grandes cantidades de datos o unen muchas tablas grandes.

Las barreras de seguridad de Lakehouse//RT (ver Guardrails) imponen límites estrictos en lugar de degradarse gradualmente, así que prepara tus cargas de trabajo antes de trasladarlas a un almacén de Lakehouse//RT:

• Optimiza las consultas caras filtrando pronto para que escaneen menos datos.
• Preagrega los resultados con vistas materializadas cuando un panel lee muchos menos datos de los que escanea.

Configura un dashboard en un almacén de datos Lakehouse//RT

Para publicar un panel de control de IA/BI que se ejecute en Lakehouse//RT, crea el almacén y selecciónalo como el almacén del panel:

1. Crea un almacén Lakehouse//RT, igual que cualquier otro almacén SQL. Consulte Lakehouse En tiempo real.
2. Otorga a los usuarios el permiso Puede usar o superior en el almacén. El almacén de datos aparece entonces en el selector de proceso de cálculo de edición de paneles para esos usuarios.
3. En tu dashboard, selecciona el warehouse Lakehouse//RT como warehouse del dashboard.
4. Publica el panel de control como siempre.

Barreras de protección

Para proteger el servicio compartido y de baja latencia, Lakehouse//RT aplica límites de recurso por consulta. Una consulta de panel que supera un límite de protección devuelve un error en lugar de ir lenta, así que diseña tus consultas para que se mantengan cómodamente dentro de esos límites.

Estos valores se establecieron durante las pruebas beta y pueden cambiar antes de la disponibilidad general:

• Duración de la consulta: 2 minutos. Lakehouse//RT cancela una consulta de widget que tarda demasiado. Una consulta que se acerque a este límite no alcanzará el objetivo de menos de un segundo aunque se complete, y es más probable que alcance los límites de reorganización o desbordamiento indicados a continuación. Trátalo como una señal para filtrar más o preagregar.
• Tiempo de espera de la sentencia: 1 minuto por defecto. Puedes configurar el tiempo de espera por sentencia hasta el límite de ejecución de consulta de 2 minutos.
• Bytes de shuffle escritos por etapa: 300 GB. Las uniones o agregaciones amplias en tablas grandes pueden superar este límite. Si una consulta supera ese límite, preagrega con vistas materializadas en lugar de unir tablas grandes en el momento de la consulta.
• Tamaño de spill: 30 GB, cuando spill está habilitado.
• Listado de archivos tras la poda: 10.000 archivos, ajustable hasta 50.000. Si una consulta supera este límite, filtra por particiones o columnas de clustering líquido para que el panel lea solo los archivos que necesita.

Limitations

Los cuadros de mando en un almacén Lakehouse//RT heredan todas las limitaciones de Lakehouse//RT, incluyendo soporte solo para tablas gestionadas por Unity Catalog y solo consultas compatibles SELECT con ANSI. Convierte otros tipos de tablas, como tablas externas, en tablas gestionadas antes de consultarlas.

Las siguientes limitaciones son específicas para los cuadros de mando publicados con un almacén de Lakehouse//RT:

• Genie no es compatible.
• No se soporta la materialización de vistas métricas locales.

Obtención de ayuda

Si sigues teniendo problemas con un panel de control en Lakehouse//RT, recopila la siguiente información y contacta con el soporte de Azure Databricks:

• Los mensajes de error que ves.
• Una exportación de tu perfil de consulta, incluyendo el texto en bruto de la consulta.
• Un enlace a tu panel de control.
• Confirmación de que el mismo error no ocurre en un almacén SQL sin servidor.