Use Lakehouse Real-Time com dashboards de IA/BI

Importante

A Lakehouse Real-Time (Lakehouse//RT) está em Beta e a ser ativamente desenvolvida. As características de desempenho e o conjunto de funcionalidades suportadas mudam antes da disponibilidade geral. Para o ativar na sua conta, contacte a equipa da sua conta Azure Databricks.

Pode usar um armazém Lakehouse//RT para alimentar dashboards de IA/BI que exigem respostas em menos de um segundo para centenas a milhares de utilizadores em simultâneo. Use o Lakehouse//RT para construir novos dashboards que se encaixem nas limitações atuais. Migrar um dashboard existente não é recomendado, pois dashboards existentes dependem frequentemente de funcionalidades que o Lakehouse//RT ainda não suporta, como o Genie, tabelas externas ou materialização de vista métrica.

Utilização prevista

O Lakehouse//RT fornece latência inferior a um segundo para consultas seletivas que leem uma pequena quantidade de dados. Não acelera consultas dispendiosas, como aquelas que analisam grandes quantidades de dados ou juntam muitas tabelas grandes.

Os guarda-rails Lakehouse//RT (ver Guardrails) impõem limites rígidos em vez de se degradarem de forma gradual, por isso prepare as suas cargas de trabalho antes de as transferir para um armazém Lakehouse//RT:

• Otimize consultas caras filtrando cedo para que examinem menos dados.
• Pré-agrega resultados com vistas materializadas quando um dashboard lê muito menos dados do que analisa.

Configura um painel de controlo num data warehouse Lakehouse//RT

Para publicar um dashboard de IA/BI que corra no Lakehouse//RT, crie o warehouse e selecione-o como o warehouse do dashboard:

1. Cria um armazém Lakehouse//RT, igual a qualquer outro armazém SQL. Veja Lakehouse em Tempo Real.
2. Conceda aos utilizadores a permissão Podem usar ou superior no armazém. O warehouse aparece então no seletor de computação na criação do dashboard para esses utilizadores.
3. No teu dashboard, seleciona o armazém Lakehouse//RT como armazém do dashboard.
4. Publique o dashboard como de costume.

Barreiras de segurança

Para proteger o serviço partilhado e de baixa latência, o Lakehouse//RT aplica limites de recursos por consulta. Uma consulta de painel que excede um limite devolve um erro em vez de executar lentamente, por isso conceba as suas consultas para se manterem confortavelmente dentro desses limites.

Estes valores foram definidos durante os testes Beta e podem mudar antes da disponibilidade geral:

• Tempo de execução da consulta: 2 minutos. O Lakehouse//RT cancela uma consulta de widget que excede o tempo limite. Uma consulta que se aproxima deste limite não atingirá a meta de menos de um segundo mesmo que seja concluída, e é mais provável que atinja os limites de shuffle ou spill abaixo. Trate-o como um sinal para filtrar mais ou pré-agregar.
• Tempo limite da instrução: 1 minuto por defeito. Pode configurar o timeout por instrução até ao limite de tempo de execução da consulta de 2 minutos.
• Bytes de shuffle escritos por etapa: 300 GB. Junções largas ou agregações entre tabelas grandes podem exceder este limite. Se uma consulta ultrapassá-la, pré-agregue com visualizações materializadas em vez de juntar tabelas grandes no momento da consulta.
• Tamanho do spill: 30 GB, quando o spill está ativado.
• Lista de ficheiros após eliminação: 10.000 ficheiros, ajustável até 50.000. Se uma consulta exceder este limite, filtre por partições ou colunas de liquid clustering para que o dashboard leia apenas os ficheiros necessários.

Limitations

Os dashboards num warehouse Lakehouse//RT herdam todas as limitações de Lakehouse//RT, incluindo suporte apenas para tabelas geridas pelo Unity Catalog e apenas consultas compatíveis SELECT com ANSI. Converta outros tipos de tabelas, como tabelas externas, em tabelas geridas antes de as consultar.

As seguintes limitações são específicas para dashboards publicados num warehouse Lakehouse//RT:

• O Genie não é suportado.
• A materialização de vistas métricas locais não é suportada.

Obter ajuda

Se continuar a ter problemas com um dashboard no Lakehouse//RT, recolha as seguintes informações e contacte o suporte da Azure Databricks:

• As mensagens de erro que vês.
• Uma exportação do teu perfil de consulta, incluindo o texto bruto da consulta.
• Um link para o seu painel de controlo.
• Confirmação de que o mesmo erro não ocorre num armazém SQL serverless.