Explore e transforme dados em uma casa no lago

  • 6 minutos

Depois de carregar dados na casa do lago, você pode usar várias ferramentas e técnicas para explorá-los e transformá-los, incluindo:

  • Apache Spark: Cada lakehouse do Fabric pode usar pools do Spark por meio de Notebooks ou Definições de Trabalho do Spark para processar dados em arquivos e tabelas no lakehouse usando Scala, PySpark ou Spark SQL.

    • Notebooks: Interfaces de codificação interativas nas quais você pode usar código para ler, transformar e gravar dados diretamente na casa do lago como tabelas e/ou arquivos.

    • Definições de trabalho do Spark: scripts sob demanda ou agendados que usam o mecanismo Spark para processar dados na casa do lago.

  • Ponto de extremidade analítico SQL: Cada lakehouse inclui um ponto de extremidade analítico SQL através do qual você pode executar instruções Transact-SQL para consultar, filtrar, agregar e explorar dados em tabelas lakehouse.

  • Fluxos de dados (Gen2): Além de usar um fluxo de dados para ingerir dados na lakehouse, você pode criar um fluxo de dados para executar transformações subsequentes por meio do Power Query e, opcionalmente, transferir os dados transformados de volta para a Lakehouse.

  • Pipelines de dados: orquestre uma lógica complexa de transformação de dados que opera em dados na lakehouse por meio de uma sequência de atividades (como fluxos de dados, trabalhos do Spark e outras lógicas de fluxo de controle).

Analise e visualize dados em uma casa de lago

Os dados em suas tabelas lakehouse são incluídos em um modelo semântico que define um modelo relacional para seus dados. Você pode editar esse modelo semântico (ou criar outros modelos semânticos), definindo medidas personalizadas, hierarquias, agregações e outros elementos de um modelo semântico. Em seguida, você pode usar o modelo semântico como a fonte para um relatório do Power BI que permite visualizar e analisar os dados.

Ao combinar os recursos de visualização de dados do Power BI com o armazenamento centralizado e o esquema tabular de um data lakehouse, você pode implementar uma solução de análise completa em uma única plataforma.