O que é uma casa de lago no Microsoft Fabric?

O Microsoft Fabric Lakehouse é uma plataforma de arquitetura de dados para armazenar, gerenciar e analisar dados estruturados e não estruturados em um único local. É uma solução flexível e escalável que permite que as organizações lidem com grandes volumes de dados usando várias ferramentas e estruturas para processar e analisar esses dados. Ele se integra com outras ferramentas de gerenciamento e análise de dados para fornecer uma solução abrangente para engenharia e análise de dados.

Gif of overall lakehouse experience.

Ponto de extremidade de análise SQL Lakehouse

O Lakehouse cria uma camada de serviço gerando automaticamente um ponto de extremidade de análise SQL e um modelo semântico padrão durante a criação. Esta nova funcionalidade transparente permite que o usuário trabalhe diretamente em cima das tabelas Delta no lago para fornecer uma experiência sem atrito e com desempenho, desde a ingestão de dados até a geração de relatórios.

É importante observar que o ponto de extremidade de análise SQL é uma experiência somente leitura e não suporta toda a área de superfície T-SQL de um data warehouse transacional.

Nota

Somente as tabelas no formato Delta estão disponíveis no ponto de extremidade de análise SQL. Parquet, CSV e outros formatos não podem ser consultados usando o ponto de extremidade de análise SQL. Se você não vir sua tabela, precisará convertê-la para o formato Delta.

Descoberta e registro automáticos de tabelas

A descoberta e o registro automático de tabelas são um recurso da Lakehouse que fornece uma experiência de arquivo para tabela totalmente gerenciada para engenheiros de dados e cientistas de dados. Você pode soltar um arquivo na área gerenciada do Lakehouse e o sistema o valida automaticamente para formatos estruturados suportados e o registra no metastore com os metadados necessários, como nomes de colunas, formatos, compactação e muito mais. (Atualmente, o único formato suportado é a tabela Delta.) Em seguida, você pode fazer referência ao arquivo como uma tabela e usar a sintaxe SparkSQL para interagir com os dados.

Interagindo com o item Lakehouse

Um engenheiro de dados pode interagir com a lakehouse e os dados dentro da lakehouse de várias maneiras:

  • O explorador Lakehouse: O explorador é a página principal de interação Lakehouse. Você pode carregar dados em sua Lakehouse, explorar dados na Lakehouse usando o explorador de objetos, definir rótulos MIP ou várias outras coisas. Saiba mais sobre a experiência do explorador: Navegue pelo explorador Fabric Lakehouse.

  • Notebooks: Os engenheiros de dados podem usar o notebook para escrever código para ler, transformar e gravar diretamente no Lakehouse como tabelas e/ou pastas. Você pode aprender mais sobre como usar blocos de anotações para Lakehouse: Explore os dados em sua lakehouse com um bloco de anotações e Como usar um notebook para carregar dados em sua lakehouse.

  • Pipelines: Os engenheiros de dados podem usar ferramentas de integração de dados, como a ferramenta de cópia de pipeline, para extrair dados de outras fontes e pousar no Lakehouse. Encontre mais informações sobre como usar a atividade de cópia: Como copiar dados usando a atividade de cópia.

  • Definições de trabalho do Apache Spark: Os engenheiros de dados podem desenvolver aplicativos robustos e orquestrar a execução de trabalhos compilados do Spark em Java, Scala e Python. Saiba mais sobre trabalhos do Spark: O que é uma definição de trabalho do Apache Spark?

  • Dataflows Gen 2: Os engenheiros de dados podem usar o Dataflows Gen 2 para ingerir e preparar seus dados. Encontre mais informações sobre como carregar dados usando fluxos de dados: crie seu primeiro fluxo de dados para obter e transformar dados.

Saiba mais sobre as diferentes maneiras de carregar dados em sua casa do lago: Opções para obter dados no Fabric Lakehouse.

Multitarefa com lakehouse

A experiência multitarefa fornece um design de guia do navegador que permite que você abra e alterne entre vários itens sem problemas, permitindo que você gerencie seu data lakehouse com mais eficiência do que nunca. Chega de fazer malabarismos entre janelas diferentes ou perder o controle de suas tarefas. A Lakehouse oferece uma experiência multitarefa aprimorada para tornar sua jornada de gerenciamento de dados o mais eficiente e fácil de usar possível com os seguintes recursos:

  • Preservar operações em execução: você pode carregar ou executar a operação de carregamento de dados em uma guia e verificar outra tarefa em uma guia diferente. Com a multitarefa aprimorada, as operações em execução não são canceladas quando você navega entre guias. Pode concentrar-se no seu trabalho sem interrupções.

  • Mantenha seu contexto: objetos selecionados, tabelas de dados ou arquivos permanecem abertos e prontamente disponíveis quando você alterna entre guias. O contexto do seu data lakehouse está sempre ao seu alcance.

  • Recarga de lista sem bloqueio: um mecanismo de recarga sem bloqueio para sua lista de arquivos e tabelas. Você pode continuar trabalhando enquanto a lista é atualizada em segundo plano. Ele garante que você tenha os dados mais recentes, proporcionando uma experiência suave e ininterrupta.

  • Notificações claramente definidas: as notificações do sistema especificam de qual lakehouse elas vêm, facilitando o controle de alterações e atualizações em seu ambiente multitarefa.

Design acessível da casa do lago

A acessibilidade sempre foi uma prioridade para garantir que o Lakehouse seja inclusivo e fácil de usar para todos. Eis as principais iniciativas que implementámos até agora para apoiar a acessibilidade:

  • Compatibilidade com leitores de tela: Você pode trabalhar perfeitamente com leitores de tela populares, permitindo que usuários com deficiência visual naveguem e interajam com nossa plataforma de forma eficaz.

  • Refluxo de texto Design responsivo que se adapta a diferentes tamanhos de tela e orientações. O texto e o conteúdo refluem dinamicamente, tornando mais fácil para os usuários visualizarem e interagirem com nosso aplicativo em uma variedade de dispositivos.

  • Navegação por teclado: Navegação por teclado melhorada para permitir que os utilizadores se movam pela casa do lago sem depender de um rato, melhorando a experiência para pessoas com deficiências motoras.

  • Texto alternativo para imagens: Todas as imagens agora incluem um texto alternativo descritivo, tornando possível para os leitores de tela transmitir informações significativas.

  • Campos de formulário e rótulos: todos os campos de formulário têm rótulos associados, simplificando a entrada de dados para todos, incluindo aqueles que usam leitores de tela.

Nesta visão geral, você obtém uma compreensão básica de uma casa do lago. Avance para o próximo artigo para aprender a criar e usar sua própria casa no lago: