O que é um lakehouse no Microsoft Fabric?

O Microsoft Fabric Lakehouse é uma plataforma de arquitetura de dados para armazenar, gerenciar e analisar dados estruturados e não estruturados em um único local. É uma solução flexível e escalonável que permite às organizações lidar com grandes volumes de dados, utilizando várias ferramentas e estruturas para processar e analisar esses dados. Ele se integra a outras ferramentas de gerenciamento e análise de dados para fornecer uma solução abrangente para engenharia e análise de dados.

Ponto de extremidade de análise SQL do Lakehouse

O Lakehouse cria uma camada de serviço gerando automaticamente um ponto de extremidade de análise SQL e um modelo semântico padrão durante a criação. Essa nova funcionalidade conferida permite que o usuário trabalhe diretamente sobre as tabelas Delta no lago para proporcionar uma experiência sem atrito e com bom desempenho, desde a ingestão de dados até a geração de relatórios.

É importante observar que o ponto de extremidade de análise SQL é uma experiência somente leitura e não dá suporte à área da superfície T-SQL completa de um data warehouse transacional.

Observação

Somente as tabelas no formato Delta estão disponíveis no ponto de extremidade de análise SQL. Parquet, CSV e outros formatos não podem ser consultados usando o ponto de extremidade de análise SQL. Se você não vir sua tabela, precisará convertê-la para o formato Delta.

Descoberta e registro automáticos de tabelas

A descoberta e o registro automáticos de tabelas são um recurso do Lakehouse que fornece uma experiência de arquivo para tabelas totalmente gerenciado para engenheiros de dados e cientistas de dados. Você pode soltar um arquivo na área gerenciada do Lakehouse e o sistema o valida automaticamente para os formatos estruturados suportados, que atualmente são apenas tabelas Delta, e o registra no metastore com os metadados necessários, como nomes de colunas, formatos, compactação e muito mais. (Atualmente, o único formato com suporte é a tabela Delta.) Em seguida, você pode fazer referência ao arquivo como uma tabela e utilizar a sintaxe do SparkSQL para interagir com os dados.

Interação com o item do Lakehouse

Um engenheiro de dados pode interagir com o Lakehouse e com os dados contidos nele de várias maneiras:

• O explorador do Lakehouse: O explorador é a página principal de interação do Lakehouse. Você pode carregar dados no Lakehouse, explorar dados no Lakehouse utilizando o Pesquisador de Objetos, definir rótulos de MIP, etc. Saiba mais sobre a experiência do explorador: Navegar no explorador do Fabric Lakehouse.

• Notebooks: os engenheiros de dados podem usar o notebook para gravar códigos para fazer a leitura, transformar e gravar diretamente no Lakehouse como tabelas e/ou pastas. Você pode saber mais sobre como usar os notebooks para o Lakehouse: Explore os dados no seu Lakehouse com um notebook e Como utilizar um notebook para carregar dados no seu Lakehouse.

• Pipelines: os engenheiros de dados podem usar ferramentas de integração de dados, como a ferramenta de cópia do pipeline, para extrair dados de outras fontes e colocá-los no Lakehouse. Encontre mais informações sobre como utilizar a atividade de cópia: Como copiar dados utilizando a atividade de cópia.

• Definições de trabalho do Apache Spark: os engenheiros de dados podem desenvolver aplicativos robustos e orquestrar a execução de trabalhos compilados do Spark em Java, Scala e Python. Saiba mais sobre os trabalhos do Spark: O que é uma definição de trabalho do Apache Spark?

• Dataflows Gen 2: os engenheiros de dados podem usar o Dataflows Gen 2 para ingerir e preparar seus dados. Encontre mais informações sobre como carregar dados usando fluxos de dados: Crie seu primeiro fluxo de dados para obter e transformar dados.

Saiba mais sobre as diferentes maneiras de carregar dados em seu lakehouse: Opções para obter dados no Fabric Lakehouse.

Multitarefa com lakehouse

A experiência de multitarefa fornece um design de guias do navegador que permite abrir e alternar entre vários itens de maneira fácil, permitindo que você gerencie seu data lakehouse com mais eficiência do que nunca. Chega de fazer malabarismos entre janelas diferentes ou perder o controle de suas tarefas. O lakehouse fornece uma experiência avançada de multitarefa para tornar seu percurso de gerenciamento de dados o mais eficiente e amigável possível com os seguintes recursos:

• Preservar operações em execução: você pode carregar ou executar a operação de carregamento de dados em uma guia e verificar outra tarefa em uma guia diferente. Com várias tarefas aprimoradas, as operações em execução não são canceladas quando você navega entre as guias. Você pode se concentrar em seu trabalho sem interrupções.

• Manter o contexto: objetos selecionados, tabelas de dados ou arquivos permanecem abertos e prontamente disponíveis quando você alterna entre as guias. O contexto do data lakehouse está sempre ao seu alcance.

• Recarregamento de lista sem bloqueio: um mecanismo de recarregamento sem bloqueio para sua lista de arquivos e tabelas. Você pode continuar trabalhando enquanto a lista é atualizada em segundo plano. Ele garante que você tenha os dados mais recentes ao fornecer uma experiência suave e ininterrupta.

• Notificações claramente definidas: as notificações do sistema especificam de qual lakehouse elas estão vindo, facilitando o controle de alterações e atualizações em seu ambiente multitarefa.

Design acessível do lakehouse

A acessibilidade sempre foi uma prioridade máxima para garantir que o Lakehouse seja inclusivo e amigável para todos. Aqui estão as principais iniciativas que implementamos até agora para dar suporte à acessibilidade:

• Compatibilidade com leitor de tela: você pode trabalhar perfeitamente com leitores de tela populares, permitindo que usuários com deficiência visual naveguem e interajam com nossa plataforma com eficiência.

• Reajuste de texto design responsivo que se adapta a diferentes tamanhos e orientações de tela. O texto e o conteúdo se ajustam dinamicamente, facilitando a exibição e a interação dos usuários com nosso aplicativo em uma variedade de dispositivos.

• Navegação por teclado: navegação aprimorada por teclado para permitir que os usuários se movam pelo lakehouse sem depender de um mouse, melhorando a experiência para pessoas com deficiência motora.

• Texto alternativo para imagens: todas as imagens agora incluem um texto alternativo descritivo, possibilitando que os leitores de tela transmitam informações significativas.

• Campos de formulário e rótulos: todos os campos de formulário têm rótulos associados, simplificando a entrada de dados para todos, incluindo aqueles que usam leitores de tela.

Conteúdo relacionado

Nesta visão geral, você terá uma compreensão básica de um lakehouse. Avance para o próximo artigo para saber como criar e usar seu próprio Lakehouse:

• Para começar a usar lakehouses, consulte Criar um lakehouse no Microsoft Fabric.