Partilhar via


Obter dados do OneLake

Neste artigo, você aprenderá como obter dados do OneLake em uma tabela nova ou existente.

Pré-requisitos

Copiar caminho do arquivo do Lakehouse

  1. No seletor de experiências, escolha Engenharia de Dados.

  2. Selecione o ambiente Lakehouse que contém a fonte de dados que você deseja usar.

  3. Coloque o cursor sobre o ficheiro pretendido e selecione o menu Mais e, em seguida, selecione Propriedades.

    Importante

    • Não há suporte para caminhos de pasta.
    • Curingas (*) não são suportados.

    Captura de tela do menu suspenso de um arquivo do Lakehouse. A opção intitulada Propriedades é realçada.

  4. Em URL, selecione o ícone Copiar para área de transferência e salve-o em algum lugar para recuperar em uma etapa posterior.

    Captura de tela do painel Propriedades de um arquivo Lakehouse. O ícone de cópia à direita do URL do ficheiro está realçado.

  5. Volte ao seu espaço de trabalho e selecione um banco de dados KQL.

Origem

  1. Na faixa de opções inferior do banco de dados KQL, selecione Obter dados.

    Na janela Obter dados, a guia Origem está selecionada.

  2. Selecione a fonte de dados na lista disponível. Neste exemplo, você está ingerindo dados do OneLake.

    Captura de ecrã da janela obter dados com o separador origem selecionado.

Configurar

  1. Selecione uma tabela de destino. Se pretender ingerir dados numa nova tabela, selecione +Nova tabela e introduza um nome de tabela.

    Nota

    Os nomes das tabelas podem ter até 1024 caracteres, incluindo espaços, alfanuméricos, hífenes e sublinhados. Não há suporte para caracteres especiais.

  2. No arquivo OneLake, cole o caminho do arquivo Lakehouse copiado em Copiar caminho do arquivo do Lakehouse.

    Nota

    Você pode adicionar até 10 itens de até 1 GB de tamanho descompactado cada.

    Captura de tela da guia configurar com a nova tabela inserida e um caminho de arquivo OneLake adicionado.

  3. Selecione Seguinte.

Inspecionar

A guia Inspecionar é aberta com uma visualização dos dados.

Para concluir o processo de ingestão, selecione Concluir.

Captura de ecrã do separador inspecionar.

Opcionalmente:

Editar colunas

Nota

  • Para formatos tabulares (CSV, TSV, PSV), não é possível mapear uma coluna duas vezes. Para mapear para uma coluna existente, primeiro exclua a nova coluna.
  • Não é possível alterar um tipo de coluna existente. Se você tentar mapear para uma coluna com um formato diferente, você pode acabar com colunas vazias.

As alterações que você pode fazer em uma tabela dependem dos seguintes parâmetros:

  • O tipo de tabela é novo ou existente
  • O tipo de mapeamento é novo ou existente
Tipo de tabela Tipo de mapeamento Ajustes disponíveis
Nova tabela Novo mapeamento Renomear coluna, alterar tipo de dados, alterar fonte de dados, mapear transformação, adicionar coluna, excluir coluna
Tabela existente Novo mapeamento Adicionar coluna (na qual você pode alterar o tipo de dados, renomear e atualizar)
Tabela existente Mapeamento existente nenhum

Captura de ecrã de colunas abertas para edição.

Mapeando transformações

Alguns mapeamentos de formato de dados (Parquet, JSON e Avro) suportam transformações simples em tempo de ingestão. Para aplicar transformações de mapeamento, crie ou atualize uma coluna na janela Editar colunas .

As transformações de mapeamento podem ser executadas em uma coluna do tipo string ou datetime, com a fonte tendo o tipo de dados int ou long. As transformações de mapeamento suportadas são:

  • DateTimeFromUnixSeconds
  • DateTimeFromUnixMilliseconds
  • DateTimeFromUnixMicroseconds
  • DateTimeFromUnixNanoseconds

Opções avançadas com base no tipo de dados

Tabela (CSV, TSV, PSV):

  • Se você estiver ingerindo formatos tabulares em uma tabela existente, poderá selecionar Esquema de tabela de manutenção avançada>. Os dados tabulares não incluem necessariamente os nomes das colunas usadas para mapear os dados de origem para as colunas existentes. Quando essa opção é marcada, o mapeamento é feito por ordem e o esquema da tabela permanece o mesmo. Se essa opção estiver desmarcada, novas colunas serão criadas para os dados de entrada, independentemente da estrutura dos dados.

  • Para usar a primeira linha como nomes de coluna, selecione Avançado>Primeira linha é cabeçalho de coluna.

    Captura de ecrã das opções avançadas de CSV.

JSON:

  • Para determinar a divisão de colunas dos dados JSON, selecione Níveis aninhados avançados>, de 1 a 100.

  • Se você selecionar Ignorar linhas JSON avançadas>com erros, os dados serão ingeridos no formato JSON. Se você deixar essa caixa de seleção desmarcada, os dados serão ingeridos no formato multijson.

    Captura de tela das opções avançadas de JSON.

Resumo

Na janela Preparação de dados, todas as três etapas são marcadas com marcas de seleção verdes quando a ingestão de dados é concluída com êxito. Você pode selecionar um cartão para consultar, soltar os dados ingeridos ou ver um painel do resumo da sua ingestão.

Captura de tela da página de resumo com a ingestão bem-sucedida concluída.