Obter dados do armazenamento do Azure
A ingestão de dados é o processo usado para carregar dados de uma ou mais fontes em uma tabela no Azure Data Explorer. Depois de ingeridos, os dados ficam disponíveis para consulta. Neste artigo, você aprenderá a obter dados do armazenamento do Azure (contêiner do ADLS Gen2, contêiner de blobs ou blobs individuais) em uma tabela nova ou existente.
A ingestão pode ser feita como uma operação única ou como um método contínuo. A ingestão contínua só pode ser configurada por meio do portal.
Para obter informações gerais sobre ingestão de dados, consulte Visão geral da ingestão de dados do Azure Data Explorer.
Pré-requisitos
- Uma conta da Microsoft ou uma identidade de usuário Microsoft Entra. Uma assinatura do Azure não é necessária.
- Entre na interface do usuário da Web do Azure Data Explorer.
- Um cluster e um banco de dados do Azure Data Explorer. Crie um cluster e um banco de dados.
- Uma conta de armazenamento.
Obter dados
No menu à esquerda, selecione Consulta.
Clique com o botão direito do mouse no banco de dados em que você deseja ingerir os dados. Selecione Obter dados.
Source
Na janela Obter dados , a guia Origem está selecionada.
Selecione a fonte de dados na lista disponível. Neste exemplo, você está ingerindo dados do armazenamento do Azure.
Configurar
Selecione um banco de dados e uma tabela de destino. Se você quiser ingerir dados em uma nova tabela, selecione + Nova tabela e insira um nome de tabela.
Observação
Os nomes de tabela podem ter até 1024 caracteres, incluindo espaços, alfanuméricos, hifens e sublinhados. Não há suporte para caracteres especiais.
Para adicionar sua origem, selecione Selecionar contêiner ou Adicionar URI.
Se você selecionou Selecionar contêiner, preencha os seguintes campos:
Configuração Descrição do campo Subscription A ID da assinatura em que a conta de armazenamento está localizada. Conta de armazenamento O nome que identifica sua conta de armazenamento. Contêiner O contêiner de armazenamento que você deseja ingerir. Filtros de arquivo (opcional) Caminho da pasta Filtra os dados para ingerir arquivos com um caminho de pasta específico. Extensão de arquivo Filtra dados para ingerir arquivos somente com uma extensão de arquivo específica. Se você selecionou Adicionar URI, cole o cadeia de conexão de armazenamento para um contêiner de blob ou arquivos individuais no campo URI e selecione +.
Observação
- Você pode adicionar até 10 blobs individuais. Cada blob pode ser um máximo de 1 GB descompactado.
- Você pode ingerir até 5.000 blobs de cada contêiner.
Selecione Avançar
Inspecionar
A guia Inspecionar é aberta com uma visualização dos dados.
Para concluir o processo de ingestão, selecione Concluir.
Como opção:
- Selecione Visualizador de comandos para exibir e copiar os comandos automáticos gerados de suas entradas.
- Use a lista suspensa Arquivo de definição de esquema para alterar o arquivo do qual o esquema é inferido.
- Altere o formato de dados inferido automaticamente selecionando o formato desejado na lista suspensa. Confira Formatos de dados com suporte do Azure Data Explorer para ingestão.
- Editar colunas.
- Explore opções avançadas com base no tipo de dados.
Editar colunas
Observação
- Para formatos tabulares (CSV, TSV, PSV), não é possível mapear uma coluna duas vezes. Para mapear para uma coluna existente, primeiro exclua a nova coluna.
- Não é possível alterar um tipo de coluna existente. Se você tentar mapear para uma coluna com um formato diferente, poderá ficar com colunas vazias.
As alterações que você pode fazer em uma tabela dependem dos seguintes parâmetros:
- O tipo de tabela é novo ou existente
- O tipo de mapeamento é novo ou existente
| Tipo de tabela | Tipo de mapeamento | Ajustes disponíveis |
|---|---|---|
| Nova tabela | Novo mapeamento | Renomear coluna, alterar tipo de dados, alterar fonte de dados, transformação de mapeamento, adicionar coluna, excluir coluna |
| Tabela existente | Novo mapeamento | Adicionar coluna (na qual você pode alterar o tipo de dados, renomear e atualizar) |
| Tabela existente | Mapeamento existente | nenhum |
Transformações de mapeamento
Alguns mapeamentos de formato de dados (Parquet, JSON e Avro) dão suporte a transformações de tempo de ingestão simples. Para aplicar transformações de mapeamento, crie ou atualize uma coluna na janela Editar colunas .
As transformações de mapeamento podem ser executadas em uma coluna do tipo cadeia de caracteres ou datetime, com a origem tendo o tipo de dados int ou long. As transformações de mapeamento com suporte são:
- DateTimeFromUnixSeconds
- DateTimeFromUnixMilliseconds
- DateTimeFromUnixMicroseconds
- DateTimeFromUnixNanoseconds
Opções avançadas com base no tipo de dados
Tabular (CSV, TSV, PSV):
Se você estiver ingerindo formatos tabulares em uma tabela existente, poderá selecionar Manter esquemadetabela atual avançado>. Os dados tabulares não incluem necessariamente os nomes de coluna usados para mapear os dados de origem para as colunas existentes. Quando essa opção é verificada, o mapeamento é feito por ordem e o esquema da tabela permanece o mesmo. Se essa opção estiver desmarcada, novas colunas serão criadas para dados de entrada, independentemente da estrutura de dados.
Para usar a primeira linha como nomes de coluna, selecione Avançado>Primeira linha é cabeçalho de coluna.
JSON:
Para determinar a divisão de colunas de dados JSON, selecioneNíveis AninhadosAvançados>, de 1 a 100.
Se você selecionarIgnorar erros avançados> de formato de dados, os dados serão ingeridos no formato JSON. Se você deixar essa caixa de seleção desmarcada, os dados serão ingeridos no formato multijson.
Resumo
Na janela Preparação de dados, todas as três etapas são marcadas com marcas de marcar verde quando a ingestão de dados é concluída com êxito. Você pode exibir os comandos que foram usados para cada etapa ou selecionar uma cartão para consultar, visualizar ou remover os dados ingeridos.
