Obter dados do Amazon S3

A ingestão de dados é o processo de carregar dados de uma ou mais fontes para uma tabela no Azure Data Explorer. Após a ingestão, os dados ficam disponíveis para consulta. Neste artigo, você aprenderá como obter dados do Amazon S3 em uma tabela nova ou existente.

Para mais informações sobre a Amazon S3, veja O que é a Amazon S3?

Para informações gerais sobre a ingestão de dados, consulte Azure Data Explorer resumo geral da ingestão de dados.

Pré-requisitos

• Uma Conta Microsoft ou uma identidade de utilizador da Microsoft Entra. Não precisas de uma subscrição do Azure.
• Iniciar sessão na interface web Azure Data Explorer .
• Um cluster e base de dados do Azure Data Explorer. Crie um cluster e um banco de dados.

Obter dados

1. Selecione Consulta no menu à esquerda.

2. Clique com o botão direito na base de dados onde quer ingerir os dados e depois selecione Obter dados.

   

Fonte

Na janela Obter dados, está selecionada a aba Fonte .

Selecione a fonte de dados na lista disponível. Neste exemplo, ingere dados da Amazon S3.

Configure

1. Selecione um banco de dados e uma tabela de destino. Para ingerir dados numa nova tabela, selecione + Nova tabela e introduza o nome da tabela.

   Observação

   Os nomes das tabelas podem ter até 1.024 caracteres, incluindo espaços, caracteres alfanuméricos, hífens e sublinhados. Não há suporte para caracteres especiais.

2. No campo URI, cole a cadeia de conexão para um bucket único ou um objeto individual no seguinte formato.

   Bucket: https://Nome do Bucket.s3.Nome da Região.amazonaws.com

   Objecto: ObjectName;AwsCredentials=AwsAccessID,AwsSecretKey

   Opcionalmente, você pode aplicar filtros de bucket para filtrar dados de acordo com uma extensão de arquivo específica.

   

   Observação

   A ingestão suporta um tamanho máximo de ficheiro de 6 GB. A recomendação é ingerir arquivos entre 100 MB e 1 GB.

3. Selecione Avançar.

Inspecionar

O separador de inspeção abre-se com uma visualização preliminar dos dados.

Para concluir o processo de ingestão, selecione Concluir.

Opcionalmente:

• Selecione Visualizador de comandos para visualizar e copiar os comandos automáticos gerados a partir de suas entradas.
• Use o menu suspenso do arquivo de definição do esquema para alterar o arquivo do qual o esquema é inferido.
• Altere o formato de dados que foi inferido automaticamente selecionando, a partir do menu pendente, o formato desejado. Consulte os formatos Data suportados pela Azure Data Explorer para ingestão.
• Editar colunas.
• Explore Opções Avançadas com base no Tipo de Dados.

Editar colunas

Observação

• Para formatos tabulares (CSV, TSV, PSV), não é possível mapear uma coluna duas vezes. Para mapear para uma coluna existente, primeiro exclua a nova coluna.
• Não é possível alterar um tipo de coluna existente. Se você tentar mapear para uma coluna com um formato diferente, você pode acabar com colunas vazias.

As alterações que você pode fazer em uma tabela dependem dos seguintes parâmetros:

• O tipo de tabela é novo ou existente
• Tipo de mapeamento é novo ou existente

Tipo de tabela	Tipo de mapeamento	Ajustes disponíveis
Nova tabela	Novo mapeamento	Renomear coluna, alterar tipo de dados, alterar fonte de dados, transformação de mapeamento , adicionar coluna, apagar coluna
Tabela existente	Novo mapeamento	Adicionar coluna (na qual você pode alterar o tipo de dados, renomear e atualizar)
Tabela existente	Mapeamento existente	nenhuma

Mapeando transformações

Alguns mapeamentos de formato de dados (Parquet, JSON e Avro) suportam transformações simples durante a ingestão. Para aplicar transformações de mapeamento, crie ou atualize uma coluna na janela Editar colunas .

As transformações de mapeamento podem ser executadas em uma coluna do tipo string ou datetime, com a fonte tendo o tipo de dados int ou long. As transformações de mapeamento suportadas são:

• Date_Hora_De_Segundos_Unix
• DateTimeFromUnixMilliseconds
• DateTimeFromUnixMicroseconds
• DateTimeFromUnixNanoseconds (DataHoraAPartirDeNanosegundosUnix)

Opções avançadas com base no tipo de dados

Tabela (CSV, TSV, PSV):

• Se estiver a ingerir formatos tabulares numa tabela existente, pode selecionar a opção de mapeamento de tabela e selecionar Usar mapeamento existente. Os dados tabulares não incluem necessariamente os nomes das colunas usadas para mapear os dados de origem para as colunas existentes. Quando essa opção é marcada, o mapeamento é feito por ordem e o esquema da tabela permanece o mesmo.

• Caso contrário, crie um novo mapeamento.

• Para usar a primeira linha como nomes de coluna, selecione Cabeçalho da primeira linha.

  

JSON:

• Para determinar a divisão de colunas dos dados JSON, selecione Níveis aninhados, de 1 a 100.

Resumo

Na janela de preparação de dados , os três passos mostram marcas verdes quando a ingestão de dados termina com sucesso. Pode visualizar os comandos que cada passo utiliza, ou selecionar um cartão para consultar, visualizar ou eliminar os dados ingeridos.

Conteúdo relacionado

• Escrever consultas em Kusto Query Language na interface do usuário da Web
• Tutorial: Aprenda operadores comuns da Kusto Query Language
• Visualize dados com Azure Data Explorer dashboards