Compartilhar via

Ingerir dados em um pool de SQL dedicado

Neste artigo, você aprenderá a ingerir dados de uma conta de armazenamento do Azure Data Lake Gen 2 em um pool de SQL dedicado no Azure Synapse Analytics.

Pré-requisitos

  • Assinatura do Azure: se você não tiver uma assinatura do Azure, crie uma conta gratuita do Azure antes de começar.
  • Conta de armazenamento do Azure: você usa o Azure Data Lake Storage Gen 2 como um armazenamento de dados de origem . Se você não tiver uma conta de armazenamento, consulte Criar uma conta de Armazenamento do Azure para ver as etapas para criar uma.
  • Azure Synapse Analytics: Você usa um pool de SQL dedicado como um armazenamento de dados de coletor.

Criar serviços vinculados

No Azure Synapse Analytics, um serviço vinculado é onde você define suas informações de conexão com outros serviços. Nesta seção, você adicionará um serviço vinculado do Azure Synapse Analytics e do Azure Data Lake Storage Gen2.

  1. Abra a UX do Azure Synapse Analytics e vá para a guia Gerenciar .
  2. Em conexões externas, selecione Serviços vinculados.
  3. Para adicionar um serviço vinculado, selecione Novo.
  4. Selecione o bloco do Azure Data Lake Storage Gen2 na lista e selecione Continuar.
  5. Insira suas credenciais de autenticação. A chave de conta, a entidade de serviço e a identidade gerenciada são tipos de autenticação atualmente suportados. Selecione a conexão de teste para verificar se suas credenciais estão corretas. Selecione Criar quando terminar.
  6. Repita as etapas 3 a 5, mas em vez do Azure Data Lake Storage Gen2, selecione o bloco do Azure Synapse Analytics e insira as credenciais de conexão correspondentes. Por Azure Synapse Analytics, autenticação SQL, identidade gerenciada e entidade de serviço têm suporte no momento.

Criar pipeline

Um pipeline contém o fluxo lógico para uma execução de um conjunto de atividades. Nesta seção, você criará um pipeline que contém uma atividade de cópia que ingere dados do ADLS Gen2 em um pool de SQL dedicado.

  1. Vá para a guia Integrar. Selecione o ícone de adição ao lado do cabeçalho de pipelines e selecione Pipeline.
  2. Em Mover e Transformar no painel atividades, arraste Copiar dados no painel da tela do pipeline.
  3. Selecione na atividade de cópia e vá para a guia Origem . Selecione Novo para criar um novo conjunto de dados de origem.
  4. Selecione o Azure Data Lake Storage gen2 como seu armazenamento de dados e selecione continuar.
  5. Selecione DelimitedText como seu formato e selecione continuar.
  6. No painel de propriedades definidas, selecione o serviço vinculado do ADLS que você criou. Especifique o caminho do arquivo dos dados de origem e especifique se a primeira linha tem um cabeçalho. Você pode importar o esquema do repositório de arquivos ou de um arquivo de exemplo. Selecione OK quando terminar.
  7. Vá para a guia Coletor . Selecione Novo para criar um novo conjunto de dados do coletor.
  8. Selecione o Azure Synapse Analytics como seu armazenamento de dados e selecione continuar.
  9. No painel de propriedades do conjunto, selecione o serviço vinculado do Azure Synapse Analytics que você criou. Se você estiver escrevendo em uma tabela existente, selecione-a na lista suspensa. Caso contrário, verifique Editar e insira o novo nome da tabela. Selecione OK quando terminar
  10. Se você estiver criando uma tabela, habilite Criar tabela automaticamente no campo de opção de tabela.

Depurar e publicar o pipeline

Depois de concluir a configuração do pipeline, você pode executar uma execução de depuração antes de publicar seus artefatos para verificar se tudo está correto.

  1. Para depurar o pipeline, selecione Depurar na barra de ferramentas. Você verá o status da execução do pipeline na guia Saída na parte inferior da janela.
  2. Depois que o pipeline puder ser executado com êxito, na barra de ferramentas superior, selecione Publicar Tudo. Essa ação publica entidades (conjuntos de dados e pipelines) que você criou para o serviço do Synapse Analytics.
  3. Aguarde até que você veja a mensagem Publicado com sucesso. Para ver as mensagens de notificação, selecione o botão de sino no canto superior direito.

Acionar e monitorar o pipeline

Nesta etapa, você aciona manualmente o pipeline publicado na etapa anterior.

  1. Selecione Adicionar gatilho na barra de ferramentas e selecione Disparar Agora. Na página Execução do pipeline, selecione Concluir.
  2. Vá para a guia Monitor localizada na barra lateral esquerda. Você verá uma execução do pipeline que é disparada por um gatilho manual. Você pode usar links na coluna Ações para exibir os detalhes da atividade e executar novamente o pipeline.
  3. Para ver as execuções de atividade associadas à execução do pipeline, selecione o link Exibir Execuções de Atividade na coluna Ações . Neste exemplo, há apenas uma atividade, então você vê apenas uma entrada na lista. Para obter detalhes sobre a operação de cópia, selecione o link Detalhes (ícone de óculos) na coluna Ações . Para voltar ao modo de exibição Execuções de Pipeline, selecione Execuções de Pipeline na parte superior. Para atualizar o modo de exibição, selecione Atualizar.
  4. Verifique se os dados foram gravados corretamente no pool de SQL dedicado.

Próximas etapas

Para obter mais informações sobre a integração de dados para o Azure Synapse Analytics, consulte o artigo Ingestão de dados no Azure Data Lake Storage Gen2 .

  • Last updated on