Ingerir dados em um pool SQL dedicado

Neste artigo, você aprenderá como ingerir dados de uma conta de armazenamento do Azure Data Lake Gen 2 em um pool SQL dedicado no Azure Synapse Analytics.

Pré-requisitos

• Assinatura do Azure: se você não tiver uma assinatura do Azure, crie uma conta gratuita do Azure antes de começar.
• Conta de armazenamento do Azure: você usa o Azure Data Lake Storage Gen 2 como um armazenamento de dados de origem . Se você não tiver uma conta de armazenamento, consulte Criar uma conta de Armazenamento do Azure para conhecer as etapas para criar uma.
• Azure Synapse Analytics: você usa um pool SQL dedicado como um armazenamento de dados de destino.
  • Se você não tiver um espaço de trabalho Synapse existente, consulte Criando um espaço de trabalho Synapse
  • Caso não tenha um pool SQL dedicado existente. consulte Criar um pool SQL dedicado.

Criar serviços ligados

No Azure Synapse Analytics, um serviço associado é onde se definem as suas informações de conexão com outros serviços. Nesta seção, você adicionará um serviço vinculado do Azure Synapse Analytics e do Azure Data Lake Storage Gen2.

1. Abra o Azure Synapse Analytics UX e vá para a guia Gerenciar .
2. Em Conexões externas, selecione Serviços vinculados.
3. Para adicionar um serviço vinculado, selecione Novo.
4. Selecione o bloco Azure Data Lake Storage Gen2 na lista e selecione Continuar.
5. Insira suas credenciais de autenticação. Chave de conta, entidade de serviço e identidade gerenciada são tipos de autenticação atualmente suportados. Selecione testar conexão para verificar se suas credenciais estão corretas. Quando terminar, selecione Criar.
6. Repita as etapas 3 a 5, mas em vez do Azure Data Lake Storage Gen2, selecione o bloco Azure Synapse Analytics e insira as credenciais de conexão correspondentes. Para o Azure Synapse Analytics, a autenticação SQL, a identidade gerenciada e a entidade de serviço são atualmente suportadas.

Criar canalização

Um pipeline contém o fluxo lógico para uma execução de um conjunto de atividades. Nesta seção, você criará um pipeline contendo uma atividade de cópia que ingere dados do ADLS Gen2 em um pool SQL dedicado.

1. Vá para o separador Integrar. Clique no ícone de adicionar ao lado do cabeçalho de pipelines e selecione Pipeline.
2. Em Mover e Transformar no painel de atividades, arraste Copiar dados para o painel do pipeline.
3. Selecione a atividade de cópia e vá para a guia Origem . Selecione Novo para criar um novo conjunto de dados de origem.
4. Selecione Azure Data Lake Storage gen2 como seu armazenamento de dados e selecione continuar.
5. Selecione DelimitedText como seu formato e selecione continuar.
6. No painel de propriedades do conjunto, selecione o serviço vinculado ADLS que você criou. Especifique o caminho do arquivo dos dados de origem e especifique se a primeira linha tem um cabeçalho. Você pode importar o esquema do armazenamento de arquivos ou de um arquivo de exemplo. Selecione OK quando terminar.
7. Vá para a guia Sink. Selecione Novo para criar um novo conjunto de dados de sink.
8. Selecione Azure Synapse Analytics como seu armazenamento de dados e selecione continuar.
9. No painel de propriedades definidas, selecione o serviço vinculado do Azure Synapse Analytics que você criou. Se estiver a escrever numa tabela existente, selecione-a no menu dropdown. Caso contrário, marque Editar e insira o nome da nova tabela. Selecione OK quando terminar
10. Se estiver a criar uma tabela, ative a criação automática de tabela no campo de opção de tabela.

Depurar e publicar linha de produção

Depois de concluir a configuração do pipeline, você pode executar uma execução de depuração antes de publicar seus artefatos para verificar se tudo está correto.

1. Para depurar o pipeline, selecione Depurar na barra de ferramentas. Verá o estado da execução do pipeline no separador Saída, na parte inferior da janela.
2. Quando o pipeline puder ser executado com êxito, na barra de ferramentas superior, selecione Publicar tudo. Esta ação publica entidades (conjuntos de dados e pipelines) que você criou no serviço Synapse Analytics.
3. Aguarde até ver a mensagem Publicado com sucesso. Para ver as mensagens de notificação, selecione o botão de sino no canto superior direito.

Acionar e monotorizar o processo

Nesta etapa, você aciona manualmente o pipeline publicado na etapa anterior.

1. Selecione Adicionar gatilho na barra de ferramentas e, em seguida, selecione Gatilho agora. Na página Execução do pipeline, selecione Finalizar.
2. Vá para a guia Monitor localizada na barra lateral esquerda. Verá uma execução de pipeline que é acionada por um acionador manual. Pode utilizar as ligações na coluna Ações para ver os detalhes das atividades e para voltar a executar o pipeline.
3. Para ver as execuções de atividade associadas à execução do pipeline, selecione o link Exibir execuções de atividade na coluna Ações . Neste exemplo, há apenas uma atividade, portanto, você vê apenas uma entrada na lista. Para obter detalhes sobre a operação de cópia, selecione o link Detalhes (ícone de óculos) na coluna Ações . Selecione Pipeline Runs na parte superior para voltar à visualização Pipeline Runs. Para atualizar a vista, selecione Atualizar.
4. Verifique se seus dados estão escritos corretamente no pool SQL dedicado.

Próximos passos

Para obter mais informações sobre a integração de dados para o Azure Synapse Analytics, consulte o artigo Ingerir dados no Azure Data Lake Storage Gen2 .