Cópia em massa de ficheiros para base de dados

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Este artigo descreve um modelo de solução que pode utilizar para copiar dados a granel de Azure Data Lake Storage Gen2 para Azure Synapse Analytics /SQL do Azure Database.

Sobre este modelo de solução

Este modelo recupera ficheiros de Azure Data Lake Storage Gen2 fonte. Em seguida, itera sobre cada ficheiro na fonte e copia o ficheiro para a loja de dados de destino.

Atualmente, este modelo apenas suporta a cópia de dados no formato DelimitedText . Os ficheiros em outros formatos de dados também podem ser recuperados na loja de dados de origem, mas não podem ser copiados para a loja de dados de destino.

O modelo contém três atividades:

  • Obtenha a atividade de metadados que recupera ficheiros de Azure Data Lake Storage Gen2 e passa-os para a atividade subsequente do ForEach.
  • A atividade forEach obtém ficheiros da atividade Get Metadata e itera cada ficheiro para a atividade Copy .
  • A atividade de cópia reside na atividade do ForEach para copiar cada ficheiro da loja de dados de origem para a loja de dados de destino.

O modelo define os dois parâmetros seguintes:

  • SourceContainer é o caminho do recipiente de raiz onde os dados são copiados na sua Azure Data Lake Storage Gen2.
  • SourceDirectory é o caminho do diretório sob o recipiente raiz onde os dados são copiados na sua Azure Data Lake Storage Gen2.

Como usar este modelo de solução

  1. Abra o Azure Data Factory Studio e selecione o separador Autor com o ícone do lápis.

  2. Passe sobre a secção Pipelines e selecione a elipse que aparece no lado direito. Selecione Pipeline do modelo , em seguida. Screenshot da interface do utilizador da fábrica de dados mostrando o Pipeline a partir do botão do modelo.

  3. Selecione a cópia em massa de ficheiros para o modelo de base de dados e, em seguida, selecione Continue. Screenshot dos ficheiros de cópia a granel para o modelo de base de dados no navegador do modelo.

  4. Crie uma nova ligação à loja de origem da Gen2 como fonte e outra à base de dados para a pia. Em seguida, selecione Use este modelo.

    Screenshot do editor de modelo com fontes de dados de origem e pia realçadas.

  5. Um novo gasoduto é criado como mostrado no seguinte exemplo:

    Reveja o oleoduto

  6. Selecione Debug, introduza os Parâmetros e, em seguida, selecione Terminar.

    Clique em **Debug**

  7. Quando o gasoduto estiver concluído com sucesso, verá resultados semelhantes ao seguinte exemplo:

    Reveja o resultado

Passos seguintes