Partilhar via

Usar o Azure Data Factory para ingerir dados em um Produto de Dados do Azure Operator Insights

  • Artigo

Este artigo aborda como configurar o Azure Data Factory para gravar dados em um Produto de Dados do Azure Operator Insights. Para obter mais informações sobre o Azure Data Factory, consulte O que é o Azure Data Factory.

Aviso

Os Produtos de Dados não suportam links privados. Não é possível configurar um link privado entre um Produto de Dados e o Azure Data Factory.

Pré-requisitos

  • Um Produto de Dados implantado: consulte Criar um Produto de Dados do Azure Operator Insights.
  • Permissão para adicionar atribuições de função à instância do Cofre da Chave do Azure para o Produto de Dados.
    • Para encontrar o cofre de chaves, procure um grupo de recursos com um nome que comece por <data-product-name>-HostedResources-; o cofre de chaves está neste grupo de recursos.
  • Uma instância implantada do Azure Data Factory .
  • A função de Colaborador do Data Factory na instância do Data Factory.

Criar um serviço vinculado do Cofre da Chave

Para conectar o Azure Data Factory a outro serviço do Azure, você deve criar um serviço vinculado. Primeiro, crie um serviço vinculado para conectar o Azure Data Factory ao cofre de chaves do Produto de Dados.

  1. No portal do Azure, localize o recurso Azure Data Factory.
  2. No painel Visão geral, inicie o estúdio do Azure Data Factory.
  3. Vá para o modo de exibição Gerenciar , localize Conexões e selecione Serviços Vinculados.
  4. Crie um novo serviço vinculado usando o botão Novo .
    1. Selecione o tipo Azure Key Vault .
    2. Defina o destino para o cofre de chaves do Produto de Dados (o cofre de chaves está no grupo de recursos com nome começando com <data-product-name>-HostedResources- e é nomeado aoi-<uid>-kv).
    3. Defina o método de autenticação como Identidade Gerenciada Atribuída pelo Sistema.
  5. Conceda permissões do Azure Data Factory no recurso Cofre da Chave.
    1. Vá para o cofre de chaves do Produto de Dados no portal do Azure.
    2. No painel Controle de Acesso (IAM), adicione uma nova atribuição de função.
    3. Dê à identidade gerenciada do Data Factory (que tem o mesmo nome do recurso Data Factory) a função 'Usuário de Segredos do Cofre de Chaves'.

Criar um serviço vinculado de Armazenamento de Blobs

Os Produtos de Dados expõem um ponto de extremidade de Armazenamento de Blob para ingestão de dados. Use o serviço vinculado do Cofre da Chave recém-criado para conectar o Azure Data Factory ao ponto de extremidade de ingestão do Produto de Dados.

  1. No portal do Azure, localize o recurso Azure Data Factory.
  2. No painel Visão geral, inicie o estúdio do Azure Data Factory.
  3. Vá para o modo de exibição Gerenciar , localize Conexões e selecione Serviços Vinculados.
  4. Crie um novo serviço vinculado usando o botão Novo .
    1. Selecione o tipo de Armazenamento de Blob do Azure.
    2. Defina o tipo de autenticação como URI SAS.
    3. Escolha Azure Key Vault como a origem.
    4. Selecione o serviço vinculado do Cofre da Chave que você criou em Criar um serviço vinculado do Cofre da Chave.
    5. Defina o nome secreto como input-storage-sas.
    6. Deixe a versão secreta como o valor padrão ('Versão mais recente').

Agora, o Data Factory está conectado ao ponto de extremidade de ingestão do Data Product.

Criar conjuntos de dados de armazenamento de Blob

Para usar o Produto de Dados como o coletor para um pipeline do Data Factory, você deve criar um conjunto de dados de coletor.

  1. No portal do Azure, localize o recurso Azure Data Factory.
  2. No painel Visão geral, inicie o estúdio do Azure Data Factory.
  3. Vá para a visualização Autor -> Adicionar recurso -> Conjunto de dados.
  4. Crie um novo conjunto de dados do Armazenamento de Blobs do Azure.
    1. Selecione o tipo de saída.
    2. Defina o serviço vinculado para o serviço vinculado de ingestão do Produto de Dados que você criou em Criar um serviço vinculado de armazenamento de blob.
    3. Defina o nome do contêiner como o nome do tipo de dados ao qual o conjunto de dados está associado.
      • Essas informações podem ser encontradas na seção Configuração de ingestão necessária da documentação do seu Produto de dados.
      • Por exemplo, consulte Configuração de ingestão necessária para o Monitoring - MCC Data Product.
    4. Verifique se o caminho da pasta inclui pelo menos um diretório; Os arquivos copiados para a raiz do contêiner não serão ingeridos corretamente.
    5. Defina os outros campos conforme apropriado para os seus dados.
  5. Siga a documentação do Azure Data Factory (por exemplo , Criando um pipeline com a interface do usuário) para criar um pipeline com esse novo conjunto de dados como coletor.

Repita esta etapa para todos os conjuntos de dados necessários.

Importante

O Produto de Dados pode usar o prefixo da pasta ou o prefixo do nome do arquivo (isso pode ser definido como parte do pipeline, por exemplo, na Atividade de Cópia) para determinar como processar um arquivo ingerido. Para conhecer os requisitos do Produto de Dados para prefixos de pasta ou prefixos de nome de arquivo, consulte a seção Configuração de ingestão necessária da documentação do Produto de Dados. Por exemplo, consulte Configuração de ingestão necessária para o Monitoring - MCC Data Product.

Criar pipelines de dados

Seu Azure Data Factory agora está configurado para se conectar ao seu Produto de Dados. Para ingerir dados usando essa configuração, você deve seguir a documentação do Data Factory.

  1. Configure uma conexão no Azure Data Factory com o serviço que contém os dados de origem.
  2. Configure pipelines no Azure Data Factory para copiar dados da origem para o seu Produto de Dados, usando os conjuntos de dados criados na última etapa.

Conteúdos relacionados

Aprenda a: