Partilhar via

Executar modelos do Azure Machine Learning a partir do Fabric, usando pontos de extremidade em lote (visualização)

  • Artigo

APLICA-SE A:Azure CLI ml extension v2 (current)Python SDK azure-ai-ml v2 (current)

Neste artigo, você aprenderá a consumir implantações em lote do Azure Machine Learning do Microsoft Fabric. Embora o fluxo de trabalho use modelos que são implantados em pontos de extremidade em lote, ele também oferece suporte ao uso de implantações de pipeline em lote da Malha.

Importante

Esta funcionalidade está atualmente em pré-visualização pública. Esta versão de pré-visualização é fornecida sem um contrato de nível de serviço e não a recomendamos para cargas de trabalho de produção. Algumas funcionalidades poderão não ser suportadas ou poderão ter capacidades limitadas.

Para obter mais informações, veja Termos Suplementares de Utilização para Pré-visualizações do Microsoft Azure.

Pré-requisitos

  • Obtenha uma assinatura do Microsoft Fabric. Ou inscreva-se para uma avaliação gratuita do Microsoft Fabric.
  • Entre no Microsoft Fabric.
  • Uma subscrição do Azure. Se não tiver uma subscrição do Azure, crie uma conta gratuita antes de começar. Experimente a versão gratuita ou paga do Azure Machine Learning.
  • Uma área de trabalho do Azure Machine Learning. Se você não tiver um, use as etapas em Como gerenciar espaços de trabalho para criar um.
    • Verifique se você tem as seguintes permissões no espaço de trabalho:
      • Criar/gerenciar pontos de extremidade em lote e implantações: use funções Proprietário, colaborador ou função personalizada permitindo Microsoft.MachineLearningServices/workspaces/batchEndpoints/*.
      • Criar implantações ARM no grupo de recursos do espaço de trabalho: use funções Proprietário, colaborador ou função personalizada permitindo Microsoft.Resources/deployments/write no grupo de recursos onde o espaço de trabalho é implantado.
  • Um modelo implantado em um ponto de extremidade em lote. Se você não tiver um, use as etapas em Implantar modelos para pontuação em pontos de extremidade em lote para criar um.
  • Baixe o conjunto de dados de exemplo heart-unlabeled.csv a ser usado para pontuação.

Arquitetura

O Azure Machine Learning não pode acessar diretamente os dados armazenados no OneLake do Fabric. No entanto, você pode usar a capacidade do OneLake para criar atalhos dentro de um Lakehouse para ler e gravar dados armazenados no Azure Data Lake Gen2. Como o Azure Machine Learning dá suporte ao armazenamento do Azure Data Lake Gen2, essa configuração permite que você use o Fabric e o Azure Machine Learning juntos. A arquitetura de dados é a seguinte:

Um diagrama mostrando como as contas de Armazenamento do Azure são usadas para conectar o Fabric ao Azure Machine Learning.

Configurar o acesso aos dados

Para permitir que o Fabric e o Azure Machine Learning leiam e gravem os mesmos dados sem precisar copiá-los, você pode aproveitar os atalhos do OneLake e os armazenamentos de dados do Azure Machine Learning. Ao apontar um atalho do OneLake e um armazenamento de dados para a mesma conta de armazenamento, você pode garantir que o Fabric e o Azure Machine Learning leiam e gravem nos mesmos dados subjacentes.

Nesta seção, você cria ou identifica uma conta de armazenamento a ser usada para armazenar as informações que o ponto de extremidade em lote consumirá e que os usuários do Fabric verão no OneLake. O Fabric suporta apenas contas de armazenamento com nomes hierárquicos habilitados, como o Azure Data Lake Gen2.

Criar um atalho do OneLake para a conta de armazenamento

  1. Abra a experiência Synapse Data Engineering no Fabric.

  2. No painel do lado esquerdo, selecione seu espaço de trabalho Malha para abri-lo.

  3. Abra a casa do lago que você usará para configurar a conexão. Se você ainda não tem uma lakehouse, vá para a experiência de Engenharia de Dados para criar uma lakehouse. Neste exemplo, você usa uma casa de lago chamada trusted.

  4. Na barra de navegação do lado esquerdo, abra mais opções para Arquivos e selecione Novo atalho para abrir o assistente.

    Uma captura de tela mostrando como criar um novo atalho em uma casa do lago.

  5. Selecione a opção Azure Data Lake Storage Gen2 .

    Uma captura de tela mostrando como criar um atalho do Azure Data Lake Storage Gen2.

  6. Na seção Configurações de conexão , cole a URL associada à conta de armazenamento do Azure Data Lake Gen2.

    Uma captura de tela mostrando como configurar a URL do atalho.

  7. Na seção Credenciais de conexão:

    1. Em Conexão, selecione Criar nova conexão.
    2. Para Nome da conexão, mantenha o valor preenchido padrão.
    3. Em Tipo de autenticação, selecione Conta organizacional para usar as credenciais do usuário conectado via OAuth 2.0.
    4. Selecione Entrar para entrar.

  8. Selecione Seguinte.

  9. Configure o caminho para o atalho, relativo à conta de armazenamento, se necessário. Use essa configuração para configurar a pasta para a qual o atalho apontará.

  10. Configure o Nome do atalho. Este nome será um caminho dentro da casa do lago. Neste exemplo, nomeie os conjuntos de dados de atalho.

  11. Guarde as alterações.

Criar um armazenamento de dados que aponte para a conta de armazenamento

  1. Abra o estúdio do Azure Machine Learning.

  2. Vá para seu espaço de trabalho do Azure Machine Learning.

  3. Vá para a seção Dados .

  4. Selecione a guia Datastores .

  5. Selecione Criar.

  6. Configure o armazenamento de dados da seguinte maneira:

    1. Em Nome do Datastore, digite trusted_blob.

    2. Para Tipo de armazenamento de dados, selecione Armazenamento de Blob do Azure.

      Gorjeta

      Por que você deve configurar o Armazenamento de Blobs do Azure em vez do Azure Data Lake Gen2? Os pontos de extremidade em lote só podem gravar previsões em contas de Armazenamento de Blob. No entanto, cada conta de armazenamento do Azure Data Lake Gen2 também é uma conta de armazenamento de blob; portanto, eles podem ser usados de forma intercambiável.

    3. Selecione a conta de armazenamento no assistente, usando a ID da assinatura, a conta de armazenamento e o contêiner de Blob (sistema de arquivos).

      Uma captura de tela mostrando como configurar o armazenamento de dados do Azure Machine Learning.

    4. Selecione Criar.

  7. Certifique-se de que a computação em que o ponto de extremidade em lote está sendo executado tenha permissão para montar os dados nessa conta de armazenamento. Embora o acesso ainda seja concedido pela identidade que invoca o ponto de extremidade, a computação em que o ponto de extremidade em lote é executado precisa ter permissão para montar a conta de armazenamento fornecida. Para obter mais informações, consulte Acessando serviços de armazenamento.

Carregar conjunto de dados de exemplo

Carregue alguns dados de exemplo para o ponto de extremidade usar como entrada:

  1. Vá para o espaço de trabalho do Fabric.

  2. Selecione a casa do lago onde você criou o atalho.

  3. Vá para o atalho de conjuntos de dados.

  4. Crie uma pasta para armazenar o conjunto de dados de exemplo que você deseja pontuar. Nomeie a pasta uci-heart-unlabeled.

  5. Use a opção Obter dados e selecione Carregar arquivos para carregar o conjunto de dados de exemplo heart-unlabeled.csv.

    Uma captura de tela mostrando como carregar dados para uma pasta existente no OneLake.

  6. Carregue o conjunto de dados de exemplo.

    Uma captura de tela mostrando como carregar um arquivo para o OneLake.

  7. O arquivo de exemplo está pronto para ser consumido. Anote o caminho para o local onde você o salvou.

Criar um pipeline de malha para inferência em lote

Nesta seção, você cria um pipeline de inferência de malha para lote em seu espaço de trabalho de malha existente e invoca pontos de extremidade em lote.

  1. Retorne à experiência de Engenharia de Dados (se você já navegou para fora dela), usando o ícone do seletor de experiência no canto inferior esquerdo da sua página inicial.

  2. Abra o espaço de trabalho do Fabric.

  3. Na seção Novo da página inicial, selecione Pipeline de dados.

  4. Nomeie o pipeline e selecione Criar.

    Uma captura de tela mostrando onde selecionar a opção de pipeline de dados.

  5. Selecione a guia Atividades na barra de ferramentas na tela do designer.

  6. Selecione mais opções no final da guia e selecione Azure Machine Learning.

    Uma captura de tela mostrando como adicionar a atividade do Azure Machine Learning a um pipeline.

  7. Vá para a guia Configurações e configure a atividade da seguinte maneira:

    1. Selecione Novo ao lado de Conexão do Azure Machine Learning para criar uma nova conexão com o espaço de trabalho do Azure Machine Learning que contém sua implantação.

      Uma captura de tela da seção de configuração da atividade mostrando como criar uma nova conexão.

    2. Na seção Configurações de conexão do assistente de criação, especifique os valores da ID da assinatura, Nome do grupo de recursos e Nome do espaço de trabalho, onde seu ponto de extremidade está implantado.

      Uma captura de tela mostrando exemplos dos valores para ID de assinatura, nome do grupo de recursos e nome do espaço de trabalho.

    3. Na seção Credenciais de conexão, selecione Conta organizacional como o valor para o Tipo de autenticação para sua conexão. A conta organizacional usa as credenciais do usuário conectado. Como alternativa, você pode usar a entidade de serviço. Nas configurações de produção, recomendamos que você use uma entidade de serviço. Independentemente do tipo de autenticação, verifique se a identidade associada à conexão tem os direitos para chamar o ponto de extremidade em lote que você implantou.

      Uma captura de tela mostrando como configurar o mecanismo de autenticação na conexão.

    4. Salve a conexão. Depois que a conexão é selecionada, o Fabric preenche automaticamente os pontos de extremidade em lote disponíveis no espaço de trabalho selecionado.

  8. Para Ponto de extremidade de lote, selecione o ponto de extremidade de lote que você deseja chamar. Neste exemplo, selecione classificador de coração-....

    Uma captura de tela mostrando como selecionar um ponto de extremidade depois que uma conexão é configurada.

    A seção Implantação em lote é preenchida automaticamente com as implantações disponíveis no ponto de extremidade.

  9. Para Implantação em lote, selecione uma implantação específica na lista, se necessário. Se você não selecionar uma implantação, o Fabric invocará a implantação Padrão sob o ponto de extremidade, permitindo que o criador do ponto de extremidade em lote decida qual implantação será chamada. Na maioria dos cenários, convém manter esse comportamento padrão.

    Uma captura de tela mostrando como configurar o ponto de extremidade para usar a implantação padrão.

Configurar entradas e saídas para o ponto de extremidade em lote

Nesta seção, você configura entradas e saídas do ponto de extremidade em lote. As entradas para pontos de extremidade em lote fornecem dados e parâmetros necessários para executar o processo. O pipeline em lote do Azure Machine Learning no Fabric dá suporte a implantações de modelo e implantações de pipeline. O número e o tipo de entradas fornecidas dependem do tipo de implantação. Neste exemplo, você usa uma implantação de modelo que requer exatamente uma entrada e produz uma saída.

Para obter mais informações sobre entradas e saídas de pontos finais em lote, consulte Noções básicas sobre entradas e saídas em pontos de extremidade em lote.

Configurar a seção de entrada

Configure a seção Entradas de trabalho da seguinte maneira:

  1. Expanda a seção Entradas de trabalho.

  2. Selecione Novo para adicionar uma nova entrada ao seu ponto de extremidade.

  3. Nomeie a entrada input_data. Como você está usando uma implantação de modelo, pode usar qualquer nome. Para implantações de pipeline, no entanto, você precisa indicar o nome exato da entrada que seu modelo está esperando.

  4. Selecione o menu suspenso ao lado da entrada que você acabou de adicionar para abrir a propriedade da entrada (campo nome e valor).

  5. Digite JobInputType o campo Nome para indicar o tipo de entrada que você está criando.

  6. Insira UriFolder o campo Valor para indicar que a entrada é um caminho de pasta. Outros valores suportados para este campo são UriFile (um caminho de arquivo) ou Literal (qualquer valor literal como string ou inteiro). Você precisa usar o tipo certo que sua implantação espera.

  7. Selecione o sinal de adição ao lado da propriedade para adicionar outra propriedade para essa entrada.

  8. Insira Uri o campo Nome para indicar o caminho para os dados.

  9. Insira azureml://datastores/trusted_blob/datasets/uci-heart-unlabeled, o caminho para localizar os dados, no campo Valor . Aqui, você usa um caminho que leva à conta de armazenamento vinculada ao OneLake no Fabric e ao Azure Machine Learning. azureml://datastores/trusted_blob/datasets/uci-heart-unlabeled é o caminho para arquivos CSV com os dados de entrada esperados para o modelo que é implantado no ponto de extremidade em lote. Você também pode usar um caminho direto para a conta de armazenamento, como https://<storage-account>.dfs.azure.com.

    Uma captura de tela mostrando como configurar entradas no ponto de extremidade.

    Gorjeta

    Se a sua entrada for do tipo Literal, substitua a propriedade Uri por 'Value''.

Se o seu endpoint exigir mais entradas, repita as etapas anteriores para cada uma delas. Neste exemplo, as implantações de modelo exigem exatamente uma entrada.

Configurar a seção de saída

Configure a seção Saídas de trabalho da seguinte maneira:

  1. Expanda a seção Saídas de trabalho.

  2. Selecione Novo para adicionar uma nova saída ao seu ponto de extremidade.

  3. Dê o nome output_data à saída. Como você está usando uma implantação de modelo, pode usar qualquer nome. Para implantações de pipeline, no entanto, você precisa indicar o nome exato da saída que seu modelo está gerando.

  4. Selecione o menu suspenso ao lado da saída que você acabou de adicionar para abrir a propriedade da saída (campo nome e valor).

  5. Insira JobOutputType o campo Nome para indicar o tipo de saída que você está criando.

  6. Insira UriFile o campo Valor para indicar que a saída é um caminho de arquivo. O outro valor suportado para este campo é UriFolder (um caminho de pasta). Ao contrário da seção de entrada de trabalho, Literal (qualquer valor literal como string ou inteiro) não é suportado como uma saída.

  7. Selecione o sinal de adição ao lado da propriedade para adicionar outra propriedade para essa saída.

  8. Insira Uri o campo Nome para indicar o caminho para os dados.

  9. Digite @concat(@concat('azureml://datastores/trusted_blob/paths/endpoints', pipeline().RunId, 'predictions.csv'), o caminho para onde a saída deve ser colocada, no campo Valor . Os pontos de extremidade em lote do Azure Machine Learning dão suporte apenas ao uso de caminhos de armazenamento de dados como saídas. Como as saídas precisam ser exclusivas para evitar conflitos, você usou uma expressão dinâmica, @concat(@concat('azureml://datastores/trusted_blob/paths/endpoints', pipeline().RunId, 'predictions.csv'), para construir o caminho.

    Uma captura de tela mostrando como configurar saídas no ponto de extremidade

Se o ponto de extremidade retornar mais saídas, repita as etapas anteriores para cada uma delas. Neste exemplo, as implantações de modelo produzem exatamente uma saída.

(Opcional) Definir as definições do trabalho

Você também pode definir as configurações de trabalho adicionando as seguintes propriedades:

Para implantações de modelo:

Definição Descrição
MiniBatchSize O tamanho do lote.
ComputeInstanceCount O número de instâncias de computação a serem solicitadas pela implantação.

Para implantações de pipeline:

Definição Descrição
ContinueOnStepFailure Indica se o pipeline deve parar de processar nós após uma falha.
DefaultDatastore Indica o armazenamento de dados padrão a ser usado para saídas.
ForceRun Indica se o pipeline deve forçar todos os componentes a serem executados, mesmo que a saída possa ser inferida de uma execução anterior.

Uma vez configurado, você pode testar o pipeline.