Azure Machine Learning como um produto de dados para análise em escala de nuvem
O Azure Machine Learning é uma plataforma integrada para gerenciar o ciclo de vida do aprendizado de máquina do início ao fim, incluindo ajuda com a criação, operação e consumo de modelos e fluxos de trabalho de aprendizado de máquina. Alguns benefícios do serviço incluem:
Os recursos ajudam os criadores a aumentar sua produtividade, ajudando-os a gerenciar experimentos, acessar dados, rastrear trabalhos, ajustar hiperparâmetros e automatizar fluxos de trabalho.
A capacidade do modelo de ser explicado, reproduzido, auditado e integrado ao DevOps, além de um modelo de controle de segurança avançado, pode ajudar os operadores a atender aos requisitos de governança e conformidade.
Os recursos de inferência gerenciados e a integração robusta com os serviços de computação e dados do Azure podem ajudar a simplificar como o serviço é consumido.
O Azure Machine Learning abrange todos os aspetos do ciclo de vida da ciência de dados. Ele abrange o armazenamento de dados e o registro do conjunto de dados para a implantação do modelo. Ele pode ser usado para qualquer tipo de aprendizado de máquina, desde o aprendizado de máquina clássico até o aprendizado profundo. Inclui aprendizagem supervisionada e não supervisionada. Quer prefira escrever código Python, R ou utilizar opções de código zero ou low-code, como o designer, pode criar, treinar e acompanhar modelos precisos de aprendizagem automática e aprendizagem profunda numa área de trabalho do Azure Machine Learning.
O Azure Machine Learning, a plataforma Azure e os serviços de IA do Azure podem trabalhar juntos para gerenciar o ciclo de vida do aprendizado de máquina. Um profissional de aprendizado de máquina pode usar o Azure Synapse Analytics, o Banco de Dados SQL do Azure ou o Microsoft Power BI para começar a analisar dados e fazer a transição para o Azure Machine Learning para prototipagem, gerenciamento de experimentação e operacionalização. Nas zonas de aterrissagem do Azure, o Azure Machine Learning pode ser considerado um produto de dados.
Azure Machine Learning em análise em escala de nuvem
Uma base de zona de aterrissagem do Cloud Adoption Framework (CAF), zonas de aterrissagem de dados de análise em escala de nuvem e a configuração do Azure Machine Learning configuram profissionais de aprendizado de máquina com um ambiente pré-configurado para o qual eles podem implantar repetidamente novas cargas de trabalho de aprendizado de máquina ou migrar cargas de trabalho existentes. Esses recursos podem ajudar os profissionais de aprendizado de máquina a ganhar mais agilidade e valor para seu tempo.
Os seguintes princípios de design podem orientar a implementação das zonas de aterrissagem do Azure Machine Learning:
Acesso acelerado a dados: pré-configure os componentes de armazenamento da zona de aterrissagem como armazenamentos de dados no espaço de trabalho do Azure Machine Learning.
Colaboração habilitada: organize espaços de trabalho por projeto e centralize o gerenciamento de acesso para recursos de zona de destino para dar suporte a profissionais de engenharia de dados, ciência de dados e aprendizado de máquina a trabalharem juntos.
Implementação segura: como padrão para cada implantação, siga as práticas recomendadas e use o isolamento de rede, o gerenciamento de identidade e acesso para proteger ativos de dados.
Autoatendimento: os profissionais de aprendizado de máquina podem ganhar mais agilidade e organização explorando opções para implantar novos recursos do projeto.
Separação de preocupações entre gerenciamento de dados e consumo de dados: a passagem de identidade é o tipo de autenticação padrão para o Aprendizado de Máquina e o armazenamento do Azure.
Aplicativo de dados mais rápido (alinhado à origem): as zonas de aterrissagem do Azure Data Factory, Azure Synapse Analytics e Databricks podem ser pré-configuradas para vincular ao Azure Machine Learning.
Observabilidade: O registro central e as configurações de referência podem ajudar a monitorar o ambiente.
Visão geral da implementação
Nota
Esta seção recomenda configurações específicas para análises em escala de nuvem. Ele complementa a documentação do Azure Machine Learning e as práticas recomendadas do Cloud Adoption Framework.
Organização e configuração do espaço de trabalho
Você pode implantar o número de espaços de trabalho de aprendizado de máquina que suas cargas de trabalho exigem e para cada zona de aterrissagem implantada. As seguintes recomendações podem ajudar na sua configuração:
Implante pelo menos um espaço de trabalho de aprendizado de máquina por projeto.
Dependendo do ciclo de vida do seu projeto de aprendizado de máquina, implante um espaço de trabalho de desenvolvimento (desenvolvedor) para protótipos de casos de uso e explore os dados desde o início. Para trabalhos que exigem experimentação, teste e implantação contínuos, implante um espaço de trabalho de preparação e produção.
Quando vários ambientes são necessários para espaços de trabalho de desenvolvimento, preparação e produção em uma zona de aterrissagem de dados, recomendamos evitar a duplicação de dados fazendo com que cada ambiente fique na mesma zona de aterrissagem de dados de produção.
Consulte Organizar e configurar ambientes do Azure Machine Learning para saber mais sobre como organizar e configurar recursos do Azure Machine Learning.
Para cada configuração de recurso padrão em uma zona de aterrissagem de dados, um serviço do Azure Machine Learning é implantado em um grupo de recursos dedicado com as seguintes configurações e recursos dependentes:
- Azure Key Vault
- Application Insights
- Registo de Contentores do Azure
- Use o Aprendizado de Máquina do Azure para se conectar a uma conta de Armazenamento do Azure e a autenticação baseada em identidade do Microsoft Entra para ajudar os usuários a se conectarem à conta.
- O log de diagnóstico é configurado para cada espaço de trabalho e configurado para um recurso central do Log Analytics em escala empresarial; isso pode ajudar a integridade do trabalho do Aprendizado de Máquina do Azure e os status dos recursos a serem analisados centralmente dentro e entre as zonas de aterrissagem.
- Consulte O que é um espaço de trabalho do Azure Machine Learning? para saber mais sobre os recursos e dependências do Azure Machine Learning.
Integração com serviços principais da zona de aterrissagem de dados
A zona de aterrissagem de dados vem com um conjunto padrão de serviços que são implantados na camada de serviços principais. Esses serviços principais podem ser configurados quando o Azure Machine Learning é implantado na zona de aterrissagem de dados.
Conecte espaços de trabalho do Azure Synapse Analytics ou Databricks como serviços vinculados para integrar dados e processar big data.
Por padrão, os serviços de data lake são provisionados na zona de aterrissagem de dados e as implantações de produtos do Azure Machine Learning vêm com conexões (armazenamentos de dados) pré-configuradas para essas contas de armazenamento.
Conectividade de rede
A rede para implementar o Azure Machine Learning nas zonas de aterrissagem do Azure é configurada com práticas recomendadas de segurança para o Azure Machine Learning e as práticas recomendadas de rede do CAF. Essas práticas recomendadas incluem as seguintes configurações:
- O Azure Machine Learning e os recursos dependentes são configurados para usar pontos de extremidade de Link Privado.
- Os recursos de computação gerenciados são implantados somente com endereços IP privados.
- A conectividade de rede com o repositório de imagens de base pública do Azure Machine Learning e serviços de parceiros, como os Artefatos do Azure, pode ser configurada em um nível de rede.
Gestão de identidades e acessos
Considere as seguintes recomendações para gerenciar identidades de usuário e acesso com o Azure Azure Machine Learning:
Os armazenamentos de dados no Azure Machine Learning podem ser configurados para usar a autenticação baseada em credenciais ou identidade. Quando você usa o controle de acesso e as configurações de data lake no Azure Data Lake Storage Gen2, configure os armazenamentos de dados para usar a autenticação baseada em identidade, isso permite que o Aprendizado de Máquina do Azure otimize as permissões de acesso do usuário para armazenamento.
Use os grupos do Microsoft Entra para gerenciar permissões de usuário para recursos de armazenamento e aprendizado de máquina.
O Azure Machine Learning pode usar identidades gerenciadas atribuídas pelo usuário para controle de acesso e limitar o intervalo de acesso ao Registro de Contêiner do Azure, Cofre de Chaves, Armazenamento do Azure e Application Insights.
Crie identidades gerenciadas atribuídas pelo usuário a clusters de computação gerenciados criados no Aprendizado de Máquina do Azure.
Infraestrutura de provisão por meio de autosserviço
O autosserviço pode ser habilitado e controlado com políticas para o Azure Machine Learning. A tabela a seguir lista um conjunto de políticas padrão quando você implanta o Azure Machine Learning. Para obter mais informações, consulte Definições de política interna da Política do Azure para o Azure Machine Learning.
| Política | Tipo | Referência |
|---|---|---|
| Os espaços de trabalho do Azure Machine Learning devem usar o Azure Private Link. | Incorporada | Exibir no portal do Azure |
| Os espaços de trabalho do Azure Machine Learning devem usar identidades gerenciadas atribuídas pelo usuário. | Incorporada | Exibir no portal do Azure |
| [Pré-visualização]: Configure registos permitidos para cálculos especificados do Azure Machine Learning. | Incorporada | Exibir no portal do Azure |
| Configure espaços de trabalho do Azure Machine Learning com pontos de extremidade privados. | Incorporada | Exibir no portal do Azure |
| Configure cálculos de aprendizado de máquina para desabilitar métodos de autenticação local. | Incorporada | Exibir no portal do Azure |
| Append-machinelearningcompute-setupscriptscreationscript | Personalizado (zonas de desembarque CAF) | Ver no GitHub |
| Negar-machinelearning-hbiworkspace | Personalizado (zonas de desembarque CAF) | Ver no GitHub |
| Negar-machinelearning-publicaccesswhenbehindvnet | Personalizado (zonas de desembarque CAF) | Ver no GitHub |
| Negar-machinelearning-AKS | Personalizado (zonas de desembarque CAF) | Ver no GitHub |
| Deny-machinelearningcompute-subnetid | Personalizado (zonas de desembarque CAF) | Ver no GitHub |
| Negar-machinelearningcompute-vmsize | Personalizado (zonas de desembarque CAF) | Ver no GitHub |
| Deny-machinelearningcomputecluster-remoteloginportpublicaccess | Personalizado (zonas de desembarque CAF) | Ver no GitHub |
| Negar-machine learningcomputecluster-scale | Personalizado (zonas de desembarque CAF) | Ver no GitHub |
Recomendações para gerenciar seu ambiente
As zonas de aterrissagem de dados de análise em escala de nuvem descrevem a implementação de referência para implantações repetíveis, o que pode ajudá-lo a configurar ambientes gerenciáveis e governáveis. Considere as seguintes recomendações para usar o Aprendizado de Máquina do Azure para gerenciar seu ambiente:
Use grupos do Microsoft Entra para gerenciar o acesso a recursos de aprendizado de máquina.
Publique um painel de monitoramento central para monitorar a integridade do pipeline, a utilização da computação e o gerenciamento de cotas para aprendizado de máquina.
Se você tradicionalmente usa políticas internas do Azure e precisa atender a requisitos de conformidade adicionais, crie políticas personalizadas do Azure para aprimorar a governança e o autoatendimento.
Para acompanhar os custos de pesquisa e desenvolvimento, implante um espaço de trabalho de aprendizado de máquina na zona de aterrissagem como um recurso compartilhado durante os estágios iniciais de exploração de seu caso de uso.
Importante
Use clusters do Azure Machine Learning para treinamento de modelo de nível de produção e o Serviço Kubernetes do Azure (AKS) para implantações de nível de produção.
Gorjeta
Use o Azure Machine Learning para projetos de ciência de dados. Ele cobre o fluxo de trabalho de ponta a ponta com subserviços e recursos, e permite que o processo seja totalmente automatizado.
Próximos passos
Use o modelo e a orientação do Data Product Analytics para implantar o Azure Machine Learning e consulte a documentação e os tutoriais do Azure Machine Learning para começar a criar suas soluções.
Continue para os quatro artigos do Cloud Adoption Framework a seguir para saber mais sobre as práticas recomendadas de implantação e gerenciamento do Azure Machine Learning para empresas:
Organizar e configurar ambientes do Azure Machine Learning: ao planejar uma implantação do Azure Machine Learning, como as estruturas de equipe, os ambientes ou a geografia dos recursos afetam a forma como os espaços de trabalho são configurados?
Práticas recomendadas do Azure Machine Learning para segurança empresarial: saiba como proteger seu ambiente e recursos com o Azure Machine Learning.
Gerenciar orçamentos, custos e cotas para o Azure Machine Learning em escala organizacional: as organizações enfrentam muitos desafios de gerenciamento e otimização ao gerenciar a carga de trabalho, a equipe e os custos de computação do usuário incorridos com o Azure Machine Learning.
Guia de DevOps de aprendizado de máquina: O DevOps de aprendizado de máquina é uma mudança organizacional que depende de uma combinação de pessoas, processos e tecnologia para fornecer soluções de aprendizado de máquina de forma robusta, escalável, confiável e automatizada. Este guia resume as práticas recomendadas e as informações para que as empresas usem o Azure Machine Learning para adotar o DevOps de aprendizado de máquina.