Azure Machine Learning como produto de dados para análise de escala de nuvem
O Azure Machine Learning é uma plataforma integrada para gerenciar o ciclo de vida do aprendizado de máquina do início ao fim, incluindo ajuda com a criação, operação e consumo de modelo de machine learning e fluxos de trabalho. Alguns benefícios do serviço incluem:
As funcionalidades oferecem suporte a criadores para aumentar sua produtividade, ajudando-os a gerenciar experimentos, acessar dados, acompanhar trabalhos, ajustar hiperparâmetros e automatizar fluxos de trabalho.
A capacidade do modelo a ser explicada, reproduzida, auditada e integrada com DevOps, além de um modelo de controle de segurança avançado, pode dar suporte a operadores para atender aos requisitos de governança e conformidade.
Os recursos de inferência gerenciada e a integração robusta com os serviços de computação e dados do Azure podem ajudar a simplificar como o serviço é consumido.
O Azure Machine Learning abrange todos os aspectos do ciclo de vida de ciência de dados. Ele aborda armazenamento de dados e o registro do conjunto de dados para implantação de modelo. Ele pode ser usado para qualquer tipo de aprendizado de máquina, desde o aprendizado de máquina clássico até o aprendizado profundo. Inclui aprendizado supervisionado e não supervisionado. Se você preferir escrever código Python, código R ou opções de código zero ou código baixo, como o designer, poderá criar, treinar e acompanhar os modelos de machine learning e aprendizado profundo precisos em um workspace do Azure Machine Learning.
O Azure Machine Learning, a plataforma do Azure e os serviços de IA do Azure podem trabalhar juntos para gerenciar o ciclo de vida do aprendizado de máquina. Um profissional de aprendizado de máquina pode usar o Azure Synapse Analytics, Banco de Dados SQL do Azure ou Microsoft Power BI para começar a analisar dados e fazer a transição para Azure Machine Learning para protótipos, gerenciamento de experimentação e operacionalização. Nas zonas de destino do Azure, o Azure Machine Learning pode ser considerado um produto de dados.
Azure Machine Learning na análise de escala de nuvem
Uma base de zona de destino do CAF (Cloud Adoption Framework), zonas de destino de dados da análise de escala de nuvem e a configuração do Azure Machine Learning para preparar profissionais de aprendizado de máquina com um ambiente pré-configurado em que podem implantar várias cargas de trabalho de aprendizado de máquina repetidamente ou migrar as cargas de trabalho existentes. Esses recursos podem ajudar os profissionais de aprendizado de máquina a obter mais agilidade e valor para o seu tempo.
Os princípios de design a seguir podem guiar a implementação das zonas de destino do Azure para o Azure Machine Learning:
Acesso a dados acelerado: pré-configurar os componentes de armazenamento de zona de destino como armazenamentos de dados no espaço de trabalho do Azure Machine Learning.
Colaboração habilitada: organize espaços de trabalho por projeto e centralize o gerenciamento de acesso para recursos de zona de destino para dar suporte a engenharia de dados, ciência de dados e profissionais de aprendizado de máquina para trabalhar juntos.
Implementação segura: como padrão para cada implantação, siga as práticas recomendadas e use o isolamento de rede, a identidade e o gerenciamento de acesso para proteger os ativos de dados.
Autoatendimento: os profissionais de aprendizado de máquina podem obter mais agilidade e organização explorando opções para implantar novos recursos de projeto.
Separação de preocupações entre o gerenciamento de dados e o consumo de dados: passagem de identidade é o tipo de autenticação padrão para Azure Machine Learning e armazenamento.
Aplicativo de dados mais rápido (alinhado à origem): o Azure Data Factory, o Azure Synapse Analytics e as zonas de destino do Databricks podem ser pré-configurados para vincular ao Azure Machine Learning.
Observação: as configurações de log central e de referência podem ajudar a monitorar o ambiente.
Visão geral da implementação
Observação
Esta seção recomenda configurações específicas para análises de escala de nuvem. Ela complementa a documentação do Azure Machine Learning e as melhores práticas do Cloud Adoption Framework.
Organização e configuração do espaço de trabalho
É possível implantar o número de espaços de trabalho do Machine Learning exigidos pelas cargas e para cada zona de destino implantada. As seguintes recomendações podem ajudar na sua configuração:
Implante pelo menos um espaço de trabalho do aprendizado de máquina por projeto.
Dependendo do ciclo de vida do seu projeto de aprendizado de máquina, implante um espaço de trabalho de desenvolvimento (dev) para casos de uso de protótipo e explore os dados no início. Para o trabalho que requer experimentação, teste e implantação contínuos, implante um espaço de trabalho de preparo e de produção.
Quando vários ambientes são necessários para os espaços de trabalho de desenvolvimento, preparo e produção em uma zona de destino de dados, recomendamos evitar a duplicação de dados, fazendo com que cada ambiente fique na mesma zona de destino de dados de produção.
Consulte Organizar e configurar ambientes do Azure Machine Learning, para saber mais sobre como organizar e configurar recursos do Azure Machine Learning.
Para cada configuração de recurso padrão em uma zona de destino de dados, um serviço de Azure Machine Learning é implantado em um grupo de recursos dedicado com as seguintes configurações e recursos dependentes:
- Cofre de Chave do Azure
- Application Insights
- Registro de Contêiner do Azure
- Use o Aprendizado de Máquina do Azure para se conectar a uma conta de Armazenamento do Azure e a autenticação baseada em identidade do Microsoft Entra para ajudar os usuários a se conectarem à conta.
- O log de diagnóstico é configurado para cada espaço de trabalho e configurado para um recurso de Log Analytics central em escala empresarial; isso pode ajudar a Azure Machine Learning a integridade do trabalho e os status de recursos a serem analisados centralmente dentro e entre as zonas de destino.
- Consulte O que é um espaço de trabalho do Azure Machine Learning? para saber mais sobre os recursos e dependências do Azure Machine Learning.
Integração com os serviços principais da zona de destino de dados
A zona de destino de dados vem com um conjunto padrão de serviços que são implantados na camada de serviços principais. Esse serviços principais podem ser configurados quando Azure Machine Learning é implantado na zona de destino de dados.
Conexão espaços de trabalho do Azure Synapse Analytics ou do Databricks como serviços vinculados para integrar dados e processar o Big Data.
Por padrão, os serviços do data lake são provisionados na zona de destino de dados e as implantações de produtos do Azure Machine Learning são fornecidas com conexões (armazenamentos de dados) que são pré-configuradas para essas contas de armazenamento.
Conectividade de rede
A rede para implementar o Azure Machine Learning nas zonas de destino do Azure é configurada com melhores práticas de segurança para o Azure Machine Learning e as melhores práticas de rede CAF. Essas práticas recomendadas incluem as seguintes configurações:
- O Azure Machine Learning e recursos dependentes são configurados para usar pontos de extremidade de Link Privado.
- Os recursos de computação gerenciados são implantados somente com endereços IP privados.
- A conectividade de rede para o repositório de imagem de base pública do Azure Machine Learning e serviços de parceiro como o Azure Artifacts podem ser configurados em um nível de rede.
Gerenciamento de identidade e acesso
Considere as seguintes recomendações para gerenciar identidades de usuário e acesso com o Azure do Azure Machine Learning:
Os armazenamentos de dados no Azure Machine Learning podem ser configurados para usar a autenticação baseada em credencial ou de identidade. Ao usar o controle de acesso e as configurações do data lake no Azure Data Lake Storage Gen2, configure os armazenamentos de dados para usar a autenticação baseada em identidade; isso permite que o Azure Machine Learning otimize as permissões de acesso do usuário para armazenamento.
Use os grupos do Microsoft Entra para gerenciar permissões de usuário para recursos de armazenamento e aprendizado de máquina.
O Azure Machine Learning pode usar identidades gerenciadas atribuídas pelo usuário para controle de acesso e limitar o intervalo de acesso ao Registro de Contêiner do Azure, Key Vault, Armazenamento do Microsoft Azure e Application Insights.
Crie identidades gerenciadas atribuídas pelo usuário para os clusters de computação gerenciados criados no Azure Machine Learning.
Provisione a infraestrutura por meio de autoatendimento
O autoatendimento pode ser habilitado e governado com as políticas para Azure Machine Learning. A tabela a seguir lista um conjunto de políticas padrão quando você implanta o Azure Machine Learning. Para obter mais informações, confira Definições de políticas internas do Azure Policy para o Azure Machine Learning.
| Apólice | Tipo | Referência |
|---|---|---|
| Os workspaces do Azure Machine Learning devem usar o Link Privado do Azure. | Interno | Exibir no portal do Azure |
| Os workspaces do Azure Machine Learning deverão usar identidades gerenciadas e atribuídas pelo usuário. | Interno | Exibir no portal do Azure |
| [Versão Prévia]: configurar registros permitidos para computações especificadas do Azure Machine Learning. | Interno | Exibir no portal do Azure |
| Configurar workspaces do Azure Machine Learning usando pontos de extremidade privados. | Interno | Exibir no portal do Azure |
| Configurar computações do Machine Learning para desabilitar os métodos de autenticação local. | Interno | Exibir no portal do Azure |
| Append-machinelearningcompute-setupscriptscreationscript | Personalizado (zonas de destino do CAF) | Ver no GitHub |
| Deny-machinelearning-hbiworkspace | Personalizado (zonas de destino do CAF) | Ver no GitHub |
| Deny-machinelearning-publicaccesswhenbehindvnet | Personalizado (zonas de destino do CAF) | Ver no GitHub |
| Deny-machinelearning-AKS | Personalizado (zonas de destino do CAF) | Ver no GitHub |
| Deny-machinelearningcompute-subnetid | Personalizado (zonas de destino do CAF) | Ver no GitHub |
| Deny-machinelearningcompute-vmsize | Personalizado (zonas de destino do CAF) | Ver no GitHub |
| Deny-machinelearningcomputecluster-remoteloginportpublicaccess | Personalizado (zonas de destino do CAF) | Ver no GitHub |
| Deny-machinelearningcomputecluster-scale | Personalizado (zonas de destino do CAF) | Ver no GitHub |
Recomendações para gerenciar seu ambiente
As zonas de destino de dados da análise de escala de nuvem definem a implementação de referência para implantações repetidas, o que pode ajudar a configurar ambientes gerenciáveis e governáveis. Considere as seguintes recomendações para usar o Azure Machine Learning para gerenciar seu ambiente:
Use os grupos do Microsoft Entra para gerenciar o acesso a recursos de aprendizado de máquina.
Publique um painel de monitoramento central para monitorar a integridade do pipeline, a utilização de computação e o gerenciamento de cotas para aprendizado de máquina.
Se você tradicionalmente usa políticas internas do Azure e precisa atender aos requisitos de conformidade adicionais, crie políticas personalizadas do Azure para aprimorar a governança e o autoatendido.
Para acompanhar os custos de pesquisa e desenvolvimento, implante um workspace de aprendizado de máquina na zona de destino como um recurso compartilhado durante os estágios iniciais de exploração do seu caso de uso.
Importante
Use clusters do Azure Machine Learning para treinamento de modelo de nível de produção e AKS (Serviço de Kubernetes do Azure) para implantações de nível de produção.
Dica
Use o Azure Machine Learning para projetos de ciência de dados. Ele aborda o fluxo de trabalho de ponta a ponta com subserviços e recursos e permite que o processo seja totalmente automatizado.
Próximas etapas
Use o modelo e as diretrizes da Análise de Produtos de Dados para implantar o Azure Machine Learning e fazer referência à documentação e aos tutoriais do Azure Machine Learning para começar a criar suas soluções.
Continue com os quatro artigos de Cloud Adoption Framework para saber mais sobre as melhores práticas de implantação e gerenciamento do Azure Machine Learning para empresas:
Organizar e configurar ambientes Azure Machine Learning: ao planejar uma implantação do Azure Machine Learning, como as estruturas de equipe, os ambientes ou a geografia dos recursos afetam a configuração dos workspaces?
Melhores práticas do Azure Machine Learning para segurança corporativa: saiba como proteger seu ambiente e recursos com o Azure Machine Learning.
Gerenciar orçamentos, custos e cota para o Azure Machine Learning em escala organizacional: as organizações enfrentam muitos desafios de gerenciamento e otimização ao gerenciar os custos de computação de carga de trabalho, equipe e usuário incorridos com o Azure Machine Learning.
Guia de DevOps de aprendizado de máquina:o DevOps de aprendizado de máquina é uma alteração organizacional que usa uma combinação de pessoas, processos e tecnologias para fornecer soluções de aprendizado de máquina de maneira robusta, escalonável, confiável e automatizada. Este guia resume as melhores práticas e as informações para que as empresas usem o Azure Machine Learning para adotar o aprendizado de máquina do DevOps.