Explore a arquitetura da solução

Concluído

Antes de começar, vamos explorar a arquitetura para entender todos os requisitos. Trazer um modelo para a produção significa que você precisa escalar sua solução e trabalhar em conjunto com outras equipes. Juntamente com os cientistas de dados, engenheiros de dados e equipe de infraestrutura, você decidiu usar a seguinte abordagem:

• Todos os dados serão armazenados em um Armazenamento de Blob do Azure, que será gerenciado pelo engenheiro de dados.
• A equipe de infraestrutura criará os recursos necessários do Azure, como o espaço de trabalho do Azure Machine Learning.
• O cientista de dados se concentrará no loop interno: desenvolver e treinar o modelo.
• O engenheiro de aprendizado de máquina pegará o modelo treinado e o implantará no loop externo.

Juntamente com a equipe maior, você projetou uma arquitetura para alcançar operações de aprendizado de máquina (MLOps).

Nota

O diagrama é uma representação simplificada de uma arquitetura MLOps. Para exibir uma arquitetura mais detalhada, explore os vários casos de uso no acelerador de solução MLOps (v2).

O principal objetivo da arquitetura MLOps é criar uma solução robusta e reproduzível. Para isso, a arquitetura inclui:

1. Configuração: crie todos os recursos necessários do Azure para a solução.
2. Desenvolvimento do modelo (loop interno): Explore e processe os dados para treinar e avaliar o modelo.
3. Integração contínua: Empacotar e registrar o modelo.
4. Implantação do modelo (loop externo): implante o modelo.
5. Implantação contínua: teste o modelo e promova para o ambiente de produção.
6. Monitoramento: Monitore o desempenho do modelo e do ponto final.

Neste ponto do seu projeto, o espaço de trabalho do Azure Machine Learning é criado, os dados são armazenados em um Armazenamento de Blob do Azure e a equipe de ciência de dados treinou o modelo.

Você deseja passar do loop interno e do desenvolvimento do modelo para o loop externo implantando o modelo na produção. Portanto, você precisa converter a saída da equipe de ciência de dados em um pipeline robusto e reproduzível no Azure Machine Learning.

Garantir que todo o código seja armazenado como scripts e executar os scripts como trabalhos do Azure Machine Learning facilitará a automatização do treinamento do modelo e o retreinamento do modelo no futuro.

A equipe de ciência de dados tem trabalhado no desenvolvimento de modelos. Eles lhe dão um caderno Jupyter, que inclui as seguintes tarefas:

1. Leia e explore os dados.
2. Execute engenharia de recursos.
3. Treine o modelo.
4. Avalie o modelo.

Como parte da configuração, a equipe de infraestrutura criou:

5. Um espaço de trabalho de desenvolvimento (desenvolvimento) do Azure Machine Learning que pode ser usado pela equipe de ciência de dados para exploração e experimentação.
6. Um ativo de dados no espaço de trabalho, que se refere a uma pasta no Armazenamento de Blobs do Azure que contém os dados.
7. Recursos de computação necessários para executar blocos de anotações e scripts.

Sua primeira tarefa em relação ao MLOps é converter o trabalho dos cientistas de dados, para que você possa automatizar facilmente o desenvolvimento do modelo. Enquanto a equipe de ciência de dados trabalhava em um bloco de anotações Jupyter, você precisa usar scripts e executá-los usando trabalhos do Azure Machine Learning. A entrada do trabalho será o ativo de dados criado pela equipe de infraestrutura, que aponta para os dados residentes no Armazenamento de Blobs do Azure, conectados ao espaço de trabalho do Azure Machine Learning.