Esta arquitetura de referência ilustra como usar o Azure Stack Edge para estender a inferência rápida de aprendizado de máquina da nuvem para cenários locais ou de borda. O Azure Stack Hub fornece recursos do Azure, como computação, armazenamento, rede e aprendizado de máquina acelerado por hardware para qualquer ponto de presença.
Arquitetura
Transfira um ficheiro do Visio desta arquitetura.
Fluxo de trabalho
A arquitetura consiste nas seguintes etapas:
- Azure Machine Learning. O Machine Learning permite criar, treinar, implantar e gerenciar modelos de aprendizado de máquina em um ambiente baseado em nuvem. Esses modelos podem ser implantados nos serviços do Azure, incluindo (mas não limitado a) Instâncias de Contêiner do Azure, Serviço de Kubernetes do Azure (AKS) e Azure Functions.
- Azure Container Registry. O Registro de Contêiner é um serviço que cria e gerencia o Registro do Docker. O Registro de contêiner cria, armazena e gerencia imagens de contêiner do Docker e pode armazenar modelos de aprendizado de máquina em contêineres.
- Azure Stack Edge. O Azure Stack Edge é um dispositivo de computação de borda projetado para inferência de aprendizado de máquina na borda. Os dados são pré-processados na borda antes da transferência para o Azure. O Azure Stack Edge inclui hardware de aceleração de computação projetado para melhorar o desempenho da inferência de IA na borda.
- Dados locais. Os dados locais fazem referência a quaisquer dados usados no treinamento do modelo de aprendizado de máquina. Os dados podem estar em qualquer solução de armazenamento local, incluindo implantações do Azure Arc.
Componentes
- Azure Machine Learning
- Azure Container Registry
- Azure Stack Edge
- Hub IoT do Azure
- Armazenamento de Blobs do Azure
Detalhes do cenário
Potenciais casos de utilização
Esta solução é ideal para a indústria de telecomunicações. Os usos típicos para estender a inferência incluem quando você precisa:
- Execute inferência de aprendizado de máquina local e rápida em relação aos dados à medida que eles são ingeridos e você tem uma pegada de hardware local significativa.
- Crie soluções de pesquisa de longo prazo onde os dados locais existentes são limpos e usados para gerar um modelo. O modelo é então usado no local e na nuvem; é retreinada regularmente à medida que novos dados chegam.
- Crie aplicativos de software que precisam fazer inferências sobre os usuários, tanto em um local físico quanto online.
Recomendações
Ingerir, transformar e transferir dados armazenados localmente
O Azure Stack Edge pode transformar dados provenientes do armazenamento local antes de transferir esses dados para o Azure. Essa transformação é feita por um dispositivo do Azure IoT Edge implantado no dispositivo Azure Stack Edge . Esses dispositivos IoT Edge estão associados a um recurso do Hub IoT do Azure na plataforma de nuvem do Azure.
Cada módulo do IoT Edge é um contêiner do Docker que executa uma tarefa específica em um fluxo de trabalho de ingestão, transformação e transferência. Por exemplo, um módulo do IoT Edge pode coletar dados de um compartilhamento local do Azure Stack Edge e transformar os dados em um formato pronto para aprendizado de máquina. Em seguida, o módulo transfere os dados transformados para um compartilhamento de nuvem do Azure Stack Edge. Você pode adicionar módulos personalizados ou integrados ao seu dispositivo IoT Edge ou desenvolver módulos personalizados do IoT Edge.
Nota
Os módulos do IoT Edge são registrados como imagens de contêiner do Docker no Registro de Contêiner.
No recurso Azure Stack Edge na plataforma de nuvem do Azure, o compartilhamento de nuvem é apoiado por um recurso de conta de armazenamento de Blob do Azure. Todos os dados na partilha na nuvem serão automaticamente carregados para a conta de armazenamento associada. Você pode verificar a transformação e a transferência de dados montando o compartilhamento local ou na nuvem ou atravessando a conta de Armazenamento do Azure.
Treinamento e implantação de um modelo
Depois de preparar e armazenar dados no armazenamento de Blob, você pode criar um conjunto de dados de Aprendizado de Máquina que se conecta ao Armazenamento do Azure. Um conjunto de dados representa uma única cópia dos seus dados em armazenamento que é diretamente referenciada pelo Machine Learning.
Você pode usar a interface de linha de comando (CLI) do Aprendizado de Máquina, o SDK R, o SDK do Python, o designer ou o Código do Visual Studio para criar os scripts necessários para treinar seu modelo.
Depois de treinar e preparar o modelo para implantar, você pode implantá-lo em vários serviços do Azure, incluindo, entre outros:
- Azure Container Registry. Você pode implantar os modelos em um Registro do Docker privado, como o Registro de Contêiner do Azure, pois são imagens de contêiner do Docker.
- Instâncias de contêiner do Azure. Você pode implantar a imagem de contêiner do Docker do modelo diretamente em um grupo de contêineres.
- Serviço Kubernetes do Azure. Você pode usar o Serviço Kubernetes do Azure para dimensionar automaticamente a imagem de contêiner do Docker do modelo para implantações de produção em alta escala.
- Funções do Azure. Você pode empacotar um modelo para ser executado diretamente em uma instância do Functions .
- Azure Machine Learning. Você pode usar instâncias de computação, estações de trabalho de desenvolvimento gerenciadas baseadas em nuvem, para treinamento e inferência de modelos. Você também pode implantar o modelo de forma semelhante em dispositivos IoT Edge e Azure Stack Edge locais.
Nota
Para essa arquitetura de referência, o modelo é implantado no Azure Stack Edge para disponibilizar o modelo para inferência local. O modelo também é implantado no Registro de Contêiner para garantir que o modelo esteja disponível para inferência na maior variedade de serviços do Azure.
Inferência com um modelo recém-implantado
O Azure Stack Edge pode executar rapidamente modelos de aprendizado de máquina localmente em relação a dados locais usando seu hardware interno de aceleração de computação. Este cálculo ocorre inteiramente na borda. O resultado são insights rápidos de dados usando hardware mais próximo da fonte de dados do que uma região de nuvem pública.
Além disso, o Azure Stack Edge continua a transferir dados para o Machine Learning para retreinamento e aperfeiçoamento contínuos usando um pipeline de aprendizado de máquina associado ao modelo que já está sendo executado em relação aos dados armazenados localmente.
Considerações
Essas considerações implementam os pilares do Azure Well-Architected Framework, que é um conjunto de princípios orientadores que podem ser usados para melhorar a qualidade de uma carga de trabalho. Para obter mais informações, consulte Microsoft Azure Well-Architected Framework.
Disponibilidade
- Considere colocar seu recurso do Azure Stack Edge na mesma região do Azure que outros serviços do Azure que o acessarão. Para otimizar o desempenho de carregamento, considere colocar sua conta de armazenamento de Blob do Azure na região onde seu dispositivo tem a melhor conexão de rede.
- Considere o Azure ExpressRoute para uma conexão estável e redundante entre seu dispositivo e o Azure.
Capacidade de gestão
- Os administradores podem verificar se a fonte de dados do armazenamento local foi transferida para o recurso Azure Stack Edge corretamente. Eles podem verificar montando o compartilhamento de arquivos SMB (Server Message Block)/NFS (Network File System) ou conectando-se à conta de armazenamento de Blob associada usando o Gerenciador de Armazenamento do Azure.
- Use conjuntos de dados do Machine Learning para fazer referência aos seus dados no armazenamento de Blob enquanto treina seu modelo. A referência ao armazenamento elimina a necessidade de incorporar segredos, caminhos de dados ou cadeias de conexão em seus scripts de treinamento.
- Em seu espaço de trabalho de Aprendizado de Máquina, registre e acompanhe modelos de ML para acompanhar as diferenças entre seus modelos em diferentes momentos no tempo. Da mesma forma, você pode espelhar os metadados de controle de versão e controle nas tags que você usa para as imagens de contêiner do Docker que implantam no Registro de Contêiner.
DevOps
- Analise a abordagem de gerenciamento do ciclo de vida do MLOps para Machine Learning. Por exemplo, use o GitHub ou o Azure Pipelines para criar um processo de integração contínua que treina e retreina automaticamente um modelo. O treinamento pode ser acionado quando novos dados preenchem o conjunto de dados ou quando uma alteração é feita nos scripts de treinamento.
- O espaço de trabalho do Azure Machine Learning registrará e gerenciará automaticamente imagens de contêiner do Docker para modelos de aprendizado de máquina e módulos do IoT Edge.
Otimização de custos
A otimização de custos consiste em procurar formas de reduzir despesas desnecessárias e melhorar a eficiência operacional. Para obter mais informações, consulte Visão geral do pilar de otimização de custos.
- Utilize a calculadora de preços do Azure para prever os custos.
- O preço do Azure Stack Edge é calculado como uma assinatura mensal de taxa fixa com uma taxa de envio única.
- O Azure Machine Learning também implanta os serviços Registro de Contêiner, Armazenamento do Azure e Cofre de Chaves do Azure, que incorrem em custos extras. Para obter mais informações, consulte Como funciona o Azure Machine Learning: arquitetura e conceitos.
- O preço do Azure Machine Learning inclui cobranças para as máquinas virtuais usadas para treinar o modelo na nuvem pública.
Próximos passos
Documentação do produto
Módulos do Microsoft Learn: