Engenheiro de borda de IA
A interação entre a IA, a nuvem e a borda é um domínio que está evoluindo rapidamente. No momento, muitas soluções de IoT são baseadas na telemetria básica. A função de telemetria captura dados de dispositivos de borda e os armazena em um armazenamento de dados. Nossa abordagem se estende além da telemetria básica. Nosso objetivo é modelar problemas no mundo real por meio de aprendizado de máquina e algoritmos de aprendizado profundo e implementar o modelo em dispositivos de borda por meio de IA e da nuvem. O modelo é treinado na nuvem e implantado no dispositivo de borda. A implantação na borda fornece um loop de comentários para melhorar o processo de negócios (transformação digital).
Neste roteiro de aprendizagem, utilizamos uma abordagem de engenharia interdisciplinar. Nós almejamos criar um modelo padrão para muitas áreas complexas para a implantação de IA em dispositivos de borda, como drones, veículos autônomos etc. O roteiro de aprendizagem apresenta estratégias de implementação para um cenário de aplicativos de IA complexos que está em evolução. Os contêineres são fundamentais para essa abordagem. Quando implantados em dispositivos de borda, os contêineres podem encapsular ambientes de implantação para uma variedade de hardwares diversos. CICD (integração contínua – implantação contínua) é uma extensão lógica para implantar contêineres em dispositivos de borda. Em módulos futuros deste roteiro de aprendizagem, podemos incluir outras técnicas, como computação sem servidor e implantação em unidades de microcontrolador.
A abordagem orientada por engenharia é a base de temas/pedagogias para educação em engenharia, como
- Raciocínio sistêmico
- Experimentação e solução de problemas
- Aprimoramento por meio de experimentação
- Implantação e análise por meio de testes
- Impacto em outros domínios de engenharia
- Previsão do comportamento de um componente ou sistema
- Considerações sobre o design
- Trabalho dentro de restrições/tolerâncias e condições operacionais específicas, como, por exemplo, restrições de dispositivo
- Considerações sobre segurança
- Ferramentas de criação que ajudam a criar a solução
- Aprimoramento de processos: usando a borda (IoT) para fornecer um loop de comentários de análise para o processo de negócios para impulsionar processos
- O impacto social da engenharia
- O impacto estético do design e da engenharia
- Implantações em escala
- Solução de problemas de negócios complexos por uma implantação de ponta a ponta da IA, da borda e da nuvem.
Por fim, as tecnologias de IA, de nuvem e de borda implantadas como contêineres no modo CICD podem transformar setores inteiros ao criar um ecossistema de autoaprendizagem específico do setor que abrange toda a cadeia de valor. Nós almejamos projetar um conjunto de modelos/metodologias para a implantação de IA para dispositivos de borda no contexto da nuvem. Neste roteiro de aprendizagem, você vai:
- Aprender como criar soluções usando a IoT e a nuvem
- Entender o processo de implantação de soluções baseadas em IoT em dispositivos de borda
- Aprender sobre o processo de implementação de modelos em dispositivos de borda usando contêineres
- Explorar o uso do DevOps para dispositivos de borda
Produzido em parceria com a Universidade de Oxford – Curso de Inteligência artificial: implementações de nuvem e borda, Ajit Jaokar.
Pré-requisitos
Nenhum
Código de Conquista
Gostaria de solicitar um código de conquista?
Módulos neste roteiro de aprendizagem
Caracterize os tipos de processos de negócios aos quais a Internet das Coisas do Azure pode agregar valor. Pesquise serviços da Internet das Coisas do Azure, como Hub IoT e IoT Central, que ajudam você a criar soluções de IoT.
Avalie as características do Hub IoT do Azure e determine cenários nos quais usar o Hub IoT.
Explique as características essenciais do IoT Edge e a funcionalidade dos componentes do IoT Edge (módulos, tempo de execução e interface de nuvem). Caracterize os tipos de problemas que você pode resolver com IoT Edge. Descreva como os elementos do IoT Edge podem ser combinados para resolver o problema de implantação de aplicativos de IoT na nuvem.
Implante um módulo predefinido de simulador de temperatura em um dispositivo IoT Edge usando um contêiner. Verifique se o módulo foi criado e implantado com êxito e veja os dados simulados.
Avalie as características do Azure Functions para IoT. Descreva a função de gatilhos e associações e mostre como combiná-los para criar uma solução de IoT escalonável. Descreva os benefícios de usar a infraestrutura de nuvem para implantar rapidamente aplicativos IoT com o Azure Functions.
Crie e implante uma função do Azure para criar um dispositivo IoT de tradução de idiomas. A função usará o Serviço de Fala Cognitiva. Seu dispositivo gravará uma voz em um idioma estrangeiro e converterá a fala em um idioma de destino.
Implemente um serviço cognitivo para executar a detecção de idioma em um dispositivo do IoT Edge. Descreva os componentes e as etapas necessárias para implementar um serviço cognitivo em um dispositivo do IoT Edge.
Analise a significância do MLOps no desenvolvimento e na implantação de modelos de machine learning para o IoT Edge. Descreva os componentes do pipeline de MLOps e mostre como você pode combiná-los para criar modelos que podem ser treinados novamente de maneira automática para dispositivos IoT Edge.
Defina uma solução para efetuar o smoke test de dispositivos do Azure IoT Edge virtuais. Sua solução emprega uma estratégia de CI/CD (integração contínua/implantação contínua) usando Azure DevOps e Azure Pipelines em um cluster do Kubernetes.
Determinar os tipos de problemas empresariais que podem ser resolvidos com o Azure Sphere. Explicar as funcionalidades e os componentes (unidade de microcontrolador, sistema operacional, serviço de segurança baseado em nuvem) do Azure Sphere. Descrever como os componentes fornecem uma plataforma segura para desenvolver, implantar e manter soluções seguras de IoT conectadas à Internet.
Implemente um modelo de rede neural para executar a classificação de imagens em tempo real em um dispositivo protegido, conectado à Internet e baseado em microcontrolador (Azure Sphere). Descreve os componentes e as etapas necessárias para implementar um modelo de classificação de imagens pré-treinado no Azure Sphere.
Implante um aplicativo de dispositivo do Azure Sphere para monitorar as condições do ambiente para condições de laboratório. O aplicativo vai monitorar as condições ambientais da sala, conectar-se ao Hub IoT e enviar dados telemétricos do dispositivo para a nuvem. Você controlará as comunicações de nuvem para dispositivo e realizará as ações necessárias.
Implante um aplicativo do Azure Sphere para monitorar as condições do ambiente para um laboratório. O aplicativo vai monitorar o ambiente do recinto, conectar-se ao Azure IoT Central e enviar dados de telemetria do dispositivo para a nuvem. Você controlará as comunicações de nuvem para dispositivo e realizará as ações necessárias.
Crie uma solução de pesquisa visual computacional no IoT Edge usando os serviços de IA do Azure e os serviços de Fala do Azure. O aplicativo vai capturar e identificar o item digitalizado e converter o nome do item na fala.
Use um módulo da Análise Dinâmica de Vídeo no IoT Edge e implante uma solução de machine learning da Visão Personalizada em um dispositivo IoT Edge. A solução identificará espaços nulos em prateleiras. Verifique se a solução foi implantada com êxito e teste-a em um aplicativo Web.
Use um módulo da Análise Dinâmica de Vídeo para implantar uma solução de machine learning em um dispositivo IoT Edge. A solução processará um feed de vídeo de câmeras e detectará objetos na borda usando um modelo YOLO para executar operações de inferência. Verifique se a solução foi implantada com êxito e teste-a em um aplicativo Web.