Engenheiro de borda de IA

  • Roteiro de aprendizagem
  • 13 Módulos

Visão rápida

A interação entre a IA, a nuvem e a borda é um domínio que está evoluindo rapidamente. No momento, muitas soluções de IoT são baseadas na telemetria básica. A função de telemetria captura dados de dispositivos de borda e os armazena em um armazenamento de dados. Nossa abordagem se estende além da telemetria básica. Nosso objetivo é modelar problemas no mundo real por meio de aprendizado de máquina e algoritmos de aprendizado profundo e implementar o modelo em dispositivos de borda por meio de IA e da nuvem. O modelo é treinado na nuvem e implantado no dispositivo de borda. A implantação na borda fornece um loop de comentários para melhorar o processo de negócios (transformação digital).

Neste roteiro de aprendizagem, utilizamos uma abordagem de engenharia interdisciplinar. Nós almejamos criar um modelo padrão para muitas áreas complexas para a implantação de IA em dispositivos de borda, como drones, veículos autônomos etc. O roteiro de aprendizagem apresenta estratégias de implementação para um cenário de aplicativos de IA complexos que está em evolução. Os contêineres são fundamentais para essa abordagem. Quando implantados em dispositivos de borda, os contêineres podem encapsular ambientes de implantação para uma variedade de hardwares diversos. CICD (integração contínua – implantação contínua) é uma extensão lógica para implantar contêineres em dispositivos de borda. Em módulos futuros deste roteiro de aprendizagem, podemos incluir outras técnicas, como computação sem servidor e implantação em unidades de microcontrolador.

A abordagem orientada por engenharia é a base de temas/pedagogias para educação em engenharia, como

  • Raciocínio sistêmico
  • Experimentação e solução de problemas
  • Aprimoramento por meio de experimentação
  • Implantação e análise por meio de testes
  • Impacto em outros domínios de engenharia
  • Previsão do comportamento de um componente ou sistema
  • Considerações sobre o design
  • Trabalho dentro de restrições/tolerâncias e condições operacionais específicas, incluindo restrições de dispositivo
  • Considerações sobre segurança
  • Ferramentas de construção que ajudam a desenvolver a solução
  • Aprimoramento de processos: usando a borda (IoT) para fornecer um loop de comentários de análise para o processo de negócios para impulsionar processos
  • O impacto social da engenharia
  • O impacto estético do design e da engenharia
  • Implantações em escala
  • Solução de problemas de negócios complexos por uma implantação de ponta a ponta da IA, da borda e da nuvem.

Por fim, as tecnologias de IA, de nuvem e de borda implantadas como contêineres no modo CICD podem transformar setores inteiros ao criar um ecossistema de autoaprendizagem específico do setor que abrange toda a cadeia de valor. Nós almejamos projetar um conjunto de modelos/metodologias para a implantação de IA para dispositivos de borda no contexto da nuvem. Neste roteiro de aprendizagem, você vai:

  • Aprender como criar soluções usando a IoT e a nuvem
  • Compreender o processo de implantação de soluções baseadas em IoT nos dispositivos periféricos de borda
  • Aprender sobre o processo de implementação de modelos em dispositivos de borda usando contêineres
  • Explorar o uso do DevOps para dispositivos de borda

Pré-requisitos

Nenhum

Introdução ao Azure

Escolha a conta do Azure correta para você. Pague conforme o uso ou experimente o Azure grátis por até 30 dias. Inscrição.

Módulos neste roteiro de aprendizagem

Introdução ao Hub IoT do Azure

Avalie as características do Hub IoT do Azure e determine cenários nos quais usar o Hub IoT.

Introdução ao Azure IoT Edge

Explicar as características essenciais de IoT Edge e a funcionalidade de seus componentes (módulos, runtime e interface de nuvem). Caracterize os tipos de problemas que você pode resolver com IoT Edge. Descreva como os elementos do IoT Edge podem ser combinados para resolver o problema de implantação de aplicativos de IoT na nuvem.

Implantar um módulo predefinido no dispositivo Edge

Implante um módulo predefinido de simulador de temperatura em um dispositivo IoT Edge usando um contêiner. Verifique se o módulo foi criado e implantado com êxito e veja os dados simulados.

Executar serviços de IA do Azure no IoT Edge

Implemente um serviço cognitivo para executar a detecção de idioma em um dispositivo do IoT Edge. Descreva os componentes e as etapas necessárias para implementar um serviço cognitivo em um dispositivo do IoT Edge.

Introdução ao MLOps para IoT Edge

Analise a significância do MLOps no desenvolvimento e na implantação de modelos de machine learning para o IoT Edge. Descreva os componentes do pipeline de MLOps e mostre como você pode combiná-los para criar modelos que podem ser treinados novamente de maneira automática para dispositivos IoT Edge.

Implementar CI/CD para o IoT Edge

Defina uma solução para realizar o teste de fumaça em dispositivos virtuais do Azure IoT Edge. Sua solução emprega uma estratégia de CI/CD (integração contínua/implantação contínua) usando Azure DevOps e Azure Pipelines em um cluster do Kubernetes.

Introdução ao Azure Sphere

Determinar os tipos de problemas empresariais que podem ser resolvidos com o Azure Sphere. Explicar as funcionalidades e os componentes (unidade de microcontrolador, sistema operacional, serviço de segurança baseado em nuvem) do Azure Sphere. Descrever como os componentes fornecem uma plataforma segura para desenvolver, implantar e manter soluções seguras de IoT conectadas à Internet.

Classificação de imagens usando o Azure Sphere

Implemente um modelo de rede neural para executar a classificação de imagens em tempo real em um dispositivo protegido, conectado à Internet e baseado em microcontrolador (Azure Sphere). Descreve os componentes e as etapas necessárias para implementar um modelo de classificação de imagens pré-treinado no Azure Sphere.

Desenvolva soluções de IoT seguras para o Azure Sphere com o Hub IoT

Implante um aplicativo de dispositivo do Azure Sphere para monitorar as condições do ambiente para condições de laboratório. O aplicativo vai monitorar as condições ambientais da sala, conectar-se ao Hub IoT e enviar dados telemétricos do dispositivo para a nuvem. Você controlará as comunicações de nuvem para dispositivo e realizará as ações necessárias.

Desenvolver soluções de IoT seguras para o Azure Sphere, o Azure RTOS e o Azure IoT Central

Implante um aplicativo do Azure Sphere para monitorar as condições do ambiente para um laboratório. O aplicativo monitora o ambiente da sala, conecta-se a Azure IoT Central e envia dados de telemetria do dispositivo para a nuvem. Você controla as comunicações da nuvem para o dispositivo e realiza ações conforme necessário.

Criar uma solução de reconhecimento de imagem com Azure IoT Edge, Visão Personalizada de IA do Azure e Azure Speech

Crie uma solução de reconhecimento de imagem Azure IoT Edge para um cenário de auto check-out. O modelo de classificação Visão Personalizada de IA do Azure exportado é executado localmente em um módulo de IoT Edge, e o módulo Captura de Câmera chama o Azure Speech (por meio de um recurso Foundry) em tempo de execução para sintetizar rótulos de itens em áudio.

Detecção de vazio em dispositivos Edge com Análise de Vídeo em Tempo Real usando imagens e vídeos próprios

Use um módulo da Análise Dinâmica de Vídeo no IoT Edge e implante uma solução de machine learning da Visão Personalizada em um dispositivo IoT Edge. A solução identificará espaços nulos em prateleiras. Verifique se a solução foi implantada com êxito e teste-a em um aplicativo Web.

Detecção de objetos em dispositivos Edge com Análise de Vídeo ao Vivo usando o modelo YOLO

Veja como uma solução histórica de Análise Dinâmica de Vídeo no IoT Edge usou recursos do Azure, módulos do IoT Edge, um modelo YOLO e um aplicativo web para processar vídeo de câmera e validar a detecção de objetos na borda.

Iniciar