Editar

Partilhar via

Modelo de classificação de visão com a Visão Personalizada dos Serviços Cognitivos do Azure

Azure
GitHub

Ideias de soluções

Este artigo descreve uma ideia de solução. Seu arquiteto de nuvem pode usar essa orientação para ajudar a visualizar os principais componentes para uma implementação típica dessa arquitetura. Use este artigo como ponto de partida para projetar uma solução bem arquitetada que se alinhe com os requisitos específicos da sua carga de trabalho.

Essa arquitetura usa a Visão Personalizada para classificar imagens tiradas por um drone simulado. Ele fornece uma maneira de combinar IA e Internet das Coisas (IoT). A Visão Personalizada do Azure também pode ser usada para fins de deteção de objetos.

Arquitetura

Diagrama da arquitetura do Laboratório de Busca e Salvamento para criar um modelo de classificador de imagem.

Transfira um ficheiro do Visio desta arquitetura.

Fluxo de Trabalho

  1. Use o ambiente renderizado em 3D do AirSim para tirar imagens tiradas com o drone. Use as imagens como o conjunto de dados de treinamento.
  2. Importe e marque o conjunto de dados em um projeto de Visão Personalizada . O serviço cognitivo treina e testa o modelo.
  3. Exporte o modelo para o formato TensorFlow para que você possa usá-lo localmente.
  4. O modelo também pode ser implantado em um contêiner ou em dispositivos móveis.

Componentes

Microsoft AirSim Drone simulador

Microsoft AirSim Drone simulador é construído sobre o Unreal Engine. O simulador é de código aberto, multiplataforma e desenvolvido para ajudar na pesquisa de IA. Nessa arquitetura, ele cria o conjunto de dados de imagens usadas para treinar o modelo.

Visão Personalizada do Azure

A Visão Personalizada do Azure faz parte dos Serviços Cognitivos do Azure. Nessa arquitetura, ele cria um modelo de classificador de imagem.

TensorFlow

O TensorFlow é uma plataforma de código aberto para aprendizado de máquina (ML). É uma ferramenta que ajuda você a desenvolver e treinar modelos de ML. Ao exportar seu modelo para o formato TensorFlow, você terá um arquivo de buffer de protocolo com o modelo de Visão Personalizada que poderá ser usado localmente em seu script.

Detalhes do cenário

Os Serviços Cognitivos do Azure oferecem muitas possibilidades para soluções de Inteligência Artificial (IA). Um deles é o Azure Custom Vision, que permite criar, implantar e melhorar seus classificadores de imagem. Essa arquitetura usa a Visão Personalizada para classificar imagens tiradas por um drone simulado. Ele fornece uma maneira de combinar IA e Internet das Coisas (IoT). A Visão Personalizada do Azure também pode ser usada para fins de deteção de objetos.

Caso de uso potencial

Esta solução é ideal para as indústrias de resgate, simulação, robótica, aeronaves, aeroespacial e aviação.

O Microsoft Search and Rescue Lab sugere um caso de uso hipotético para a Visão Personalizada. No laboratório, você pilota um drone simulado Microsoft AirSim em um ambiente renderizado em 3D. Você usa o drone simulado para capturar imagens sintéticas dos animais naquele ambiente. Depois de criar um conjunto de dados de imagens, use o conjunto de dados para treinar um modelo de classificador de Visão Personalizada. Para treinar o modelo, você marca as imagens com os nomes dos animais. Quando você pilotar o drone novamente, tire novas imagens dos animais. Esta solução identifica o nome do animal em cada nova imagem.

Em uma aplicação prática do laboratório, um drone real substitui o drone simulado Microsoft AirSim. Se um animal de estimação for perdido, o proprietário fornece imagens do animal de estimação para o treinador de modelos Custom Vision. Assim como na simulação, as imagens são usadas para treinar o modelo a reconhecer o animal de estimação. Em seguida, o piloto do drone procura uma área onde o animal de estimação perdido pode estar. Ao encontrar animais ao longo do caminho, a câmera do drone pode capturar imagens e determinar se o animal é o animal perdido.

Implementar este cenário

Para implantar essa arquitetura de referência, siga as etapas descritas no repositório GitHub do Laboratório de Busca e Salvamento.

Contribuidores

Este artigo é mantido pela Microsoft. Foi originalmente escrito pelos seguintes contribuidores.

Principais autores:

Próximos passos

Leia outros artigos do Centro de Arquitetura do Azure: