Criar uma solução de pesquisa visual sem código no Azure Percept Studio

  • Artigo

Importante

Desativação do Azure Percept DK:

Atualização de 22 de fevereiro de 2023: uma atualização de firmware para os componentes do acessório Percept DK Vision and Audio (também conhecido como Som de Visão e Áudio) agora está disponível aqui e permitirá que os componentes acessórios continuem funcionando além da data de desativação.

A versão prévia pública do Azure Percept estará evoluindo para dar suporte a novas plataformas de dispositivos de borda e experiências de desenvolvedor. Como parte dessa evolução, o Azure Percept DK e o Audio Accessory e os serviços de suporte associados do Azure para o Percept DK serão desativados em 30 de março de 2023.

A partir de 30 de março de 2023, o Azure Percept DK e o Audio Accessory não terão mais suporte de nenhum serviço do Azure, incluindo o Azure Percept Studio, atualizações do sistema operacional, atualizações de contêineres, exibição de fluxo da Web e integração de Visão Personalizada. A Microsoft não fornecerá mais suporte de sucesso do cliente e quaisquer serviços de suporte associados. Para obter mais informações, visite a Postagem no blog sobre o aviso de desativação.

O Azure Percept Studio permite que você crie e implante soluções personalizadas de pesquisa visual computacional, sem necessidade de codificação. Neste artigo, você irá:

  • Criar um projeto de pesquisa visual no Azure Percept Studio
  • Coletar imagens de treinamento com seu devkit
  • Rotular as imagens de treinamento na Visão Personalizada
  • Treinar o modelo personalizado de detecção ou classificação de objetos
  • Implantar o modelo no devkit
  • Configure o retreinamento para aprimorar seu modelo

Este tutorial é adequado para desenvolvedores com pouca ou nenhuma experiência de IA e aqueles que estão apenas começando a usar o Azure Percept.

Pré-requisitos

  • Azure Percept DK (kit de desenvolvimento)
  • Assinatura do Azure
  • Experiência de instalação do Azure Percept DK: você conectou o kit de desenvolvimento a uma rede Wi-Fi, criou um Hub IoT e conectou o kit de desenvolvimento ao Hub IoT

Criar um protótipo de pesquisa visual

  1. Inicie o navegador e vá para o Azure Percept Studio.

  2. Na página de visão geral, clique na guia Demos & tutoriais. Azure Percept Studio tela de visão geral.

  3. Em Tutoriais e demonstrações de pesquisa visual, clique em Criar um protótipo de pesquisa.

    Tela de demonstrações e tutoriais do Azure Percept Studio.

  4. Na página Novo protótipo de Visão Personalizada do Azure Percept, faça o seguinte:

    1. Na caixa Nome do projeto, insira um nome para o protótipo de pesquisa visual.

    2. Insira uma descrição do protótipo de pesquisa visual na caixa Descrição do projeto.

    3. Selecione Azure Percept DK no menu suspenso Tipo de dispositivo.

    4. Selecione um recurso no menu suspenso Recurso ou clique em Criar um recurso. Se você optar por criar um recurso, faça o seguinte na janela Criar:

      1. Insira um nome para o novo recurso.
      2. Selecione sua assinatura do Azure.
      3. Selecione um grupo de recursos ou crie um novo.
      4. Selecione sua região preferida.
      5. Selecione o tipo de preço (recomendamos o S0).
      6. Na parte inferior da janela, clique em Criar.

      Janela Criar recurso.

    5. Em Tipo de projeto, escolha se o projeto de pesquisa visual executará a detecção de objetos ou a classificação de imagem. Para obter mais informações sobre os tipos de projeto, clique em Ajude-me a escolher.

    6. Para Otimização, selecione se você deseja otimizar seu projeto para precisão, latência de rede baixa ou um equilíbrio entre ambos.

    7. Selecione o botão Criar.

      Tela Criar protótipo de Visão Personalizada.

Conectar um dispositivo ao projeto e capturar imagens

Depois de criar uma solução de pesquisa visual, você precisa adicionar o devkit e o Hub IoT correspondente a ela.

  1. Ligue o devkit.

  2. No menu suspenso Hub IoT, selecione o Hub IoT ao qual o devkit foi conectado durante o OOBE.

  3. No menu suspenso Dispositivos, selecione o devkit.

Em seguida, para treinar seu modelo de IA, você precisa carregar ou capturar imagens. Recomendamos que sejam carregadas pelo menos 30 imagens por tipo de marca. Por exemplo, se você quiser criar um detector de cachorros e gatos, carregue pelo menos 30 imagens de cachorros e 30 imagens de gatos. Para capturar imagens com o SoM de Pesquisa Visual do devkit, faça o seguinte:

  1. Na janela Captura de imagem, selecione Exibir fluxo de dispositivos para exibir o fluxo de vídeo de SoM da pesquisa visual.

  2. Verifique o fluxo de vídeo para garantir que sua câmera de SoM de pesquisa visual esteja alinhada corretamente para tirar as fotos de treinamento. Faça ajustes conforme necessário.

  3. Na janela Captura de imagem, clique em Tirar foto.

    Tela de captura de imagem.

  4. Como alternativa, configure uma captura de imagem automatizada para coletar uma grande quantidade de imagens por vez, marcando a caixa Captura de imagem automática. Selecione a taxa de geração de imagens de sua preferência em Taxa de captura e o número total de imagens que você gostaria de coletar em Destino. Clique em Definir captura automática para iniciar o processo de captura automática de imagens.

    Menu suspenso de captura automática de imagens.

Quando você tiver fotos suficientes, clique em Avançar: marcar imagens e treinamento de modelo na parte inferior da tela. Todas as imagens serão salvas em Visão Personalizada.

Observação

Se você optar por carregar imagens de treinamento diretamente na Visão Personalizada, observe que o tamanho do arquivo de imagem não pode exceder 6 MB.

Marcar imagens e treinar seu modelo

Antes de treinar o modelo, adicione rótulos às imagens.

  1. Na página Marcar imagens e treinamento de modelo, clique em Abrir projeto na Visão Personalizada.

  2. No lado esquerdo da página Visão Personalizada, clique em Sem Marcas em Marcas para exibir as imagens recém-coletadas na etapa anterior. Selecione uma ou mais das imagens sem marcas.

  3. Na janela Detalhes da imagem, clique na imagem para começar a marcação. Se você tiver selecionado detecção de objetos como o tipo de projeto, precisará também desenhar uma caixa delimitadora nos objetos específicos que quiser marcar. Ajuste a caixa delimitadora conforme necessário. Digite a marca de objeto e clique + para aplicar a marca. Por exemplo, se você estiver criando uma solução de pesquisa visual que notifique você quando uma prateleira de loja precisar ser reabastecida, adicione a marca "Prateleira vazia" a imagens de prateleiras vazias e adicione a marca "Prateleira cheia" a imagens de prateleiras totalmente abastecidas. Repita para todas as imagens sem marcas.

    Tela de marcação de imagem na Visão Personalizada.

  4. Depois de marcar as imagens, clique no ícone X no canto superior direito da janela. Clique em Com Marcas em Marcas para exibir todas as imagens marcadas recentemente.

  5. Depois que as imagens forem rotuladas, estará tudo pronto para treinar seu modelo de IA. Para fazer isso, clique em Treinar próximo à parte superior da página. Você precisa ter pelo menos 15 imagens por tipo de marca para treinar o modelo (é recomendável usar pelo menos 30). O treinamento normalmente leva cerca de 30 minutos, mas pode levar mais tempo se o conjunto de imagens for muito grande.

    Seleção de imagem de treinamento com o botão treinar realçado.

  6. Quando o treinamento for concluído, sua tela mostrará o desempenho do modelo. Para obter mais informações sobre como avaliar esses resultados, confira a documentação de avaliação do modelo. Após o treinamento, convém que você teste o modelo com imagens adicionais e treine-o novamente conforme necessário. Cada vez que você treinar o modelo, ele será salvo como uma nova iteração. Confira a documentação da Visão Personalizada para obter informações adicionais sobre como aprimorar o desempenho do modelo.

    Resultados do treinamento de modelo.

    Observação

    Se você optar por testar seu modelo em imagens adicionais na Visão Personalizada, observe que o tamanho do arquivo de cada imagem de teste não pode exceder 4 MB.

Quando estiver satisfeito com o desempenho do seu modelo, feche a Visão Personalizada fechando a guia correspondente do navegador.

Implantar o modelo de IA

  1. Volte para a guia Azure Percept Studio e clique em Avançar: avaliar e implantar na parte inferior da tela.

  2. A janela Avaliar e implantar mostrará o desempenho da iteração do modelo selecionada. No menu suspenso Iteração de modelo, selecione a iteração que você deseja implantar no devkit e clique em Implantar modelo na parte inferior da tela.

    Tela de implantação de modelo.

  3. Depois de implantar o modelo, exiba o fluxo de vídeo do dispositivo para ver a inferência de modelo em ação.

    Fluxo de dispositivos mostrando o detector de fone de ouvido em ação.

Depois de fechar esta janela, você pode voltar e editar seu projeto de pesquisa visual a qualquer momento clicando em Pesquisa visual em Projetos de IA na página inicial do Azure Percept Studio e selecionando o nome do projeto de pesquisa visual.

Página do projeto de pesquisa visual.

Configure o retreinamento para aprimorar seu modelo

Depois de treinar e implantar seu modelo no dispositivo, você poderá melhorar o desempenho dele por meio da configuração dos parâmetros de readaptação para capturar mais dados de treinamento. Esse recurso é usado para melhorar o desempenho de um modelo treinado, dando a você a capacidade de capturar imagens com base em um intervalo de probabilidade. Por exemplo, você pode definir seu dispositivo para capturar imagens de treinamento apenas quando a probabilidade for baixa. Eis algumas diretrizes adicionais sobre como adicionar mais imagens e equilibrar dados de treinamento.

  1. Para configurar o retreinamento, volte ao seu Projeto e, depois, vá para Resumo do Projeto

  2. Na guia Captura de imagem, selecione Captura automática de imagem e Configure o retreinamento.

  3. Configure a captura de imagem automatizada para coletar uma grande quantidade de imagens por vez, marcando a caixa Captura de imagem automática.

  4. Selecione a taxa de geração de imagens de sua preferência em Taxa de captura e o número total de imagens que você gostaria de coletar em Destino.

  5. Na seção Configurar o retreinamento, selecione a iteração para a qual você gostaria de capturar mais dados de treinamento e selecione o intervalo de probabilidade. Somente imagens que atendam à taxa de probabilidade serão carregadas em seu projeto.

    captura de imagem.

Limpar os recursos

Se você criou um recurso do Azure para este tutorial e não deseja mais desenvolver nem usar sua solução de pesquisa visual, execute as seguintes etapas para excluir o recurso:

  1. Acesse o portal do Azure.
  2. Clique em Todos os recursos.
  3. Clique na caixa de seleção ao lado do recurso criado durante este tutorial. O tipo de recurso será listado como Serviços Cognitivos.
  4. Clique no ícone Excluir próximo à parte superior da tela.

Passo a passo em vídeo

Para obter um passo a passo visual das etapas descritas acima, assista ao seguinte vídeo:



Próximas etapas

Em seguida, confira os artigos de instruções da pesquisa visual para obter informações sobre os recursos adicionais da solução de pesquisa visual no Azure Percept Studio.