Criar uma solução de visão sem código no Azure Percept Studio

Importante

Descontinuação do Azure Percept DK:

Atualização 22 de fevereiro de 2023: está agora disponível uma atualização de firmware para os componentes do acessório Percept DK Visão e Áudio (também conhecido como SOM de Visão e Áudio) e permitirá que os componentes do acessório continuem a funcionar para além da data de descontinuação.

A pré-visualização pública do Azure Percept irá evoluir para suportar novas plataformas de dispositivos edge e experiências de programador. Como parte desta evolução, o Azure Percept DK and Audio Accessory e os serviços de suporte associados do Azure para o Percept DK serão descontinuados a 30 de março de 2023.

A partir de 30 de março de 2023, o Azure Percept DK e o Acessório de Áudio deixarão de ser suportados por quaisquer serviços do Azure, incluindo Azure Percept Studio, atualizações do SO, atualizações de contentores, visualização de fluxo Web e integração de Visão Personalizada. A Microsoft deixará de fornecer suporte de sucesso ao cliente e quaisquer serviços de suporte associados. Para obter mais informações, visite a Mensagem de Blogue Aviso de Extinção.

Azure Percept Studio permite-lhe criar e implementar soluções de imagem digitalizada personalizadas, sem necessidade de codificação. Neste artigo, vai:

• Criar um projeto de visão no Azure Percept Studio
• Recolher imagens de formação com o seu devkit
• Etiquetar as imagens de preparação no Visão Personalizada
• Preparar o modelo de deteção ou classificação de objetos personalizado
• Implementar o modelo no seu devkit
• Melhorar o modelo ao configurar novamente a preparação

Este tutorial é adequado para programadores com pouca ou nenhuma experiência de IA e aqueles que estão apenas a começar a utilizar o Azure Percept.

Pré-requisitos

• Azure Percept DK (devkit)
• Subscrição do Azure
• Experiência de configuração do Azure Percept DK: ligou o seu devkit a uma rede Wi-Fi, criou uma Hub IoT e ligou o seu devkit ao Hub IoT

Criar um protótipo de visão

1. Inicie o browser e aceda a Azure Percept Studio.

2. Na página de descrição geral, clique no separador Demos & tutoriais.

3. Em Tutoriais e demonstrações de visão, clique em Criar um protótipo de visão.

   

4. Na página Novo protótipo do Azure Percept Visão Personalizada, faça o seguinte:

   1. Na caixa Nome do projeto , introduza um nome para o protótipo da sua visão.

   2. Introduza uma descrição do protótipo de visão na caixa Descrição do projeto .

   3. Selecione Azure Percept DK no menu pendente Tipo de dispositivo.

   4. Selecione um recurso no menu pendente Recurso ou clique em Criar um novo recurso. Se optar por criar um novo recurso, faça o seguinte na janela Criar :

      1. Introduza um nome para o novo recurso.
      2. Selecione a sua subscrição do Azure.
      3. Selecione um grupo de recursos ou crie um novo.
      4. Selecione o seu país/região preferencial.
      5. Selecione o escalão de preço (recomendamos S0).
      6. Clique em Criar na parte inferior da janela.

      

   5. Em Tipo de projeto, escolha se o projeto de visão irá efetuar a deteção de objetos ou a classificação de imagens. Para obter mais informações sobre os tipos de projeto, clique em Ajudar-me a escolher.

   6. Para Otimização, selecione se pretende otimizar o projeto para precisão, baixa latência de rede ou um equilíbrio de ambos.

   7. Clique no botão Criar.

      

Ligar um dispositivo ao seu projeto e capturar imagens

Depois de criar uma solução de visão, tem de adicionar o seu devkit e os respetivos Hub IoT correspondentes à mesma.

1. Ligar o seu devkit.

2. No menu pendente Hub IoT, selecione o hub IoT ao qual o seu devkit foi ligado durante o OOBE.

3. No menu pendente Dispositivos , selecione o seu devkit.

Em seguida, tem de carregar imagens ou capturar imagens para preparar o modelo de IA. Recomendamos que carregue, pelo menos, 30 imagens por tipo de etiqueta. Por exemplo, se quiser criar um detector de cães e gatos, tem de carregar pelo menos 30 imagens de cães e 30 imagens de gatos. Para capturar imagens com a visão SoM do seu devkit, faça o seguinte:

1. Na janela Captura de imagens, selecione Ver fluxo de dispositivos para ver a transmissão de vídeo SoM de visão.

2. Verifique a transmissão em fluxo de vídeo para garantir que a câmara SoM de visão está corretamente alinhada para tirar as imagens de preparação. Faça ajustes conforme necessário.

3. Na janela Captura de imagem , clique em Tirar fotografia.

   

4. Em alternativa, configure uma captura de imagem automatizada para recolher uma grande quantidade de imagens de cada vez ao selecionar a caixa Captura automática de imagens . Selecione a sua taxa de processamento de imagens preferencial em Taxa de captura e o número total de imagens que pretende recolher em Destino. Clique em Definir captura automática para iniciar o processo de captura automática de imagens.

   

Quando tiver fotografias suficientes, clique em Seguinte: Etiquetar imagens e preparação de modelos na parte inferior do ecrã. Todas as imagens serão guardadas no Visão Personalizada.

Nota

Se optar por carregar imagens de preparação diretamente para Visão Personalizada, tenha em atenção que o tamanho do ficheiro de imagem não pode exceder os 6 MB.

Etiquetar imagens e preparar o modelo

Antes de preparar o modelo, adicione etiquetas às suas imagens.

1. Na página Etiquetar imagens e preparação de modelos, clique em Abrir projeto no Visão Personalizada.

2. No lado esquerdo da página Visão Personalizada, clique em Não Marcado em Etiquetas para ver as imagens que acabou de recolher no passo anterior. Selecione uma ou mais das suas imagens não marcados.

3. Na janela Detalhes da Imagem , clique na imagem para começar a etiquetar. Se tiver selecionado a deteção de objetos como o seu tipo de projeto, também tem de desenhar uma caixa delimitadora à volta de objetos específicos que gostaria de etiquetar. Ajuste a caixa delimitadora conforme necessário. Escreva a etiqueta de objeto e clique + para aplicar a etiqueta. Por exemplo, se estiver a criar uma solução de visão que o notificaria quando uma prateleira da loja precisa de ser reabastecida, adicione a etiqueta "Prateleira Vazia" a imagens de prateleiras vazias e adicione a etiqueta "Prateleira Cheia" a imagens de prateleiras totalmente abastecidas. Repita para todas as imagens não selecionadas.

   

4. Depois de etiquetar as imagens, clique no ícone X no canto superior direito da janela. Clique em Etiquetado emEtiquetas para ver todas as imagens etiquetadas recentemente.

5. Depois de etiquetar as imagens, está pronto para preparar o modelo de IA. Para tal, clique em Preparar junto à parte superior da página. Tem de ter, pelo menos, 15 imagens por tipo de etiqueta para preparar o modelo (recomendamos que utilize, pelo menos, 30). Normalmente, a preparação demora cerca de 30 minutos, mas poderá demorar mais tempo se o conjunto de imagens for extremamente grande.

   

6. Quando a preparação estiver concluída, o ecrã mostrará o desempenho do modelo. Para obter mais informações sobre a avaliação destes resultados, veja a documentação de avaliação do modelo. Após a preparação, também poderá querer testar o modelo em imagens adicionais e voltar a preparar conforme necessário. Sempre que preparar o modelo, este será guardado como uma nova iteração. Veja a documentação do Visão Personalizada para obter informações adicionais sobre como melhorar o desempenho do modelo.

   

   Nota

   Se optar por testar o modelo em imagens adicionais no Visão Personalizada, tenha em atenção que o tamanho do ficheiro de imagem de teste não pode exceder os 4 MB.

Assim que estiver satisfeito com o desempenho do modelo, feche Visão Personalizada fechando o separador do browser.

Implementar o modelo de IA

1. Voltar no separador Azure Percept Studio e clique em Seguinte: Avaliar e implementar na parte inferior do ecrã.

2. A janela Avaliar e implementar mostrará o desempenho da iteração do modelo selecionado. Selecione a iteração que pretende implementar no seu devkit no menu pendente Iteração do modelo e clique em Implementar modelo na parte inferior do ecrã.

   

3. Depois de implementar o modelo, veja a transmissão de vídeo do seu dispositivo para ver o seu modelo a inferir em ação.

   

Depois de fechar esta janela, poderá voltar atrás e editar o projeto de visão em qualquer altura ao clicar em Visão em Projetos de IA na home page do Azure Percept Studio e selecionar o nome do projeto de visão.

Melhorar o modelo ao configurar novamente a preparação

Depois de preparar o modelo e implementá-lo no dispositivo, pode melhorar o desempenho do modelo ao configurar parâmetros de preparação nova para capturar mais dados de preparação. Esta funcionalidade é utilizada para melhorar o desempenho de um modelo preparado ao dar-lhe a capacidade de capturar imagens com base num intervalo de probabilidades. Por exemplo, pode definir o seu dispositivo para capturar apenas imagens de preparação quando a probabilidade for baixa. Eis algumas orientações adicionais sobre como adicionar mais imagens e equilibrar dados de preparação.

1. Para configurar a nova preparação, volte ao Seu Projeto e, em seguida, ao Resumo do Projeto

2. No separador Captura de imagens, selecione Captura automática de imagens e Configurar novamente a preparação.

3. Configure a captura de imagens automatizada para recolher uma grande quantidade de imagens de cada vez ao verificar a caixa Captura automática de imagens .

4. Selecione a sua taxa de imagem preferencial em Taxa de captura e o número total de imagens que pretende recolher em Destino.

5. Na secção configurar novamente a preparação , selecione a iteração para a qual pretende capturar mais dados de preparação e, em seguida, selecione o intervalo de probabilidades. Apenas as imagens que cumpram a taxa de probabilidade serão carregadas para o projeto.

   

Limpar os recursos

Se tiver criado um novo recurso do Azure para este tutorial e já não quiser desenvolver ou utilizar a sua solução de visão, execute os seguintes passos para eliminar o recurso:

1. Aceda ao Portal do Azure.
2. Clique em Todos os recursos.
3. Clique na caixa de verificação junto ao recurso criado durante este tutorial. O tipo de recurso será listado como Serviços Cognitivos.
4. Clique no ícone Eliminar junto à parte superior do ecrã.

Instruções de vídeo

Para obter instruções visuais dos passos descritos acima, veja o seguinte vídeo:

Passos Seguintes

Em seguida, consulte os artigos de procedimentos de visão para obter informações sobre funcionalidades adicionais da solução de visão no Azure Percept Studio.