Padrão de deteção de rodapé
Este padrão fornece uma visão geral para a implementação de uma solução de deteção de pés baseada em IA para analisar o tráfego de visitantes em lojas de retalho. A solução gera insights de ações do mundo real, usando Azure Stack Hub, e o Visão Personalizada AI Dev Kit.
Contexto e problema
A Contoso Stores gostaria de obter informações sobre como os clientes estão a receber os seus produtos atuais em relação ao layout da loja. Não conseguem colocar pessoal em todas as secções e é ineficiente que uma equipa de analistas reveja as filmagens de uma loja inteira. Além disso, nenhuma das suas lojas tem largura de banda suficiente para transmitir vídeos de todas as suas câmaras para a nuvem para análise.
A Contoso gostaria de encontrar uma forma discreta e amiga da privacidade de determinar a demografia, lealdade e reações dos seus clientes à loja de expositores e produtos.
Solução
Este padrão de análise de retalho usa uma abordagem hierárquica para inferencing na borda. Ao utilizar o Visão Personalizada AI Dev Kit, apenas imagens com rostos humanos são enviadas para análise para um Azure Stack Hub privado que gere os Serviços Cognitivos Azure. Dados anonimizados e agregados são enviados para a Azure para agregação em todas as lojas e visualização em Power BI. Combinar a borda e a nuvem pública permite que a Contoso aproveite a tecnologia moderna de IA, mantendo-se também em conformidade com as suas políticas corporativas e respeitando a privacidade dos seus clientes.
Aqui está um resumo de como a solução funciona:
- O Visão Personalizada AI Dev Kit obtém uma configuração de Hub IoT, que instala o tempo de execução IoT Edge e um ML modelo.
- Se o modelo vê uma pessoa, tira uma fotografia e envia-a para o armazenamento de blob Azure Stack Hub.
- O serviço blob aciona uma função Azure no Azure Stack Hub.
- A Função Azure chama um recipiente com a API facial para obter dados demográficos e de emoção a partir da imagem.
- Os dados são anonimizados e enviados para um Hubs de Eventos do Azure cluster.
- O cluster Event Hubs empurra os dados para stream Analytics.
- O Stream Analytics agrega os dados e empurra-os para Power BI.
Componentes
Esta solução utiliza os seguintes componentes:
| Camada | Componente | Descrição |
|---|---|---|
| Hardware na loja | Kit de dev de Visão Personalizada AI | Fornece filtragem na loja usando um ML modelo local que apenas captura imagens de pessoas para análise. A provisionada e atualizada de forma segura através de Hub IoT. |
| Azure | Azure Event Hubs | Hubs de Eventos do Azure fornece uma plataforma escalável para ingerir dados anonimizados que se integram perfeitamente com o Azure Stream Analytics. |
| Azure Stream Analytics | Um trabalho do Azure Stream Analytics agrega os dados anonimizados e agrupe-os em janelas de 15 segundos para visualização. | |
| Microsoft Power BI | Power BI fornece uma interface de painel fácil de usar para visualizar a saída do Azure Stream Analytics. | |
| Azure Stack Hub | Serviço de Aplicações | O fornecedor de recursos Serviço de Aplicações (RP) fornece uma base para componentes de borda, incluindo funcionalidades de hospedagem e gestão para aplicações web/APIs e Funções. |
| Azure Kubernetes Service (AKS) Cluster de motores | O AKS RP com AKS-Engine cluster implantado no Azure Stack Hub fornece um motor escalável e resistente para executar o recipiente Face API. | |
| Serviços Cognitivos Azure enfrentam contentores de API | O Azure Cognitive Services RP com recipientes face API fornece deteção demográfica, emoção e de visitantes única na rede privada de Contoso. | |
| Armazenamento de Blobs | As imagens captadas no Kit AI Dev são enviadas para o armazenamento de bolhas do Azure Stack Hub. | |
| Funções do Azure | Uma Função Azure em execução no Azure Stack Hub recebe a entrada do armazenamento de blob e gere as interações com a API face. Emite dados anonimizados a um cluster de Centros de Eventos localizado em Azure. |
Problemas e considerações
Considere os seguintes pontos ao decidir como implementar esta solução:
Escalabilidade
Para permitir que esta solução seja dimensionada em várias câmaras e locais, terá de se certificar de que todos os componentes conseguem lidar com a carga aumentada. Pode ter de tomar ações como:
- Aumente o número de unidades de streaming Stream Analytics.
- Dimensione a implantação da API face.
- Aumente a produção do cluster Event Hubs.
- Para casos extremos, pode ser necessário migrar de Funções do Azure para uma máquina virtual.
Disponibilidade
Uma vez que esta solução é hierárquico, é importante pensar em como lidar com falhas de rede ou de energia. Dependendo das necessidades do negócio, é melhor implementar um mecanismo para cache de imagens localmente e, em seguida, encaminhar para o Azure Stack Hub quando a conectividade voltar. Se a localização for suficientemente grande, a implantação de uma Borda de Caixa de Dados com o recipiente API face para esse local pode ser uma opção melhor.
Capacidade de gestão
Esta solução pode abranger muitos dispositivos e locais, o que pode ficar instável. Os serviços IoT da Azure podem ser usados para automaticamente trazer novos locais e dispositivos on-line e mantê-los atualizados.
Segurança
Esta solução captura imagens do cliente, tornando a segurança uma consideração primordial. Certifique-se de que todas as contas de armazenamento estão seguras com as políticas de acesso adequadas e rode regularmente as teclas. Garantir que as contas de armazenamento e os Centros de Eventos têm políticas de retenção que cumprem os regulamentos de privacidade corporativos e governamentais. Certifique-se também de que nivela os níveis de acesso ao utilizador. O tiering garante que os utilizadores apenas têm acesso aos dados de que necessitam para o seu papel.
Passos seguintes
Para saber mais sobre os tópicos introduzidos neste artigo:
- Consulte o padrão de dados tiered, que é alavancado pelo padrão de deteção de rodapé.
- Consulte o Visão Personalizada AI Dev Kit para saber mais sobre a utilização da visão personalizada.
Quando estiver pronto para testar o exemplo da solução, continue com o guia de deteção de footfall. O guia de implantação fornece instruções passo a passo para a implantação e teste dos seus componentes.