Vzor detekce zápatí
Tento model poskytuje přehled implementace řešení detekce zápatí založeného na umělé inteligenci pro analýzu provozu návštěvníků v maloobchodních prodejnách. Řešení generuje přehledy z reálných akcí pomocí Azure, Azure Stack Hubu a sady Custom Vision AI Dev Kit.
Kontext a problém
Contoso Stores chce získat přehled o tom, jak zákazníci dostávají své aktuální produkty ve vztahu k rozložení obchodu. Nemůžou umístit zaměstnance do každé části a je neefektivní mít tým analytiků, kteří kontrolují záběry z fotoaparátu v celém obchodě. Kromě toho žádný z jejich obchodů nemá dostatečnou šířku pásma pro streamování videa ze všech fotoaparátů do cloudu pro účely analýzy.
Společnost Contoso by chtěla najít nevtíravý, přívětivý způsob ochrany osobních údajů k určení demografických údajů, věrnosti a reakcí svých zákazníků na displejích a produktech.
Řešení
Tento model analýzy maloobchodního prodeje používá vrstvený přístup k odvozování na hraničních zařízeních. Pomocí sady Custom Vision AI Dev Kit se k analýze do privátní služby Azure Stack Hub, na kterém běží Azure Cognitive Services, odesílají se jenom obrázky s lidskými tvářemi. Anonymizovaná agregovaná data se odesílají do Azure za účelem agregace napříč všemi úložišti a vizualizacemi v Power BI. Kombinace hraničního a veřejného cloudu umožňuje společnosti Contoso využívat moderní technologie umělé inteligence a zároveň zůstat v souladu se svými firemními zásadami a respektovat soukromí zákazníků.
Tady je souhrn toho, jak řešení funguje:
- Sada Custom Vision AI Dev Kit získá konfiguraci z IoT Hub, která nainstaluje modul runtime IoT Edge a model ML.
- Pokud model uvidí osobu, vezme obrázek a nahraje ji do úložiště objektů blob služby Azure Stack Hub.
- Služba blob aktivuje funkci Azure Functions ve službě Azure Stack Hub.
- Funkce Azure volá kontejner s rozhraním API pro rozpoznávání tváře, aby z obrázku získal demografická data a data emocí.
- Data se anonymizují a odesílají do clusteru Azure Event Hubs.
- Cluster Event Hubs odesílá data do Stream Analytics.
- Stream Analytics agreguje data a odesílá je do Power BI.
Komponenty
Toto řešení používá následující komponenty:
| Vrstva | Komponenta | Popis |
|---|---|---|
| Hardware v úložišti | Custom Vision AI Dev Kit | Poskytuje filtrování v úložišti pomocí místního modelu ML, který zachycuje jenom obrázky lidí k analýze. Zabezpečené zřizování a aktualizace prostřednictvím IoT Hub |
| Azure | Azure Event Hubs | Azure Event Hubs poskytuje škálovatelnou platformu pro příjem anonymizovaných dat, která se integrují s Azure Stream Analytics. |
| Azure Stream Analytics | Úloha Azure Stream Analytics agreguje anonymizovaná data a seskupuje je do 15sekundových oken pro vizualizaci. | |
| Microsoft Power BI | Power BI poskytuje snadno použitelné rozhraní řídicího panelu pro zobrazení výstupu z Azure Stream Analytics. | |
| Azure Stack Hub | App Service | Poskytovatel prostředků App Service poskytuje základ pro hraniční komponenty, včetně funkcí hostování a správy webových aplikací a rozhraní API a funkcí. |
| cluster modulu Azure Kubernetes Service (AKS) | Rp AKS s clusterem AKS-Engine nasazeným do služby Azure Stack Hub poskytuje škálovatelný a odolný modul pro spuštění kontejneru rozhraní API pro rozpoznávání tváře. | |
| Kontejnery rozhraní API pro rozpoznávání tváře služby Azure Cognitive Services | Rp služby Azure Cognitive Services s kontejnery rozhraní API pro rozpoznávání tváře poskytuje demografické údaje, emoce a jedinečnou detekci návštěvníků v privátní síti společnosti Contoso. | |
| Blob Storage | Obrázky zachycené ze sady AI Dev Kit se nahrají do úložiště objektů blob služby Azure Stack Hub. | |
| Azure Functions | Funkce Azure Spuštěná ve službě Azure Stack Hub přijímá vstup z úložiště objektů blob a spravuje interakce s rozhraním API pro rozpoznávání tváře. Generuje anonymizovaná data do clusteru Event Hubs umístěného v Azure. |
Problémy a důležité informace
Při rozhodování o implementaci tohoto řešení zvažte následující body:
Škálovatelnost
Pokud chcete tomuto řešení umožnit škálování napříč několika fotoaparáty a umístěními, musíte zajistit, aby všechny komponenty zvládly zvýšené zatížení. Možná budete muset provést akce, jako jsou:
- Zvyšte počet jednotek streamování Stream Analytics.
- Horizontální navýšení kapacity nasazení rozhraní API pro rozpoznávání tváře
- Zvyšte propustnost clusteru Event Hubs.
- V případě extrémních případů může být potřeba migrovat z Azure Functions na virtuální počítač.
Dostupnost
Vzhledem k tomu, že je toto řešení vrstvené, je důležité přemýšlet o tom, jak řešit chyby sítě nebo napájení. V závislosti na obchodních potřebách můžete chtít implementovat mechanismus pro místní ukládání imagí do mezipaměti a pak předat službu Azure Stack Hub při vrácení připojení. Pokud je umístění dostatečně velké, nasazení Data Boxu Edge s kontejnerem rozhraní API pro rozpoznávání tváře do daného umístění může být lepší volbou.
Možnosti správy
Toto řešení může zahrnovat mnoho zařízení a umístění, která by mohla být nepraktná. Služby IoT Azure je možné použít k automatickému přenesnutí nových umístění a zařízení do online režimu a jejich aktuály.
Zabezpečení
Toto řešení zachycuje image zákazníků, což je zásadním aspektem zabezpečení. Ujistěte se, že jsou všechny účty úložiště zabezpečené pomocí správných zásad přístupu a pravidelně obměňujte klíče. Ujistěte se, že účty úložiště a Event Hubs mají zásady uchovávání informací, které splňují firemní a státní předpisy týkající se ochrany osobních údajů. Nezapomeňte také vrstvit úrovně přístupu uživatelů. Vrstvení zajišťuje, aby uživatelé měli přístup jenom k datům, která potřebují pro svou roli.
Další kroky
Další informace o tématech uvedených v tomto článku:
- Podívejte se na model vrstvených dat, který využívá model detekce zápatí.
- Další informace o používání custom vision najdete v Custom Vision sadě AI Dev Kit.
Až budete připraveni otestovat příklad řešení, pokračujte v průvodci nasazením detekce zápatí. Průvodce nasazením obsahuje podrobné pokyny pro nasazení a testování jeho součástí.