Edytuj

Model klasyfikatora obrazów z usługą poznawczą Azure Custom Vision

Azure
GitHub

Pomysły dotyczące rozwiązań

Ten artykuł jest pomysłem na rozwiązanie. Jeśli chcesz, abyśmy rozszerzyli zawartość o więcej informacji, takich jak potencjalne przypadki użycia, alternatywne usługi, zagadnienia dotyczące implementacji lub wskazówki dotyczące cen, daj nam znać, przekazując opinię w usłudze GitHub.

Ta architektura używa usługi Custom Vision do klasyfikowania obrazów wykonanych przez symulowane drony. Zapewnia ona sposób łączenia sztucznej inteligencji i Internetu rzeczy (IoT). Usługi Azure Custom Vision można również używać do wykrywania obiektów.

Architektura

Diagram of the Search and Rescue Lab architecture to create an image classifier model.

Pobierz plik programu Visio z tą architekturą.

Workflow

  1. Użyj środowiska renderowanego 3D airSim do tworzenia zdjęć wykonanych przy użyciu drona. Użyj obrazów jako zestawu danych treningowych.
  2. Zaimportuj i oznacz zestaw danych w projekcie usługi Custom Vision . Usługa poznawcza trenuje i testuje model.
  3. Wyeksportuj model do formatu TensorFlow, aby można było go używać lokalnie.
  4. Model można również wdrożyć w kontenerze lub na urządzeniach przenośnych.

Elementy

Symulator drona Microsoft AirSim

Symulator Drona Microsoft AirSim jest oparty na akompilowanym aucie Unreal Engine. Symulator jest oprogramowaniem typu open source, międzyplatformowym i opracowanym w celu ułatwienia badań nad sztuczną inteligencją. W tej architekturze tworzy zestaw danych obrazów używanych do trenowania modelu.

Azure Custom Vision

Usługa Azure Custom Vision jest częścią usług Azure Cognitive Services. W tej architekturze tworzy model klasyfikatora obrazów.

TensorFlow

TensorFlow to platforma typu open source do uczenia maszynowego (ML). Jest to narzędzie, które pomaga opracowywać i trenować modele uczenia maszynowego. Podczas eksportowania modelu do formatu TensorFlow będziesz mieć plik buforu protokołu z modelem usługi Custom Vision, którego można używać lokalnie w skrytecie.

Szczegóły scenariusza

Usługi Azure Cognitive Services oferują wiele możliwości rozwiązań sztucznej inteligencji (AI). Jednym z nich jest usługa Azure Custom Vision, która umożliwia tworzenie, wdrażanie i ulepszanie klasyfikatorów obrazów. Ta architektura używa usługi Custom Vision do klasyfikowania obrazów wykonanych przez symulowane drony. Zapewnia ona sposób łączenia sztucznej inteligencji i Internetu rzeczy (IoT). Usługi Azure Custom Vision można również używać do wykrywania obiektów.

Potencjalny przypadek użycia

To rozwiązanie jest idealne dla branży ratowniczej, symulacji, robotyki, samolotów, lotnictwa i lotnictwa.

Laboratorium Microsoft Search and Rescue Lab sugeruje hipotetyczny przypadek użycia usługi Custom Vision. W laboratorium latasz symulowanym dronem Microsoft AirSim w środowisku renderowanym 3D. Używasz symulowanego drona do przechwytywania syntetycznych obrazów zwierząt w tym środowisku. Po utworzeniu zestawu danych obrazów użyjesz zestawu danych do wytrenowania modelu klasyfikatora usługi Custom Vision. Aby wytrenować model, oznaczasz obrazy nazwami zwierząt. Kiedy ponownie latasz dronem, robić nowe zdjęcia zwierząt. To rozwiązanie identyfikuje nazwę zwierzęcia na każdym nowym obrazie.

W praktycznym zastosowaniu laboratorium rzeczywisty dron zastępuje symulowane drony Microsoft AirSim. Jeśli zwierzę zostanie utracone, właściciel dostarcza zdjęcia zwierząt domowych do trenera modelu Custom Vision. Podobnie jak w symulacji, obrazy są używane do trenowania modelu w celu rozpoznawania zwierzęcia. Następnie pilot drona przeszukuje obszar, w którym może znajdować się utracone zwierzę. Ponieważ znajduje zwierzęta po drodze, aparat drona może przechwytywać obrazy i określać, czy zwierzę jest utraconym zwierzakiem.

Wdrażanie tego scenariusza

Aby wdrożyć tę architekturę referencyjną, wykonaj kroki opisane w repozytorium GitHub laboratorium wyszukiwania i ratowania.

Współautorzy

Ten artykuł jest obsługiwany przez firmę Microsoft. Pierwotnie został napisany przez następujących współautorów.

Autorzy zabezpieczeń:

Następne kroki

Przeczytaj inne artykuły centrum architektury platformy Azure: