Wprowadzenie do inteligentnej analizy wideo
Codziennie kamery wideo generują ilości danych w popularnych domenach biznesowych. Obszary te obejmują środowiska szpitalne, produkcyjne, detaliczne i inteligentne miasta. Wiele z tych wdrożeń można ulepszyć za pomocą dodawania sztucznej inteligencji, która działa na danych generowanych przez czujniki aparatu w czasie rzeczywistym.
Wyobraź sobie, że możesz monitorować wymuszanie porad dotyczących kondycji lub przestrzeganie protokołów bezpieczeństwa w miejscach pracy, dostosować się do danych demograficznych klientów lub reagować na zdarzenia ruchu w zautomatyzowany sposób. Te scenariusze można wykonać przy użyciu rozwiązań opartych na wideo, które stosują sztuczną inteligencję do urządzeń Internetu rzeczy wdrożonych na urządzeniach brzegowych.
Odnosimy się do tego typu rozwiązań jako aplikacji inteligentnej analizy wideo (IVA). Wyodrębniają szczegółowe informacje umożliwiające podejmowanie działań dzięki zastosowaniu algorytmów przetwarzania obrazów działających na klatkach wideo na żywo. W tej tabeli opisano trzy typy algorytmów przetwarzania obrazów:
| Algorytm przetwarzania obrazów | Funkcje |
|---|---|
Wykrywanie obiektów  |
Modele wykrywania obiektów są trenowane w celu klasyfikowania poszczególnych obiektów na obrazie i identyfikowania ich lokalizacji za pomocą pola ograniczenia. Na przykład rozwiązanie do monitorowania ruchu może używać wykrywania obiektów do identyfikowania lokalizacji różnych klas pojazdów. |
Klasyfikacja obrazów  |
Klasyfikacja obrazów obejmuje trenowanie modelu uczenia maszynowego w celu klasyfikowania obrazów na podstawie ich zawartości. Rozważmy na przykład rozwiązanie do monitorowania ruchu. Możesz użyć modelu klasyfikacji obrazów do klasyfikowania obrazów na podstawie typu pojazdu, który zawiera, takich jak taksówki, autobusy, rowery itd. |
Śledzenie obiektów  |
Śledzenie obiektów można zastosować do obiektu wykrytego za pomocą wykrywania obiektów. Obiekt ma przypisaną tożsamość, do której można odwoływać się za pomocą kolejnych przebiegów wnioskowania w potoku IVA. Na przykład można użyć śledzenia obiektów do zliczenia unikatowych wystąpień osób w danym obszarze. |
Możesz wykonać zaawansowane oceny przy użyciu tych algorytmów w połączeniu, aby osiągnąć funkcjonalność znaną jako kaskadowe wnioskowanie. Oto przykład tej techniki:
- Zidentyfikuj pojazd i jego lokalizację w ramce przy użyciu wykrywania obiektów.
- Użyj trackera, który przypisuje każdemu pojazdowi unikatowy identyfikator, aby zliczyć liczbę pojazdów w okolicy.
- Użyj modelu klasyfikacji obrazów, aby określić kolor każdego pojazdu.
Po skonfigurowaniu w ten sposób generowania szczegółowych informacji możesz użyć większej liczby usług, aby korzystać z tych danych, odciążając usługi w chmurze na platformie Microsoft Azure. Na platformie Azure dane mogą być przetwarzane na żywo, wyzwalać zadania automatyzacji lub być archiwizowane na potrzeby analizy historycznej.
Włączanie tworzenia aplikacji intelligent Video Analytics przy użyciu technologii NVIDIA DeepStream i Azure
Technologia NVIDIA DeepStream umożliwia tworzenie inteligentnych aplikacji do analizy wideo, które korzystają z wieloplatformowej struktury, którą można wdrożyć na brzegu sieci i łączyć się z usługami w chmurze. Ta struktura umożliwia wizualne definiowanie potoków IVA przy użyciu narzędzia programistycznego o nazwie NVIDIA Graph Composer. Narzędzie umożliwia definiowanie źródeł wideo z plików, aparatów lokalnych lub sieciowych strumieni wideo RTSP, które mogą być przekazywane bezpośrednio do operacji wnioskowania pojedynczego lub kaskadowego. Te operacje generują szczegółowe informacje, które można następnie przekazywać do usług w chmurze w celu dalszego przetwarzania. Wykonując zadania obliczeniowe z dużym obciążeniem wnioskowania lokalnie na brzegu sieci, można zmniejszyć ilość danych potrzebnych do przesyłania szczegółowych informacji i telemetrii do chmury.
Wymagania dotyczące sprzętu i systemu operacyjnego
Aby kontynuować pracę z tym modułem, musisz mieć dostęp do maszyny opartej na architekturze x86/AMD64 z systemem Ubuntu 18.04. Należy również upewnić się, że na komputerze deweloperskim zainstalowano jedną z następujących kart graficznych.
Procesory GPU zgodne z usługą DeepStream 6.0
-
Uwaga
Jeśli planujesz użyć maszyny wirtualnej do spełnienia tych wymagań, możesz napotkać problemy w dalszej części tej ścieżki szkoleniowej podczas próby uruchomienia programu NVIDIA Graph Composer, jeśli łączysz się z maszyną wirtualną za pośrednictwem sesji zdalnej. Nadal będziesz mieć możliwość kontynuowania pracy z modułami, ale chcemy mieć pewność, że znasz ten problem.
Wypróbuj
Rozważ scenariusze, w których można użyć przetwarzania obrazów, aby ułatwić zautomatyzowanie zadania lub uproszczenie tradycyjnie złożonego procesu. Jakie kanały wideo muszą zobaczyć? Jakich algorytmów przetwarzania obrazów należy użyć do zaimplementowania rozwiązania (wykrywania obiektów, klasyfikacji obrazów, śledzenia obiektów)?