Struktura przetwarzania obrazów na platformie Xamarin.iOS

Struktura przetwarzania obrazów dodaje szereg nowych funkcji przetwarzania obrazów do systemu iOS 11, w tym:

• Wykrywanie prostokąta
• Wykrywanie twarzy
• Analiza obrazów usługi Machine Learning (omówiona w języku CoreML)
• Wykrywanie kodów kreskowych
• Analiza wyrównania obrazów
• Wykrywanie tekstu
• Wykrywanie horyzontów
• Wykrywanie i śledzenie obiektów

Wykrywanie prostokątów i wykrywanie twarzy zostały omówione bardziej szczegółowo poniżej.

Wykrywanie prostokąta

W przykładzie pokazano, jak przetworzyć obraz i narysować wykryte prostokąty.

1. Inicjowanie żądania przetwarzania obrazów

W ViewDidLoadpliku utwórz element VNDetectRectanglesRequest odwołujący się do HandleRectangles metody, która zostanie wywołana na końcu każdego żądania:

Właściwość powinna być również ustawiona MaximumObservations , w przeciwnym razie wartość domyślna to 1 i zostanie zwrócony tylko jeden wynik.

RectangleRequest = new VNDetectRectanglesRequest(HandleRectangles);
RectangleRequest.MaximumObservations = 10;

2. Rozpoczęcie przetwarzania obrazów

Poniższy kod rozpoczyna przetwarzanie żądania. W przykładzie visionRects ten kod jest uruchamiany po wybraniu obrazu przez użytkownika:

// Run the rectangle detector
var handler = new VNImageRequestHandler(ciImage, uiImage.Orientation.ToCGImagePropertyOrientation(), new VNImageOptions());
DispatchQueue.DefaultGlobalQueue.DispatchAsync(()=>{
  handler.Perform(new VNRequest[] {RectangleRequest}, out NSError error);
});

Ta procedura obsługi przekazuje ciImage element do struktury VNDetectRectanglesRequest Vision utworzonej w kroku 1.

3. Obsługa wyników przetwarzania obrazów

Po zakończeniu wykrywania prostokąta platforma wykonuje metodę HandleRectangles , a podsumowanie pokazane poniżej:

private void HandleRectangles(VNRequest request, NSError error){
  var observations = request.GetResults<VNRectangleObservation>();
  // ... omitted error handling ...
  bool atLeastOneValid = false;
  foreach (var o in observations){
    if (InputImage.Extent.Contains(boundingBox)) {
      atLeastOneValid |= true;
    }
  }
  if (!atLeastOneValid) return;
  // Show the pre-processed image
  DispatchQueue.MainQueue.DispatchAsync(() =>
  {
    ClassificationLabel.Text = summary;
    ImageView.Image = OverlayRectangles(RawImage, imageSize, observations);
  });
}

4. Wyświetlanie wyników

Metoda OverlayRectangles w przykładzie VisionRectangles ma trzy funkcje:

• Renderowanie obrazu źródłowego,
• Rysowanie prostokąta wskazującego, gdzie wykryto każdą z nich, i
• Dodawanie etykiety tekstowej dla każdego prostokąta przy użyciu biblioteki CoreGraphics.

5. Dalsze przetwarzanie

Wykrywanie prostokąta jest często tylko pierwszym krokiem w łańcuchu operacji, na przykład w tym przykładzie CoreMLVision, gdzie prostokąty są przekazywane do modelu CoreML w celu analizowania cyfr odręcznych.

Wykrywanie twarzy

Ten przykład działa w podobny sposób do przykładu VisionRectangles przy użyciu innej klasy żądania przetwarzania obrazów.

1. Inicjowanie żądania przetwarzania obrazów

W ViewDidLoadpliku utwórz element VNDetectFaceRectanglesRequest odwołujący HandleRectangles się do metody, która zostanie wywołana na końcu każdego żądania.

FaceRectangleRequest = new VNDetectFaceRectanglesRequest(HandleRectangles);

2. Rozpoczęcie przetwarzania obrazów

Poniższy kod rozpoczyna przetwarzanie żądania. W przykładzie visionFaces ten kod jest uruchamiany po wybraniu obrazu przez użytkownika:

// Run the face detector
var handler = new VNImageRequestHandler(ciImage, uiImage.Orientation.ToCGImagePropertyOrientation(), new VNImageOptions());
DispatchQueue.DefaultGlobalQueue.DispatchAsync(()=>{
  handler.Perform(new VNRequest[] {FaceRectangleRequest}, out NSError error);
});

Ta procedura obsługi przekazuje ciImage element do struktury VNDetectFaceRectanglesRequest Vision utworzonej w kroku 1.

3. Obsługa wyników przetwarzania obrazów

Po zakończeniu wykrywania twarzy program obsługi wykonuje metodę, która wykonuje HandleRectangles obsługę błędów i wyświetla granice wykrytych twarzy, a następnie wywołuje OverlayRectangles metodę , aby narysować prostokąty ograniczenia na oryginalnym obrazie:

private void HandleRectangles(VNRequest request, NSError error){
  var observations = request.GetResults<VNFaceObservation>();
  // ... omitted error handling...
  var summary = "";
  var imageSize = InputImage.Extent.Size;
  bool atLeastOneValid = false;
  Console.WriteLine("Faces:");
  summary += "Faces:";
  foreach (var o in observations) {
    // Verify detected rectangle is valid. omitted
    var boundingBox = o.BoundingBox.Scaled(imageSize);
    if (InputImage.Extent.Contains(boundingBox)) {
      atLeastOneValid |= true;
    }
  }
  // Show the pre-processed image (on UI thread)
  DispatchQueue.MainQueue.DispatchAsync(() =>
  {
    ClassificationLabel.Text = summary;
    ImageView.Image = OverlayRectangles(RawImage, imageSize, observations);
  });
}

4. Wyświetlanie wyników

Metoda OverlayRectangles w przykładzie VisionFaces ma trzy funkcje:

• Renderowanie obrazu źródłowego,
• Rysowanie prostokąta dla każdej wykrytej twarzy i
• Dodawanie etykiety tekstowej dla każdej twarzy przy użyciu biblioteki CoreGraphics.

5. Dalsze przetwarzanie

Struktura vision zawiera dodatkowe możliwości wykrywania cech twarzy, takich jak oczy i usta. VNDetectFaceLandmarksRequest Użyj typu , który zwróci VNFaceObservation wyniki w kroku 3 powyżej, ale z dodatkowymi VNFaceLandmark danymi.

Linki powiązane

• Postęp w obrazie podstawowym — filtry, metal, przetwarzanie obrazów i inne (WWDC) (wideo)