Regalbildkomposition (Vorschau)

Artikel
06/11/2024

Ein Teil des Workflows zur Produkterkennung besteht darin, die eingegebenen Bilder zu korrigieren und zu modifizieren, damit der Dienst einwandfrei arbeiten kann.

Diese Anleitung zeigt Ihnen, wie Sie mit der Zusammenfügungs-API mehrere Bilder desselben physischen Regals kombinieren können: So erhalten Sie ein zusammengesetztes Bild des gesamten Verkaufsregals, auch wenn es nur teilweise von mehreren verschiedenen Kameras erfasst wird.

Diese Anleitung zeigt Ihnen auch, wie Sie die Korrektur-API nutzen können, um perspektivische Verzerrungen zu korrigieren, wenn Sie verschiedene Bilder zusammenfügen.

Voraussetzungen

Azure-Abonnement: Kostenloses Azure-Konto
Wenn Sie über Ihr Azure-Abonnement verfügen, sollten Sie im Azure-Portal unter eine Vision-Ressource erstellen. Dies muss in einer unterstützten Azure-Region bereitgestellt werden (siehe Regionale Verfügbarkeit). Wählen Sie nach Abschluss der Bereitstellung Zu Ressource wechseln aus.
- Sie benötigen den Schlüssel und den Endpunkt der von Ihnen erstellten Ressource, um Ihre Anwendung mit dem Azure KI Vision-Dienst zu verbinden. Der Schlüssel und der Endpunkt werden weiter unten in der Schnellstartanleitung in den Code eingefügt.
Eine Azure Storage-Ressource mit einem Blob Storage-Container. Einen erstellen
cURL muss installiert sein. Sie können auch eine andere REST-Plattform wie Postman, Swagger oder die REST-Clienterweiterung für VS Code verwenden.
Eine Reihe von Fotos, die angrenzende Teile desselben Regals zeigen. Eine Überlappung von 50 % zwischen Bildern wird empfohlen. Sie können die „nicht zusammengefügten“ Beispielbilder von GitHub herunterladen und verwenden.

Verwenden der Stitching-API

Die Zusammenfügungs-API kombiniert mehrere Bilder desselben physischen Regals.

Drei Fotos von Regalen, neben dem zugehörigen kombinierten zusammengesetzten Foto.

Hinweis

Die in den Bildern gezeigten Marken sind nicht mit Microsoft verbunden und stellen keine Form der Unterstützung von Microsoft oder Microsoft-Produkten durch die Markeninhaber oder eine Unterstützung der Markeninhaber oder ihrer Produkte durch Microsoft dar.

Führen Sie für den Zusammenfügungsvorgang für eine Reihe von Bildern die folgenden Schritte aus:

Laden Sie die Bilder, die Sie zusammenfügen möchten, in Ihren Blob Storage-Container hoch, und rufen Sie die absolute URL jedes Bilds ab. Sie können bis zu 10 Bilder gleichzeitig zusammenfügen.

Kopieren Sie den folgenden curl-Befehl, und fügen Sie ihn in einen Text-Editor ein.

curl.exe -H "Ocp-Apim-Subscription-Key: <subscriptionKey>" -H "Content-Type: application/json" "<endpoint>/computervision/imagecomposition:stitch?api-version=2023-04-01-preview" --output <your_filename> -d "{
    'images': [
        '<your_url_string_>',
        '<your_url_string_2>',
        ...
    ]
}"

Nehmen Sie die folgenden Änderungen im Befehl vor, falls dies erforderlich ist:
1. Ersetzen Sie den Wert <subscriptionKey> durch Ihren Vision-Ressourcenschlüssel.
2. Ersetzen Sie den Wert <endpoint> durch Ihren Vision-Ressourcenendpunkt. Beispiel: https://YourResourceName.cognitiveservices.azure.com
3. Ersetzen Sie den Inhalt von <your_url_string> durch die Blob-URLs der Bilder. Die Bilder sollten von links nach rechts und von oben nach unten angeordnet sein, und zwar nach den physischen Räumen, die sie zeigen.
4. Ersetzen Sie <your_filename> durch den Namen und die Erweiterung der Datei, in der Sie das Ergebnis erhalten möchten (z. B. download.jpg).
Öffnen Sie ein Eingabeaufforderungsfenster.
Fügen Sie den von Ihnen bearbeiteten curl-Befehl aus dem Text-Editor in das Eingabeaufforderungsfenster ein, und führen Sie den Befehl aus.

Untersuchen der Antwort auf den Zusammenfügungsvorgang

Die API gibt die Antwort 200 zurück, und die neue Datei wird an den von Ihnen angegebenen Speicherort heruntergeladen.

Verwenden der Korrektur-API

Nachdem Sie den Zusammenfügungsvorgang abgeschlossen haben, empfehlen wir den Korrekturvorgang, um optimale Analyseergebnisse zu erzielen.

Fotos eines Verkaufsregals, vor und nach dem Korrekturvorgang.

Hinweis

Um die perspektivische Verzerrung im zusammengesetzten Bild zu korrigieren, gehen Sie folgendermaßen vor:

Laden Sie das Bild, das Sie korrigieren möchten, in Ihren Blob Storage-Container hoch, und rufen Sie die absolute URL ab.

Kopieren Sie den folgenden curl-Befehl, und fügen Sie ihn in einen Text-Editor ein.

curl.exe -H "Ocp-Apim-Subscription-Key: <subscriptionKey>" -H "Content-Type: application/json" "<endpoint>/computervision/imagecomposition:rectify?api-version=2023-04-01-preview" --output <your_filename> -d "{
  'url': '<your_url_string>',
  'controlPoints': {
    'topLeft': {
      'x': 0.1,
      'y': 0.1
    },
    'topRight': {
      'x': 0.2,
      'y': 0.2
    },
    'bottomLeft': {
      'x': 0.3,
      'y': 0.3
    },
    'bottomRight': {
      'x': 0.4,
      'y': 0.4
    }
  }
}"

Nehmen Sie die folgenden Änderungen im Befehl vor, falls dies erforderlich ist:
1. Ersetzen Sie den Wert <subscriptionKey> durch Ihren Vision-Ressourcenschlüssel.
2. Ersetzen Sie den Wert <endpoint> durch Ihren Vision-Ressourcenendpunkt. Beispiel: https://YourResourceName.cognitiveservices.azure.com
3. Ersetzen Sie <your_url_string> durch die Blob Storage-URL des Bilds.
4. Ersetzen Sie die vier Steuerungspunktkoordinaten im Anforderungstext. X ist die horizontale Koordinate, Y die vertikale. Die Koordinaten sind normalisiert, d.h. 0,5,0.5 gibt die Mitte des Bilds und 1,1 die rechte untere Ecke an. Legen Sie die Koordinaten fest, um die vier Ecken der Regalvorrichtung so zu definieren, wie sie auf dem Bild zu sehen ist.
5. Ersetzen Sie <your_filename> durch den Namen und die Erweiterung der Datei, in der Sie das Ergebnis erhalten möchten (z. B. download.jpg).
Öffnen Sie ein Eingabeaufforderungsfenster.
Fügen Sie den von Ihnen bearbeiteten curl-Befehl aus dem Text-Editor in das Eingabeaufforderungsfenster ein, und führen Sie den Befehl aus.

Untersuchen des Ergebnisses des Korrekturvorgangs

Die API gibt die Antwort 200 zurück, und die neue Datei wird an den von Ihnen angegebenen Speicherort heruntergeladen.

Nächste Schritte

In diesem Leitfaden haben Sie erfahren, wie Sie Regalfotos zur Analyse aufbereiten. Rufen Sie als Nächstes die Produktverständnis-API auf, um Analyseergebnisse zu erhalten.

Analysieren eines Regalbilds

Übersicht über die Bildanalyse

Freigeben über