Egyéni képelemzési modell létrehozása (előzetes verzió)

Az Image Analysis 4.0 lehetővé teszi egyéni modellek betanítását saját betanítási rendszerképek használatával. A képek manuális címkézésével betanított egy modellt, amely egyéni címkéket alkalmaz a képekre (képbesorolás), vagy észlelheti az egyéni objektumokat (objektumészlelés). Az Image Analysis 4.0-modellek különösen hatékonyak a kevés lövéses tanulásban, így kevesebb betanítási adattal rendelkező pontos modelleket kaphat.

Ez az útmutató bemutatja, hogyan hozhat létre és taníthat be egyéni képbesorolási modellt. A rendszer a képosztályozási modell és az objektumészlelési modell betanítása közötti néhány különbséget észleli.

Előfeltételek

  • Azure-előfizetés – Ingyenes létrehozás
  • Miután megkapta az Azure-előfizetését, hozzon létre egy Vision-erőforrást az Azure Portalon a kulcs és a végpont lekéréséhez. Ha ezt az útmutatót a Vision Studióval követi, az erőforrást az USA keleti régiójában kell létrehoznia. Az üzembe helyezés után válassza az Ugrás az erőforrásra lehetőséget. Másolja a kulcsot és a végpontot egy ideiglenes helyre, amelyet később használni szeretne.
  • Azure Storage-erőforrás – Létrehozás
  • Képkészlet, amellyel betanítsa a besorolási modellt. A GitHubon a mintaképek készletét használhatja. Vagy használhatja a saját képeit is. Osztályonként csak körülbelül 3-5 képre van szüksége.

Feljegyzés

Nem javasoljuk, hogy egyéni modelleket használjon üzleti szempontból kritikus környezetekhez a lehetséges nagy késés miatt. Amikor az ügyfelek egyéni modelleket tanítanak be a Vision Studióban, ezek az egyéni modellek ahhoz a Vision-erőforráshoz tartoznak, amely alá betanították őket, és az ügyfél az Analyze Image API használatával tud hívásokat kezdeményezni ezekhez a modellekhez. A hívások indításakor az egyéni modell betöltődik a memóriába, és inicializálódik az előrejelzési infrastruktúra. Bár ez történik, az ügyfelek a vártnál hosszabb késést tapasztalhatnak az előrejelzési eredmények fogadásához.

-->

Új egyéni modell létrehozása

Először lépjen a Vision Studióba, és válassza a Képelemzés lapot. Ezután válassza a Modellek testreszabása csempét.

Screenshot of the Customize models tile.

Ezután jelentkezzen be az Azure-fiókjával, és válassza ki a Vision-erőforrást. Ha nincs ilyenje, létrehozhat egyet ebből a képernyőről.

Fontos

Ahhoz, hogy betanítsa az egyéni modellt a Vision Studióban, az Azure-előfizetését jóvá kell hagyni a hozzáféréshez. Kérjen hozzáférést ezen az űrlapon.

Screenshot of the select resource screen.

Betanítási képek előkészítése

Fel kell töltenie a betanítási rendszerképeket egy Azure Blob Storage-tárolóba. Nyissa meg a tárolóerőforrást az Azure Portalon, és lépjen a Storage böngésző lapjára. Itt létrehozhat egy blobtárolót, és feltöltheti a rendszerképeket. Helyezze őket a tároló gyökeréhez.

Adatkészlet hozzáadása

Az egyéni modellek betanításához társítania kell azt egy adatkészlettel , ahol betanítási adatokként képeket és címkeadatokat ad meg. A Vision Studióban válassza az Adathalmazok lapot az adathalmazok megtekintéséhez.

Új adatkészlet létrehozásához válassza az Új adatkészlet hozzáadása lehetőséget. Az előugró ablakban adjon meg egy nevet, és válasszon egy adathalmaztípust a használati esethez. A képbesorolási modellek tartalomfeliratokat alkalmaznak a teljes képre, míg az objektumészlelési modellek objektumfeliratokat alkalmaznak a kép adott helyeire. A termékfelismerési modellek a kiskereskedelmi termékek észlelésére optimalizált objektumészlelési modellek alkategóriái.

Choose Blob Storage

Ezután válassza ki azt a tárolót az Azure Blob Storage-fiókból, ahol a betanítási rendszerképeket tárolta. Jelölje be azt a jelölőnégyzetet, amely lehetővé teszi a Vision Studio számára a blobtárolóba való olvasást és írást. Ez a címkézett adatok importálásához szükséges lépés. Hozza létre az adathalmazt.

Azure Machine-Tanulás címkézési projekt létrehozása

A címkézési információk továbbításához COCO-fájlra van szükség. A COCO-fájlok létrehozásának egyszerű módja egy Azure Machine-Tanulás projekt létrehozása, amely egy adatfeliratozási munkafolyamattal rendelkezik.

Az adathalmaz részletei lapon válassza az Új adatcímkézési projekt hozzáadása lehetőséget. Nevezze el, és válassza az Új munkaterület létrehozása lehetőséget. Ezzel megnyílik egy új Azure Portal-lap, ahol létrehozhatja az Azure Machine Tanulás projektet.

Choose Azure Machine Learning

Az Azure Machine Tanulás projekt létrehozása után térjen vissza a Vision Studio lapra, és válassza ki a Munkaterület területen. Az Azure Machine Tanulás portál ekkor megnyílik egy új böngészőlapon.

Azure Machine Tanulás: Címkék létrehozása

A címkézés megkezdéséhez kövesse a Címkeosztályok hozzáadása parancsot a címkeosztályok hozzáadásához.

Label classes

Add class labels

Miután hozzáadta az összes osztálycímkét, mentse őket, válassza a kezdés lehetőséget a projektben, majd a tetején válassza a Címke adatok lehetőséget .

Start labeling

Azure Machine Tanulás: Betanítási adatok manuális címkézése

Válassza a Címkézés indítása lehetőséget, és kövesse az utasításokat az összes kép címkézéséhez. Ha végzett, térjen vissza a Vision Studio lapra a böngészőben.

Most válassza a COCO-fájl hozzáadása lehetőséget, majd válassza a COCO-fájl importálása egy Azure ML-adatcímkézési projektből. Ez importálja a címkézett adatokat az Azure Machine Tanulás.

Az imént létrehozott COCO-fájlt a projekthez csatolt Azure Storage-tároló tárolja. Most már importálhatja a modell testreszabási munkafolyamatába. Válassza ki a legördülő listából. Miután importálta a COCO-fájlt az adathalmazba, az adatkészlet használható modell betanítására.

Feljegyzés

COCO-fájlok importálása máshonnan

Ha van egy importálni kívánt kész COCO-fájlja, lépjen az Adathalmazok lapra, és válassza a lehetőséget Add COCO files to this dataset. Hozzáadhat egy adott COCO-fájlt egy Blob Storage-fiókból, vagy importálhat az Azure Machine Tanulás címkézési projektből.

A Microsoft jelenleg egy olyan problémával foglalkozik, amely miatt a COCO-fájlok importálása nagy adathalmazokkal meghiúsul, amikor a Vision Studióban kezdeményezik. A nagy adathalmazok betanítása érdekében javasoljuk, hogy inkább a REST API-t használja.

Choose COCO

Tudnivalók a COCO-fájlokról

A COCO-fájlok meghatározott kötelező mezőkkel rendelkező JSON-fájlok: "images", "annotations"és "categories". A COCO-mintafájl így fog kinézni:

{
 "images": [
   {
     "id": 1,
     "width": 500,
     "height": 828,
     "file_name": "0.jpg",
     "absolute_url": "https://blobstorage1.blob.core.windows.net/cpgcontainer/0.jpg"
   },
    {
      "id": 2,
      "width": 754,
      "height": 832,
      "file_name": "1.jpg",
      "absolute_url": "https://blobstorage1.blob.core.windows.net/cpgcontainer/1.jpg"
    },

   ...

  ],
  "annotations": [
    {
      "id": 1,
      "category_id": 7,
      "image_id": 1,
      "area": 0.407,
      "bbox": [
        0.02663142641129032,
        0.40691584277841153,
        0.9524163571731749,
        0.42766634515266866
      ]
    },
    {
      "id": 2,
      "category_id": 9,
      "image_id": 2,
      "area": 0.27,
      "bbox": [
        0.11803319477782331,
        0.41586723392402375,
        0.7765206955096307,
        0.3483334397217212
      ]
    },
    ...

  ],
  "categories": [
    {
      "id": 1,
      "name": "vegall original mixed vegetables"
    },
    {
      "id": 2,
      "name": "Amy's organic soups lentil vegetable"
    },
    {
      "id": 3,
      "name": "Arrowhead 8oz"
    },

    ...

  ]
}

COCO-fájlmezőre vonatkozó referencia

Ha saját COCO-fájlt hoz létre az alapoktól, győződjön meg arról, hogy az összes szükséges mező a megfelelő részletekkel van kitöltve. Az alábbi táblázatok egy COCO-fájl minden mezőjét ismertetik:

"képek"

Kulcs Típus Leírás Kötelező?
id egész szám Egyedi képazonosító, 1-től kezdve Igen
width egész szám A kép szélessége képpontban Igen
height egész szám A kép magassága képpontban Igen
file_name húr A kép egyedi neve Igen
absolute_url vagy coco_url húr A kép elérési útja egy blobtárolóban lévő blob abszolút URI-jaként. A Vision-erőforrásnak engedéllyel kell rendelkeznie a széljegyzetfájlok és az összes hivatkozott képfájl olvasásához. Igen

Az érték absolute_url a blobtároló tulajdonságaiban található:

absolute url

"széljegyzetek"

Kulcs Típus Leírás Kötelező?
id egész szám A széljegyzet azonosítója Igen
category_id egész szám A szakaszban meghatározott categories kategória azonosítója Igen
image_id egész szám A kép azonosítója Igen
area egész szám "Szélesség" x "Magasság" értéke (a ) harmadik és negyedik értéke bbox Nem
bbox list[float] A határolókeret (0–1) relatív koordinátái a "Bal", "Felső", "Szélesség", "Magasság" sorrendben Igen

"kategóriák"

Kulcs Típus Leírás Kötelező?
id egész szám Egyedi azonosító minden kategóriához (címkeosztályhoz). Ezeknek szerepelniük kell a annotations szakaszban. Igen
name húr A kategória neve (címkeosztály) Igen

COCO-fájl ellenőrzése

A Python-mintakód segítségével ellenőrizheti a COCO-fájlok formátumát.

Az egyéni modell betanítása

Ha be szeretne tanítani egy modellt a COCO-fájllal, lépjen az Egyéni modellek lapra, és válassza az Új modell hozzáadása lehetőséget. Adja meg a modell nevét, és válassza ki Image classification vagy Object detection adja meg a modell típusát.

Create custom model

Válassza ki az adatkészletet, amely most a címkézési adatokat tartalmazó COCO-fájlhoz van társítva.

Ezután válasszon ki egy időkeretet, és tanítsa be a modellt. Kis példák esetén használhat költségvetést 1 hour .

Review training details

Időbe telhet, mire a betanítás befejeződik. A Képelemzés 4.0 modellek csak kis betanítási adatokkal lehetnek pontosak, de a betanításuk hosszabb időt vesz igénybe, mint a korábbi modellek.

A betanított modell kiértékelése

A betanítás befejezése után megtekintheti a modell teljesítményértékelését. A rendszer a következő metrikákat használja:

  • Képbesorolás: Átlagos pontosság, 1. pontosság, 5. pontosság
  • Objektumészlelés: Átlagos pontosság @ 30, Átlag pontosság átlaga @ 50, Átlagos átlag pontosság @ 75

Ha a modell betanításakor nem ad meg kiértékelési csoportot, a jelentett teljesítmény a betanítási készlet egy része alapján lesz megbecsülve. Határozottan javasoljuk, hogy a modell teljesítményének megbízható becsléséhez használjon kiértékelési adatkészletet (a fenti folyamattal megegyező eljárással).

Screenshot of evaluation

Egyéni modell tesztelése a Vision Studióban

Miután létrehozott egy egyéni modellt, tesztelheti a modell kiértékelési képernyőjén a Kipróbálás gombot.

Screenshot of the model evaluation screen with Try it out button outlined.

Ekkor megjelenik a Gyakori címkék kinyerése a képek lapról. Válassza ki az egyéni modellt a legördülő menüből, és töltsön fel egy tesztképet.

Screenshot of selecing test model in Vision Studio.

Az előrejelzési eredmények a jobb oldali oszlopban jelennek meg.

Következő lépések

Ebben az útmutatóban létrehozott és betanított egy egyéni képbesorolási modellt a Képelemzés használatával. Ezután további információ az Analyze Image 4.0 API-ról, hogy az egyéni modellt rest vagy kódtár SDK-k használatával hívhassa meg egy alkalmazásból.