Egyéni képelemzési modell létrehozása

Fontos

Ez a funkció elavult. 2025. január 10-én az Azure AI Image Analysis 4.0 Egyéni képbesorolás, az Egyéni objektumészlelés és a Termékfelismerés előzetes API megszűnik. Ezen dátum után az api-hívások ezekhez a szolgáltatásokhoz sikertelenek lesznek.

A modellek zökkenőmentes működésének fenntartása érdekében váltson az Azure AI Custom Visionre, amely most már általánosan elérhető. A Custom Vision a nyugdíjba vonuló funkciókhoz hasonló funkciókat kínál.

Az Image Analysis 4.0 lehetővé teszi egyéni modellek betanítását saját betanítási rendszerképek használatával. A képek manuális címkézésével betanított egy modellt, amely egyéni címkéket alkalmaz a képekre (képbesorolás), vagy észlelheti az egyéni objektumokat (objektumészlelés). Az Image Analysis 4.0-modellek különösen hatékonyak a kevés lövéses tanulásban, így kevesebb betanítási adattal rendelkező pontos modelleket kaphat.

Ez az útmutató bemutatja, hogyan hozhat létre és taníthat be egyéni képbesorolási modellt. A rendszer a képosztályozási modell és az objektumészlelési modell betanítása közötti néhány különbséget észleli.

Feljegyzés

A modell testreszabása a REST API-val és a Vision Studióval érhető el, az ügyfélnyelvi SDK-kon keresztül azonban nem.

Előfeltételek

• Azure-előfizetés. Ingyenesen létrehozhat egyet.
• Miután megkapta az Azure-előfizetését, hozzon létre egy Vision-erőforrást az Azure Portalon a kulcs és a végpont lekéréséhez. Ha ezt az útmutatót a Vision Studióval követi, az erőforrást az USA keleti régiójában kell létrehoznia. Az üzembe helyezés után válassza az Ugrás az erőforrásra lehetőséget. Másolja a kulcsot és a végpontot egy ideiglenes helyre későbbi használatra.
• Egy Azure Storage-erőforrás. Hozzon létre egy Storage-erőforrást.
• Képkészlet, amellyel betanítsa a besorolási modellt. A GitHubon a mintaképek készletét használhatja. Vagy használhatja a saját képeit is. Osztályonként csak körülbelül 3-5 képre van szüksége.

Feljegyzés

Nem javasoljuk, hogy egyéni modelleket használjon üzleti szempontból kritikus környezetekhez a lehetséges nagy késés miatt. Amikor az ügyfelek egyéni modelleket tanítanak be a Vision Studióban, ezek az egyéni modellek ahhoz a Vision-erőforráshoz tartoznak, amely alá betanították őket, és az ügyfél az Analyze Image API használatával tud hívásokat kezdeményezni ezekhez a modellekhez. A hívások indításakor az egyéni modell betöltődik a memóriába, és inicializálódik az előrejelzési infrastruktúra. Bár ez történik, az ügyfelek a vártnál hosszabb késést tapasztalhatnak az előrejelzési eredmények fogadásához.

Vision Studio

Új egyéni modell létrehozása

Először lépjen a Vision Studióba, és válassza a Képelemzés lapot. Ezután válassza a Modellek testreszabása csempét.

Ezután jelentkezzen be az Azure-fiókjával, és válassza ki a Vision-erőforrást. Ha nincs ilyenje, létrehozhat egyet ebből a képernyőről.

Betanítási képek előkészítése

Fel kell töltenie a betanítási rendszerképeket egy Azure Blob Storage-tárolóba. Nyissa meg a tárolóerőforrást az Azure Portalon, és lépjen a Storage böngésző lapjára. Itt létrehozhat egy blobtárolót, és feltöltheti a rendszerképeket. Helyezze őket a tároló gyökeréhez.

Adatkészlet hozzáadása

Az egyéni modellek betanításához társítania kell azt egy adatkészlettel , ahol betanítási adatokként képeket és címkeadatokat ad meg. A Vision Studióban válassza az Adathalmazok lapot az adathalmazok megtekintéséhez.

Új adatkészlet létrehozásához válassza az Új adatkészlet hozzáadása lehetőséget. Az előugró ablakban adjon meg egy nevet, és válasszon egy adathalmaztípust a használati esethez. A képbesorolási modellek tartalomfeliratokat alkalmaznak a teljes képre, míg az objektumészlelési modellek objektumfeliratokat alkalmaznak a kép adott helyeire. A termékfelismerési modellek a kiskereskedelmi termékek észlelésére optimalizált objektumészlelési modellek alkategóriái.

Ezután válassza ki azt a tárolót az Azure Blob Storage-fiókból, ahol a betanítási rendszerképeket tárolta. Jelölje be azt a jelölőnégyzetet, amely lehetővé teszi a Vision Studio számára a blobtárolóba való olvasást és írást. Ez a címkézett adatok importálásához szükséges lépés. Hozza létre az adathalmazt.

Azure Machine Learning-címkézési projekt létrehozása

A címkézési információk továbbításához COCO-fájlra van szükség. A COCO-fájlok létrehozásának egyszerű módja egy Azure Machine Learning-projekt létrehozása, amely egy adatfeliratozási munkafolyamattal rendelkezik.

Az adathalmaz részletei lapon válassza az Új adatcímkézési projekt hozzáadása lehetőséget. Nevezze el, és válassza az Új munkaterület létrehozása lehetőséget. Ezzel megnyílik egy új Azure Portal-lap, ahol létrehozhatja az Azure Machine Learning-projektet.

Az Azure Machine Learning-projekt létrehozása után térjen vissza a Vision Studio lapra, és válassza ki a Munkaterület területen. Az Azure Machine Learning Portál ekkor megnyílik egy új böngészőlapon.

Címkék létrehozása

A címkézés megkezdéséhez kövesse a Címkeosztályok hozzáadása parancsot a címkeosztályok hozzáadásához.

Miután hozzáadta az összes osztálycímkét, mentse őket, válassza a Start elemet a projekten, majd a tetején válassza a Címke adatok lehetőséget .

Betanítási adatok manuális címkézése

Válassza a Címkézés indítása lehetőséget, és kövesse az utasításokat az összes kép címkézéséhez. Ha végzett, térjen vissza a Vision Studio lapra a böngészőben.

Most válassza a COCO-fájl hozzáadása lehetőséget, majd válassza a COCO-fájl importálása egy Azure ML-adatcímkézési projektből. Ez importálja a címkézett adatokat az Azure Machine Learningből.

A létrehozott COCO-fájlt a projekthez csatolt Azure Storage-tároló tárolja. Most már importálhatja a modell testreszabási munkafolyamatába. Válassza ki a legördülő listából. Miután importálta a COCO-fájlt az adathalmazba, az adatkészlet használható modell betanítására.

Feljegyzés

Ha van egy importálni kívánt kész COCO-fájlja, lépjen az Adathalmazok lapra, és válassza a COCO-fájlok hozzáadása az adatkészlethez lehetőséget. Hozzáadhat egy adott COCO-fájlt egy Blob Storage-fiókból, vagy importálhat az Azure Machine Learning címkézési projektből.

A Microsoft jelenleg egy olyan problémával foglalkozik, amely miatt a COCO-fájlok importálása nagy adathalmazokkal meghiúsul, amikor a Vision Studióban kezdeményezik. A nagy adathalmazok betanítása érdekében javasoljuk, hogy inkább a REST API-t használja.

Tudnivalók a COCO-fájlokról

A COCO-fájlok meghatározott kötelező mezőkkel rendelkező JSON-fájlok: "images", "annotations"és "categories". A COCO-mintafájl így fog kinézni:

{
 "images": [
   {
     "id": 1,
     "width": 500,
     "height": 828,
     "file_name": "0.jpg",
     "absolute_url": "https://blobstorage1.blob.core.windows.net/cpgcontainer/0.jpg"
   },
    {
      "id": 2,
      "width": 754,
      "height": 832,
      "file_name": "1.jpg",
      "absolute_url": "https://blobstorage1.blob.core.windows.net/cpgcontainer/1.jpg"
    },

   ...

  ],
  "annotations": [
    {
      "id": 1,
      "category_id": 7,
      "image_id": 1,
      "area": 0.407,
      "bbox": [
        0.02663142641129032,
        0.40691584277841153,
        0.9524163571731749,
        0.42766634515266866
      ]
    },
    {
      "id": 2,
      "category_id": 9,
      "image_id": 2,
      "area": 0.27,
      "bbox": [
        0.11803319477782331,
        0.41586723392402375,
        0.7765206955096307,
        0.3483334397217212
      ]
    },
    ...

  ],
  "categories": [
    {
      "id": 1,
      "name": "vegall original mixed vegetables"
    },
    {
      "id": 2,
      "name": "Amy's organic soups lentil vegetable"
    },
    {
      "id": 3,
      "name": "Arrowhead 8oz"
    },

    ...

  ]
}

COCO-fájlmezőre vonatkozó referencia

Ha saját COCO-fájlt hoz létre az alapoktól, győződjön meg arról, hogy az összes szükséges mező a megfelelő részletekkel van kitöltve. Az alábbi táblázatok egy COCO-fájl minden mezőjét ismertetik:

"képek"

Kulcs	Típus	Leírás	Kötelező?
id	egész szám	Egyedi képazonosító, 1-től kezdve	Igen
width	egész szám	A kép szélessége képpontban	Igen
height	egész szám	A kép magassága képpontban	Igen
file_name	húr	A kép egyedi neve	Igen
absolute_url vagy coco_url	húr	A kép elérési útja egy blobtárolóban lévő blob abszolút URI-jaként. A Vision-erőforrásnak engedéllyel kell rendelkeznie a széljegyzetfájlok és az összes hivatkozott képfájl olvasásához.	Igen

Az érték absolute_url a blobtároló tulajdonságaiban található:

"széljegyzetek"

Kulcs	Típus	Leírás	Kötelező?
id	egész szám	A széljegyzet azonosítója	Igen
category_id	egész szám	A szakaszban meghatározott categories kategória azonosítója	Igen
image_id	egész szám	A kép azonosítója	Igen
area	egész szám	"Szélesség" x "Magasság" értéke (a ) harmadik és negyedik értéke bbox	Nem
bbox	list[float]	A határolókeret (0–1) relatív koordinátái a "Bal", "Felső", "Szélesség", "Magasság" sorrendben	Igen

"kategóriák"

Kulcs	Típus	Leírás	Kötelező?
id	egész szám	Egyedi azonosító minden kategóriához (címkeosztályhoz). Ezeknek szerepelniük kell a annotations szakaszban.	Igen
name	húr	A kategória neve (címkeosztály)	Igen

COCO-fájl ellenőrzése

A Python-mintakód segítségével ellenőrizheti a COCO-fájlok formátumát.

Az egyéni modell betanítása

Ha be szeretne tanítani egy modellt a COCO-fájllal, lépjen az Egyéni modellek lapra, és válassza az Új modell hozzáadása lehetőséget. Adja meg a modell nevét, és válassza ki Image classification vagy Object detection adja meg a modell típusát.

Válassza ki az adatkészletet, amely most a címkézési adatokat tartalmazó COCO-fájlhoz van társítva.

Ezután válasszon ki egy időkeretet, és tanítsa be a modellt. Kis példák esetén használhat költségvetést 1 hour .

Eltarthat egy ideig, mire a betanítás befejeződik. A Képelemzés 4.0 modellek csak kis betanítási adatokkal lehetnek pontosak, de a betanításuk hosszabb időt vesz igénybe, mint a korábbi modellek.

A betanított modell kiértékelése

A betanítás befejezése után megtekintheti a modell teljesítményértékelését. A rendszer a következő metrikákat használja:

• Képbesorolás: Átlagos pontosság, 1. pontosság, 5. pontosság
• Objektumészlelés: Átlagos pontosság @ 30, Átlag pontosság átlaga @ 50, Átlagos átlag pontosság @ 75

Ha a modell betanításakor nem ad meg kiértékelési csoportot, a jelentett teljesítmény a betanítási készlet egy része alapján lesz megbecsülve. Határozottan javasoljuk, hogy a modell teljesítményének megbízható becsléséhez használjon kiértékelési adatkészletet (a fenti folyamattal megegyező eljárással).

Az egyéni modell tesztelése a Vision Studióban

Miután létrehozott egy egyéni modellt, tesztelheti a modell kiértékelési képernyőjén a Kipróbálás gombot.

Ekkor megjelenik a Gyakori címkék kinyerése a képek lapról. Válassza ki az egyéni modellt a legördülő menüből, és töltsön fel egy tesztképet.

Az előrejelzési eredmények a jobb oldali oszlopban jelennek meg.

REST API

Betanítási adatok előkészítése

Első lépésként létre kell hoznia egy COCO-fájlt a betanítási adatokból. Lásd a következő specifikációt.

Tudnivalók a COCO-fájlokról

A COCO-fájlok meghatározott kötelező mezőkkel rendelkező JSON-fájlok: "images", "annotations"és "categories". A COCO-mintafájl így fog kinézni:

{
 "images": [
   {
     "id": 1,
     "width": 500,
     "height": 828,
     "file_name": "0.jpg",
     "absolute_url": "https://blobstorage1.blob.core.windows.net/cpgcontainer/0.jpg"
   },
    {
      "id": 2,
      "width": 754,
      "height": 832,
      "file_name": "1.jpg",
      "absolute_url": "https://blobstorage1.blob.core.windows.net/cpgcontainer/1.jpg"
    },

   ...

  ],
  "annotations": [
    {
      "id": 1,
      "category_id": 7,
      "image_id": 1,
      "area": 0.407,
      "bbox": [
        0.02663142641129032,
        0.40691584277841153,
        0.9524163571731749,
        0.42766634515266866
      ]
    },
    {
      "id": 2,
      "category_id": 9,
      "image_id": 2,
      "area": 0.27,
      "bbox": [
        0.11803319477782331,
        0.41586723392402375,
        0.7765206955096307,
        0.3483334397217212
      ]
    },
    ...

  ],
  "categories": [
    {
      "id": 1,
      "name": "vegall original mixed vegetables"
    },
    {
      "id": 2,
      "name": "Amy's organic soups lentil vegetable"
    },
    {
      "id": 3,
      "name": "Arrowhead 8oz"
    },

    ...

  ]
}

COCO-fájlmezőre vonatkozó referencia

Ha saját COCO-fájlt hoz létre az alapoktól, győződjön meg arról, hogy az összes szükséges mező a megfelelő részletekkel van kitöltve. Az alábbi táblázatok egy COCO-fájl minden mezőjét ismertetik:

"képek"

Kulcs	Típus	Leírás	Kötelező?
id	egész szám	Egyedi képazonosító, 1-től kezdve	Igen
width	egész szám	A kép szélessége képpontban	Igen
height	egész szám	A kép magassága képpontban	Igen
file_name	húr	A kép egyedi neve	Igen
absolute_url vagy coco_url	húr	A kép elérési útja egy blobtárolóban lévő blob abszolút URI-jaként. A Vision-erőforrásnak engedéllyel kell rendelkeznie a széljegyzetfájlok és az összes hivatkozott képfájl olvasásához.	Igen

Az érték absolute_url a blobtároló tulajdonságaiban található:

"széljegyzetek"

Kulcs	Típus	Leírás	Kötelező?
id	egész szám	A széljegyzet azonosítója	Igen
category_id	egész szám	A szakaszban meghatározott categories kategória azonosítója	Igen
image_id	egész szám	A kép azonosítója	Igen
area	egész szám	"Szélesség" x "Magasság" értéke (a ) harmadik és negyedik értéke bbox	Nem
bbox	list[float]	A határolókeret (0–1) relatív koordinátái a "Bal", "Felső", "Szélesség", "Magasság" sorrendben	Igen

"kategóriák"

Kulcs	Típus	Leírás	Kötelező?
id	egész szám	Egyedi azonosító minden kategóriához (címkeosztályhoz). Ezeknek szerepelniük kell a annotations szakaszban.	Igen
name	húr	A kategória neve (címkeosztály)	Igen

COCO-fájl ellenőrzése

A Python-mintakód segítségével ellenőrizheti a COCO-fájlok formátumát.

Feltöltés tárolóba

Töltse fel a COCO-fájlt egy blobtárolóba, ideális esetben ugyanarra a blobtárolóra, amely magában a betanítási lemezképeket tárolja.

Betanítási adatkészlet létrehozása

Az datasets/<dataset-name> API-val létrehozhat egy új adathalmaz-objektumot, amely a betanítási adatokra hivatkozik. Végezze el a következő módosításokat a cURL-parancson:

1. Cserélje le <endpoint> az Azure AI Vision-végpontra.
2. Cserélje le <dataset-name> az adathalmaz nevét.
3. Cserélje le <subscription-key> az Azure AI Vision-kulcsra.
4. A kérelem törzsében állítsa "annotationKind" be a projekttől függően vagy "imageClassification" "imageObjectDetection"azt.
5. A kérelem törzsében állítsa a "annotationFileUris" tömböt sztringek tömbjébe, amelyek a COCO-fájlok URI-helyét mutatják a Blob Storage-ban.

curl.exe -v -X PUT "<endpoint>/computervision/datasets/<dataset-name>?api-version=2023-02-01-preview" -H "Content-Type: application/json" -H "Ocp-Apim-Subscription-Key: <subscription-key>" --data-ascii "
{
'annotationKind':'imageClassification',
'annotationFileUris':['<URI>']
}"

Modell létrehozása és betanítása

Az models/<model-name> API-val létrehozhat egy új egyéni modellt, és társíthatja egy meglévő adatkészlettel. A betanítási folyamatot is elindítja. Végezze el a következő módosításokat a cURL-parancson:

1. Cserélje le <endpoint> az Azure AI Vision-végpontra.
2. Cserélje le <model-name> a modell nevét.
3. Cserélje le <subscription-key> az Azure AI Vision-kulcsra.
4. A kérelem törzsében állítsa "trainingDatasetName" be az előző lépésben szereplő adathalmaz nevét.
5. A kérelem törzsében állítsa "modelKind" be a projekttől függően vagy "Generic-Classifier" "Generic-Detector"azt.

curl.exe -v -X PUT "<endpoint>/computervision/models/<model-name>?api-version=2023-02-01-preview" -H "Content-Type: application/json" -H "Ocp-Apim-Subscription-Key: <subscription-key>" --data-ascii "
{
'trainingParameters': {
    'trainingDatasetName':'<dataset-name>',
    'timeBudgetInHours':1,
    'modelKind':'Generic-Classifier',
    }
}"

A modell teljesítményének kiértékelése egy adathalmazon

Az models/<model-name>/evaluations/<eval-name> API kiértékeli egy meglévő modell teljesítményét. Végezze el a következő módosításokat a cURL-parancson:

1. Cserélje le <endpoint> az Azure AI Vision-végpontra.
2. Cserélje le <model-name> a modell nevére.
3. Cserélje le <eval-name> egy olyan névre, amely a kiértékelés egyedi azonosítására használható.
4. Cserélje le <subscription-key> az Azure AI Vision-kulcsra.
5. A kérelem törzsében állítsa be "testDatasetName" a kiértékeléshez használni kívánt adathalmaz nevét. Ha nincs dedikált adatkészlete, ugyanazt az adatkészletet használhatja, amelyet a betanításhoz használt.

curl.exe -v -X PUT "<endpoint>/computervision/models/<model-name>/evaluations/<eval-name>?api-version=2023-02-01-preview" -H "Content-Type: application/json" -H "Ocp-Apim-Subscription-Key: <subscription-key>" --data-ascii "
{
'evaluationParameters':{
    'testDatasetName':'<dataset-name>'
    },
}"

Az API-hívás egy ModelPerformance JSON-objektumot ad vissza, amely több kategóriában sorolja fel a modell pontszámait. A rendszer a következő metrikákat használja:

• Képbesorolás: Átlagos pontosság, 1. pontosság, 5. pontosság
• Objektumészlelés: Átlagos pontosság @ 30, Átlag pontosság átlaga @ 50, Átlagos átlag pontosság @ 75

Az egyéni modell tesztelése egy képen

Az imageanalysis:analyze API szokásos képelemzési műveleteket végez. Bizonyos paraméterek megadásával ezzel az API-val lekérdezheti saját egyéni modelljét az előre összeállított Képelemzési modellek helyett. Végezze el a következő módosításokat a cURL-parancson:

1. Cserélje le <endpoint> az Azure AI Vision-végpontra.
2. Cserélje le <model-name> a modell nevére.
3. Cserélje le <subscription-key> az Azure AI Vision-kulcsra.
4. A kérelem törzsében állítsa egy "url" távoli kép URL-címét, amelyen tesztelni szeretné a modellt.

curl.exe -v -X POST "<endpoint>/computervision/imageanalysis:analyze?model-name=<model-name>&api-version=2023-02-01-preview" -H "Content-Type: application/json" -H "Ocp-Apim-Subscription-Key: <subscription-key>" --data-ascii "
{'url':'https://learn.microsoft.com/azure/ai-services/computer-vision/media/quickstarts/presentation.png'
}"

Az API-hívás egy ImageAnalysisResult JSON-objektumot ad vissza, amely tartalmazza egy képosztályozó összes észlelt címkéit, illetve egy objektumdetektor objektumait a megbízhatósági pontszámukkal.

{
  "kind": "imageAnalysisResult",
  "metadata": {
    "height": 900,
    "width": 1260
  },
  "customModelResult": {
    "classifications": [
      {
        "confidence": 0.97970027,
        "label": "hemlock"
      },
      {
        "confidence": 0.020299695,
        "label": "japanese-cherry"
      }
    ],
    "objects": [],
    "imageMetadata": {
      "width": 1260,
      "height": 900
    }
  }
}

Kapcsolódó tartalom

Ebben az útmutatóban létrehozott és betanított egy egyéni képbesorolási modellt a Képelemzés használatával. Ezután tudjon meg többet az Analyze Image 4.0 API-ról, hogy meghívhassa az egyéni modellt egy alkalmazásból REST használatával.

• Modell testreszabási fogalmai
• Az Analyze Image API meghívása