Membuat model Analisis Gambar kustom (pratinjau)

Analisis Gambar 4.0 memungkinkan Anda melatih model kustom menggunakan gambar pelatihan Anda sendiri. Dengan memberi label gambar secara manual, Anda dapat melatih model untuk menerapkan tag kustom ke gambar (klasifikasi gambar) atau mendeteksi objek kustom (deteksi objek). Model Analisis Gambar 4.0 sangat efektif pada pembelajaran beberapa bidikan, sehingga Anda bisa mendapatkan model yang akurat dengan lebih sedikit data pelatihan.

Panduan ini menunjukkan kepada Anda cara membuat dan melatih model klasifikasi gambar kustom. Beberapa perbedaan antara melatih model klasifikasi gambar dan model deteksi objek dicatat.

Prasyarat

• Langganan Azure - Buat langganan secara gratis
• Setelah Anda memiliki langganan Azure, buat sumber daya Vision di portal Azure untuk mendapatkan kunci dan titik akhir Anda. Jika Mengikuti panduan ini menggunakan Vision Studio, Anda harus membuat sumber daya di wilayah US Timur. Setelah menyebar, pilih Buka sumber daya. Salin kunci dan titik akhir ke lokasi sementara untuk digunakan nanti.
• Sumber daya Azure Storage - Buat sumber daya
• Kumpulan gambar untuk melatih model pengklasifikasi Anda. Anda dapat menggunakan kumpulan gambar sampel di GitHub. Atau, Anda dapat menggunakan gambar Anda sendiri. Anda hanya memerlukan sekitar 3-5 gambar per kelas.

Catatan

Kami tidak menyarankan Anda menggunakan model kustom untuk lingkungan penting bisnis karena potensi latensi tinggi. Saat pelanggan melatih model kustom di Vision Studio, model kustom tersebut termasuk dalam sumber daya Visi tempat mereka dilatih dan pelanggan dapat melakukan panggilan ke model tersebut menggunakan Analyze Image API. Ketika mereka melakukan panggilan ini, model kustom dimuat dalam memori dan infrastruktur prediksi diinisialisasi. Meskipun ini terjadi, pelanggan mungkin mengalami latensi yang lebih lama dari yang diharapkan untuk menerima hasil prediksi.

Vision Studio

Membuat model kustom baru

Mulailah dengan membuka Vision Studio dan memilih tab Analisis gambar. Lalu pilih petak Kustomisasi model .

Kemudian, masuk dengan akun Azure Anda dan pilih sumber daya Vision Anda. Jika Anda tidak memilikinya, Anda dapat membuatnya dari layar ini.

Penting

Untuk melatih model kustom di Vision Studio, langganan Azure Anda perlu disetujui untuk akses. Silakan minta akses menggunakan formulir ini.

Menyiapkan gambar pelatihan

Anda perlu mengunggah gambar pelatihan Anda ke kontainer Azure Blob Storage. Buka sumber daya penyimpanan Anda di portal Azure dan navigasikan ke tab Browser penyimpanan. Di sini Anda dapat membuat kontainer blob dan mengunggah gambar Anda. Letakkan semuanya di akar kontainer.

Menambahkan himpunan data

Untuk melatih model kustom, Anda perlu mengaitkannya dengan Himpunan Data tempat Anda menyediakan gambar dan informasi labelnya sebagai data pelatihan. Di Vision Studio, pilih tab Himpunan Data untuk melihat himpunan data Anda.

Untuk membuat himpunan data baru, pilih tambahkan himpunan data baru. Di jendela popup, masukkan nama dan pilih jenis himpunan data untuk kasus penggunaan Anda. Model klasifikasi gambar menerapkan label konten ke seluruh gambar, sementara Model deteksi objek menerapkan label objek ke lokasi tertentu dalam gambar. Model pengenalan produk adalah subkataan model deteksi objek yang dioptimalkan untuk mendeteksi produk ritel.

Kemudian, pilih kontainer dari akun Azure Blob Storage tempat Anda menyimpan gambar pelatihan. Centang kotak untuk mengizinkan Vision Studio membaca dan menulis ke kontainer penyimpanan blob. Ini adalah langkah yang diperlukan untuk mengimpor data berlabel. Buat himpunan data.

Membuat proyek pelabelan Azure Pembelajaran Mesin

Anda memerlukan file COCO untuk menyampaikan informasi pelabelan. Cara mudah untuk menghasilkan file COCO adalah dengan membuat proyek Azure Pembelajaran Mesin, yang dilengkapi dengan alur kerja pelabelan data.

Di halaman detail himpunan data, pilih Tambahkan proyek Pelabelan Data baru. Beri nama dan pilih Buat ruang kerja baru. Itu membuka tab portal Azure baru tempat Anda dapat membuat proyek Azure Pembelajaran Mesin.

Setelah proyek Azure Pembelajaran Mesin dibuat, kembali ke tab Vision Studio dan pilih di bawah Ruang Kerja. Portal Azure Pembelajaran Mesin kemudian akan terbuka di tab browser baru.

Azure Pembelajaran Mesin: Membuat label

Untuk memulai pelabelan, ikuti perintah Tambahkan kelas label untuk menambahkan kelas label.

Setelah Anda menambahkan semua label kelas, simpan, pilih mulai pada proyek, lalu pilih Beri label data di bagian atas.

Azure Pembelajaran Mesin: Memberi label data pelatihan secara manual

Pilih Mulai pelabelan dan ikuti perintah untuk melabeli semua gambar Anda. Setelah selesai, kembali ke tab Vision Studio di browser Anda.

Sekarang pilih Tambahkan file COCO, lalu pilih Impor file COCO dari proyek Pelabelan Data Azure ML. Ini mengimpor data berlabel dari Azure Pembelajaran Mesin.

File COCO yang baru saja Anda buat sekarang disimpan di kontainer Azure Storage yang Anda tautkan ke proyek ini. Sekarang Anda dapat mengimpornya ke alur kerja kustomisasi model. Pilih dari daftar menurun. Setelah file COCO diimpor ke dalam himpunan data, himpunan data dapat digunakan untuk melatih model.

Catatan

Mengimpor file COCO dari tempat lain

Jika Anda memiliki file COCO siap pakai yang ingin Anda impor, buka tab Himpunan Data dan pilih Add COCO files to this dataset. Anda dapat memilih untuk menambahkan file COCO tertentu dari akun penyimpanan Blob atau mengimpor dari proyek pelabelan Azure Pembelajaran Mesin.

Saat ini, Microsoft mengatasi masalah yang menyebabkan impor file COCO gagal dengan himpunan data besar saat dimulai di Vision Studio. Untuk melatih menggunakan himpunan data besar, disarankan untuk menggunakan REST API sebagai gantinya.

Tentang file COCO

File COCO adalah file JSON dengan bidang tertentu yang diperlukan: "images", "annotations", dan "categories". Contoh file COCO akan terlihat seperti ini:

{
 "images": [
   {
     "id": 1,
     "width": 500,
     "height": 828,
     "file_name": "0.jpg",
     "absolute_url": "https://blobstorage1.blob.core.windows.net/cpgcontainer/0.jpg"
   },
    {
      "id": 2,
      "width": 754,
      "height": 832,
      "file_name": "1.jpg",
      "absolute_url": "https://blobstorage1.blob.core.windows.net/cpgcontainer/1.jpg"
    },

   ...

  ],
  "annotations": [
    {
      "id": 1,
      "category_id": 7,
      "image_id": 1,
      "area": 0.407,
      "bbox": [
        0.02663142641129032,
        0.40691584277841153,
        0.9524163571731749,
        0.42766634515266866
      ]
    },
    {
      "id": 2,
      "category_id": 9,
      "image_id": 2,
      "area": 0.27,
      "bbox": [
        0.11803319477782331,
        0.41586723392402375,
        0.7765206955096307,
        0.3483334397217212
      ]
    },
    ...

  ],
  "categories": [
    {
      "id": 1,
      "name": "vegall original mixed vegetables"
    },
    {
      "id": 2,
      "name": "Amy's organic soups lentil vegetable"
    },
    {
      "id": 3,
      "name": "Arrowhead 8oz"
    },

    ...

  ]
}

Referensi bidang file COCO

Jika Anda membuat file COCO Anda sendiri dari awal, pastikan semua bidang yang diperlukan diisi dengan detail yang benar. Tabel berikut ini menjelaskan setiap bidang dalam file COCO:

"gambar"

Tombol	Tipe	Deskripsi	Wajib diisi?
id	Integer	ID gambar unik, mulai dari 1	Ya
width	Integer	Lebar gambar dalam piksel	Ya
height	Integer	Tinggi gambar dalam piksel	Ya
file_name	string	Nama unik untuk gambar	Ya
absolute_url atau coco_url	string	Jalur gambar sebagai URI absolut ke blob dalam kontainer blob. Sumber daya Visi harus memiliki izin untuk membaca file anotasi dan semua file gambar yang dirujuk.	Ya

Nilai untuk absolute_url dapat ditemukan di properti kontainer blob Anda:

"Anotasi"

Tombol	Tipe	Deskripsi	Wajib diisi?
id	Integer	ID anotasi	Ya
category_id	Integer	ID kategori yang ditentukan di bagian categories	Ya
image_id	Integer	ID gambar	Ya
area	Integer	Nilai 'Lebar' x 'Tinggi' (nilai bboxketiga dan keempat )	No
bbox	list[float]	Koordinat relatif dari kotak pembatas (0 hingga 1), dalam urutan 'Kiri', 'Atas', 'Lebar', 'Tinggi'	Ya

"kategori"

Tombol	Tipe	Deskripsi	Wajib diisi?
id	Integer	ID unik untuk setiap kategori (kelas label). Ini harus ada di bagian .annotations	Ya
name	string	Nama kategori (kelas label)	Ya

Verifikasi file COCO

Anda dapat menggunakan kode sampel Python kami untuk memeriksa format file COCO.

Melatih model kustom

Untuk mulai melatih model dengan file COCO Anda, buka tab Model kustom dan pilih Tambahkan model baru. Masukkan nama untuk model dan pilih Image classification atau Object detection sebagai jenis model.

Pilih himpunan data Anda, yang sekarang terkait dengan file COCO yang berisi informasi pelabelan.

Kemudian pilih anggaran waktu dan latih model. Untuk contoh kecil, Anda dapat menggunakan 1 hour anggaran.

Mungkin perlu waktu untuk menyelesaikan pelatihan. Model Analisis Gambar 4.0 dapat akurat hanya dengan sekumpulan kecil data pelatihan, tetapi mereka membutuhkan waktu lebih lama untuk dilatih daripada model sebelumnya.

Mengevaluasi model terlatih

Setelah pelatihan selesai, Anda dapat melihat evaluasi performa model. Metrik berikut digunakan:

• Klasifikasi gambar: Presisi Rata-rata, Akurasi 1 Teratas, Akurasi 5 Teratas
• Deteksi objek: Rata-rata Presisi @ 30, Rata-rata Presisi Rata-Rata @ 50, Rata-Rata Presisi @ 75

Jika set evaluasi tidak disediakan saat melatih model, performa yang dilaporkan diperkirakan berdasarkan bagian dari set pelatihan. Kami sangat menyarankan Anda menggunakan himpunan data evaluasi (menggunakan proses yang sama seperti di atas) untuk memiliki estimasi performa model yang andal.

Menguji model kustom di Vision Studio

Setelah membuat model kustom, Anda dapat menguji dengan memilih tombol Coba di layar evaluasi model.

Ini akan membawa Anda ke halaman Ekstrak tag umum dari gambar . Pilih model kustom Anda dari menu drop-down dan unggah gambar pengujian.

Hasil prediksi muncul di kolom kanan.

REST API

Siapkan data pelatihan

Hal pertama yang perlu Anda lakukan adalah membuat file COCO dari data pelatihan Anda. Anda dapat membuat file COCO dengan mengonversi proyek Custom Vision lama menggunakan skrip migrasi. Atau, Anda dapat membuat file COCO dari awal menggunakan beberapa alat pelabelan lainnya. Lihat spesifikasi berikut:

Tentang file COCO

File COCO adalah file JSON dengan bidang tertentu yang diperlukan: "images", "annotations", dan "categories". Contoh file COCO akan terlihat seperti ini:

{
 "images": [
   {
     "id": 1,
     "width": 500,
     "height": 828,
     "file_name": "0.jpg",
     "absolute_url": "https://blobstorage1.blob.core.windows.net/cpgcontainer/0.jpg"
   },
    {
      "id": 2,
      "width": 754,
      "height": 832,
      "file_name": "1.jpg",
      "absolute_url": "https://blobstorage1.blob.core.windows.net/cpgcontainer/1.jpg"
    },

   ...

  ],
  "annotations": [
    {
      "id": 1,
      "category_id": 7,
      "image_id": 1,
      "area": 0.407,
      "bbox": [
        0.02663142641129032,
        0.40691584277841153,
        0.9524163571731749,
        0.42766634515266866
      ]
    },
    {
      "id": 2,
      "category_id": 9,
      "image_id": 2,
      "area": 0.27,
      "bbox": [
        0.11803319477782331,
        0.41586723392402375,
        0.7765206955096307,
        0.3483334397217212
      ]
    },
    ...

  ],
  "categories": [
    {
      "id": 1,
      "name": "vegall original mixed vegetables"
    },
    {
      "id": 2,
      "name": "Amy's organic soups lentil vegetable"
    },
    {
      "id": 3,
      "name": "Arrowhead 8oz"
    },

    ...

  ]
}

Referensi bidang file COCO

Jika Anda membuat file COCO Anda sendiri dari awal, pastikan semua bidang yang diperlukan diisi dengan detail yang benar. Tabel berikut ini menjelaskan setiap bidang dalam file COCO:

"gambar"

Tombol	Tipe	Deskripsi	Wajib diisi?
id	Integer	ID gambar unik, mulai dari 1	Ya
width	Integer	Lebar gambar dalam piksel	Ya
height	Integer	Tinggi gambar dalam piksel	Ya
file_name	string	Nama unik untuk gambar	Ya
absolute_url atau coco_url	string	Jalur gambar sebagai URI absolut ke blob dalam kontainer blob. Sumber daya Visi harus memiliki izin untuk membaca file anotasi dan semua file gambar yang dirujuk.	Ya

Nilai untuk absolute_url dapat ditemukan di properti kontainer blob Anda:

"Anotasi"

Tombol	Tipe	Deskripsi	Wajib diisi?
id	Integer	ID anotasi	Ya
category_id	Integer	ID kategori yang ditentukan di bagian categories	Ya
image_id	Integer	ID gambar	Ya
area	Integer	Nilai 'Lebar' x 'Tinggi' (nilai bboxketiga dan keempat )	No
bbox	list[float]	Koordinat relatif dari kotak pembatas (0 hingga 1), dalam urutan 'Kiri', 'Atas', 'Lebar', 'Tinggi'	Ya

"kategori"

Tombol	Tipe	Deskripsi	Wajib diisi?
id	Integer	ID unik untuk setiap kategori (kelas label). Ini harus ada di bagian .annotations	Ya
name	string	Nama kategori (kelas label)	Ya

Verifikasi file COCO

Anda dapat menggunakan kode sampel Python kami untuk memeriksa format file COCO.

Unggah ke penyimpanan

Unggah file COCO Anda ke kontainer penyimpanan blob, idealnya kontainer blob yang sama yang menyimpan gambar pelatihan itu sendiri.

Membuat himpunan data pelatihan Anda

datasets/<dataset-name> API memungkinkan Anda membuat objek himpunan data baru yang mereferensikan data pelatihan. Buat perubahan berikut pada perintah cURL di bawah ini:

1. Ganti <endpoint> dengan titik akhir Azure AI Vision Anda.
2. Ganti <dataset-name> dengan nama untuk himpunan data Anda.
3. Ganti <subscription-key> dengan kunci Azure AI Vision Anda.
4. Dalam isi permintaan, atur "annotationKind" ke atau "imageObjectDetection""imageClassification" , tergantung pada proyek Anda.
5. Dalam isi permintaan, atur "annotationFileUris" array ke array string yang menunjukkan lokasi URI file COCO Anda di penyimpanan blob.

curl.exe -v -X PUT "<endpoint>/computervision/datasets/<dataset-name>?api-version=2023-02-01-preview" -H "Content-Type: application/json" -H "Ocp-Apim-Subscription-Key: <subscription-key>" --data-ascii "
{
'annotationKind':'imageClassification',
'annotationFileUris':['<URI>']
}"

Membuat dan melatih model

models/<model-name> API memungkinkan Anda membuat model kustom baru dan mengaitkannya dengan himpunan data yang ada. Ini juga memulai proses pelatihan. Buat perubahan berikut pada perintah cURL di bawah ini:

1. Ganti <endpoint> dengan titik akhir Azure AI Vision Anda.
2. Ganti <model-name> dengan nama untuk model Anda.
3. Ganti <subscription-key> dengan kunci Azure AI Vision Anda.
4. Di isi permintaan, atur "trainingDatasetName" ke nama himpunan data dari langkah sebelumnya.
5. Dalam isi permintaan, atur "modelKind" ke atau "Generic-Detector""Generic-Classifier" , tergantung pada proyek Anda.

curl.exe -v -X PUT "<endpoint>/computervision/models/<model-name>?api-version=2023-02-01-preview" -H "Content-Type: application/json" -H "Ocp-Apim-Subscription-Key: <subscription-key>" --data-ascii "
{
'trainingParameters': {
    'trainingDatasetName':'<dataset-name>',
    'timeBudgetInHours':1,
    'modelKind':'Generic-Classifier',
    }
}"

Mengevaluasi performa model pada himpunan data

models/<model-name>/evaluations/<eval-name> API mengevaluasi performa model yang ada. Buat perubahan berikut pada perintah cURL di bawah ini:

1. Ganti <endpoint> dengan titik akhir Azure AI Vision Anda.
2. Ganti <model-name> dengan nama model Anda.
3. Ganti <eval-name> dengan nama yang dapat digunakan untuk mengidentifikasi evaluasi secara unik.
4. Ganti <subscription-key> dengan kunci Azure AI Vision Anda.
5. Di isi permintaan, atur "testDatasetName" ke nama himpunan data yang ingin Anda gunakan untuk evaluasi. Jika Anda tidak memiliki himpunan data khusus, Anda dapat menggunakan himpunan data yang sama dengan yang Anda gunakan untuk pelatihan.

curl.exe -v -X PUT "<endpoint>/computervision/models/<model-name>/evaluations/<eval-name>?api-version=2023-02-01-preview" -H "Content-Type: application/json" -H "Ocp-Apim-Subscription-Key: <subscription-key>" --data-ascii "
{
'evaluationParameters':{
    'testDatasetName':'<dataset-name>'
    },
}"

Panggilan API mengembalikan objek JSON ModelPerformance , yang mencantumkan skor model dalam beberapa kategori. Metrik berikut digunakan:

• Klasifikasi gambar: Presisi Rata-rata, Akurasi 1 Teratas, Akurasi 5 Teratas
• Deteksi objek: Rata-rata Presisi @ 30, Rata-rata Presisi Rata-Rata @ 50, Rata-Rata Presisi @ 75

Menguji model kustom pada gambar

imageanalysis:analyze API melakukan operasi Analisis Gambar biasa. Dengan menentukan beberapa parameter, Anda dapat menggunakan API ini untuk mengkueri model kustom Anda sendiri alih-alih model Analisis Gambar bawaan. Buat perubahan berikut pada perintah cURL di bawah ini:

1. Ganti <endpoint> dengan titik akhir Azure AI Vision Anda.
2. Ganti <model-name> dengan nama model Anda.
3. Ganti <subscription-key> dengan kunci Azure AI Vision Anda.
4. Di isi permintaan, atur "url" ke URL gambar jarak jauh yang ingin Anda uji model Anda.

curl.exe -v -X POST "<endpoint>/computervision/imageanalysis:analyze?model-name=<model-name>&api-version=2023-02-01-preview" -H "Content-Type: application/json" -H "Ocp-Apim-Subscription-Key: <subscription-key>" --data-ascii "
{'url':'https://learn.microsoft.com/azure/ai-services/computer-vision/media/quickstarts/presentation.png'
}"

Panggilan API mengembalikan objek JSON ImageAnalysisResult , yang berisi semua tag yang terdeteksi untuk pengklasifikasi gambar, atau objek untuk detektor objek, dengan skor keyakinannya.

{
  "kind": "imageAnalysisResult",
  "metadata": {
    "height": 900,
    "width": 1260
  },
  "customModelResult": {
    "classifications": [
      {
        "confidence": 0.97970027,
        "label": "hemlock"
      },
      {
        "confidence": 0.020299695,
        "label": "japanese-cherry"
      }
    ],
    "objects": [],
    "imageMetadata": {
      "width": 1260,
      "height": 900
    }
  }
}

Langkah berikutnya

Dalam panduan ini, Anda membuat dan melatih model klasifikasi gambar kustom menggunakan Analisis Gambar. Selanjutnya, pelajari selengkapnya tentang API Analisis Gambar 4.0, sehingga Anda dapat memanggil model kustom Anda dari aplikasi menggunakan REST atau SDK pustaka.

• Lihat panduan Konsep kustomisasi model untuk gambaran umum yang luas tentang fitur ini dan daftar pertanyaan yang sering diajukan.
• Panggil API Analisis Gambar.