Mengelola proyek pelabelan

Pelajari cara mengelola proyek pelabelan di Azure Pembelajaran Mesin. Artikel ini untuk manajer proyek yang bertanggung jawab untuk mengelola proyek pelabelan teks atau gambar. Untuk informasi tentang cara membuat proyek, lihat Menyiapkan proyek pelabelan teks atau Menyiapkan proyek pelabelan gambar.

Penting

Item yang ditandai (pratinjau) dalam artikel ini sedang dalam pratinjau publik. Versi pratinjau disediakan tanpa perjanjian tingkat layanan, dan tidak disarankan untuk beban kerja produksi. Fitur tertentu mungkin tidak didukung atau mungkin memiliki kemampuan terbatas. Untuk mengetahui informasi selengkapnya, lihat Ketentuan Penggunaan Tambahan untuk Pratinjau Microsoft Azure.

Menjalankan dan memantau proyek

Setelah Anda menginisialisasi proyek, Azure mulai menjalankannya. Untuk mengelola proyek, pilih proyek di halaman Pelabelan Data utama.

Untuk menjeda atau memulai ulang proyek, pada bilah perintah proyek, alihkan status Berjalan . Anda hanya dapat memberi label data saat proyek berjalan.

Memantau kemajuan

Tab Dasbor memperlihatkan kemajuan tugas pelabelan.

Proyek gambar

Bagan kemajuan memperlihatkan berapa banyak item yang diberi label, dilewati, perlu ditinjau, atau belum selesai. Arahkan kursor ke bagan untuk melihat jumlah item di setiap bagian.

Distribusi label untuk tugas yang selesai diperlihatkan di bawah bagan. Di beberapa jenis proyek, item dapat memiliki beberapa label. Jumlah total label dapat melebihi jumlah total item.

Distribusi pelabel dan berapa banyak item yang mereka beri label juga ditampilkan.

Bagian tengah memperlihatkan tabel yang memiliki antrean tugas yang tidak ditetapkan. Saat pelabelan yang dibantu ML nonaktif, bagian ini menunjukkan jumlah tugas manual yang menunggu penugasan.

Saat pelabelan yang dibantu ML aktif, bagian ini juga menunjukkan:

• Tugas yang berisi item berkluster dalam antrean.
• Tugas yang berisi item berlabel sebelumnya dalam antrean.

Selain itu, ketika pelabelan yang dibantu ML diaktifkan, Anda dapat menggulir ke bawah untuk melihat status pelabelan yang dibantu ML. Bagian Pekerjaan memberikan tautan untuk setiap eksekusi pembelajaran mesin.

• Pelatihan: Melatih model untuk memprediksi label.
• Validasi: Menentukan apakah prelabeling item menggunakan prediksi model ini.
• Inferensi: Prediksi berjalan untuk item baru.
• Fiturisasi: Item kluster (hanya untuk proyek klasifikasi gambar).

Proyek teks

Bagan kemajuan memperlihatkan berapa banyak item yang diberi label, dilewati, perlu ditinjau, atau belum selesai. Arahkan kursor ke bagan untuk melihat jumlah item di setiap bagian.

Distribusi label untuk tugas yang selesai diperlihatkan di bawah bagan. Di beberapa jenis proyek, item dapat memiliki beberapa label. Jumlah total label dapat melebihi jumlah total item.

Distribusi pelabel dan berapa banyak item yang mereka beri label juga ditampilkan.

Bagian tengah memperlihatkan tabel yang memiliki antrean tugas yang tidak ditetapkan. Saat pelabelan yang dibantu ML nonaktif, bagian ini menunjukkan jumlah tugas manual yang menunggu penugasan.

Saat pelabelan yang dibantu ML aktif, bagian ini juga menunjukkan:

• Tugas yang berisi item berkluster dalam antrean.
• Tugas yang berisi item berlabel sebelumnya dalam antrean.

Selain itu, ketika pelabelan yang dibantu ML diaktifkan, Anda dapat menggulir ke bawah untuk melihat status pelabelan yang dibantu ML. Bagian Pekerjaan memberikan tautan untuk setiap eksekusi pembelajaran mesin.

Meninjau data dan label

Pada tab Data , pratinjau himpunan data dan tinjau data berlabel.

Tip

Sebelum Anda meninjau, koordinasikan dengan peninjau lain yang mungkin. Jika tidak, Anda mungkin berdua mencoba menyetujui label yang sama pada saat yang sama, yang akan mencegah salah satu dari Anda memperbaruinya.

Gulir melalui data berlabel untuk melihat label. Jika Anda melihat data yang salah diberi label, pilih dan pilih Tolak untuk menghapus label dan mengembalikan data ke antrean yang tidak berlabel.

Item yang dilewati

Sekumpulan filter berlaku untuk item yang Anda tinjau. Secara default, Anda meninjau data berlabel. Pilih filter Jenis aset untuk mengalihkan jenis ke *Dilewati untuk meninjau item yang dilewati.

Jika Menurut Anda, data yang dilewati harus diberi label, pilih Tolak untuk dimasukkan kembali ke dalam antrean yang tidak berlabel. Jika menurut Anda data yang dilewati tidak relevan dengan proyek Anda, pilih Terima untuk menghapusnya dari proyek.

Pelabelan konensus

Jika proyek Anda menggunakan pelabelan konensus, tinjau gambar yang tidak memiliki konensi:

Proyek gambar

1. Pilih tab Data .

2. Di menu sebelah kiri, pilih Tinjau label.

3. Pada bilah perintah di atas Tinjau label, pilih Semua filter.

   

4. Di bawah Titik data berlabel, pilih Label konsekuensi yang perlu ditinjau untuk memperlihatkan hanya gambar yang pelabelnya tidak masuk ke konsekuensi.

   

5. Agar setiap gambar dapat ditinjau, pilih menu dropdown Label konsensi untuk melihat label yang bertentangan.

   

6. Meskipun Anda dapat memilih pelabel individual untuk melihat labelnya, untuk memperbarui atau menolak label, Anda harus menggunakan pilihan teratas, label Konsensi (pratinjau).

Proyek teks

1. Pilih tab Data .

2. Di menu sebelah kiri, pilih Tinjau label.

3. Pada bilah perintah di atas Tinjau label, pilih Semua filter.

   

4. Di bawah Titik data berlabel, pilih Label konsekuensi yang perlu ditinjau untuk memperlihatkan hanya item yang pelabelnya tidak masuk ke konsekuensi.

   

5. Agar setiap item ditinjau, pilih menu dropdown Label konsensi untuk melihat label yang bertentangan.

   

6. Meskipun Anda dapat memilih pelabel individual untuk melihat labelnya, untuk memperbarui atau menolak label, Anda harus menggunakan pilihan teratas, label Konsensi (pratinjau).

Ubah detail proyek

Tampilkan dan ubah detail proyek Anda pada tab Detail . Pada tab ini, Anda dapat:

• Lihat detail proyek dan input himpunan data.
• Atur atau kosongkan opsi Aktifkan refresh bertahap secara berkala , atau minta refresh segera.
• Lihat detail kontainer penyimpanan yang digunakan untuk menyimpan output berlabel di proyek Anda.
• Tambahkan label ke proyek Anda.
• Edit instruksi yang Anda berikan ke label Anda.
• Ubah pengaturan untuk pelabelan yang dibantu ML dan mulai tugas pelabelan.

Proyek yang dibuat di layanan Azure AI

Jika proyek pelabelan Anda dibuat dari Vision Studio atau Language Studio, Anda akan melihat tab tambahan di halaman Detail . Tab ini memungkinkan Anda beralih antara pelabelan di Azure Pembelajaran Mesin dan pelabelan di Vision Studio atau Language Studio.

Proyek gambar

Jika proyek Anda dibuat dari Vision Studio, Anda juga akan melihat tab Vision Studio . Pilih Buka Vision Studio untuk kembali ke Vision Studio. Setelah kembali ke Vision Studio, Anda akan dapat mengimpor data berlabel.

Proyek teks

Jika proyek Anda dibuat dari Language Studio, Anda akan melihat tab Language Studio .

• Jika pelabelan aktif di Language Studio, Anda tidak dapat memberi label di Azure Pembelajaran Mesin. Dalam hal ini, Language Studio adalah satu-satunya tab yang tersedia. Pilih Tampilkan di Language Studio untuk masuk ke proyek pelabelan aktif di Language Studio. Dari sana, Anda dapat beralih ke pelabelan di Azure Pembelajaran Mesin jika mau.

Jika pelabelan aktif di Azure Pembelajaran Mesin, Anda memiliki dua pilihan:

• Pilih Beralih ke Language Studio untuk mengalihkan aktivitas pelabelan Anda kembali ke Language Studio. Saat Anda beralih, semua data berlabel Anda saat ini diimpor ke Language Studio. Kemampuan Anda untuk memberi label data di Azure Pembelajaran Mesin dinonaktifkan, dan Anda dapat memberi label data di Language Studio. Anda dapat beralih kembali ke pelabelan di Azure Pembelajaran Mesin kapan saja melalui Language Studio.

  Catatan

  Hanya pengguna dengan peran yang benar di Azure Pembelajaran Mesin yang memiliki kemampuan untuk beralih pelabelan.

• Pilih Putuskan sambungan dari Language Studio untuk memutuskan hubungan dengan Language Studio. Setelah Anda memutuskan sambungan, proyek kehilangan asosiasinya dengan Language Studio, dan tidak lagi menampilkan tab Language Studio. Memutus sambungan proyek Anda dari Language Studio adalah proses permanen dan tidak dapat dibatalkan dan tidak dapat dibatalkan. Anda tidak akan lagi dapat mengakses label untuk proyek ini di Language Studio. Label hanya tersedia di Azure Pembelajaran Mesin mulai saat ini dan seterusnya.

Menambahkan label baru ke proyek

Selama proses pelabelan data, Anda mungkin ingin menambahkan lebih banyak label untuk mengklasifikasikan item Anda. Misalnya, Anda mungkin ingin menambahkan label Tidak Diketahui atau Lainnya untuk menunjukkan kebingungan.

Untuk menambahkan satu atau beberapa label ke proyek:

1. Pada halaman Pelabelan Data utama, pilih proyek.

2. Pada bilah perintah proyek, alihkan status dari Berjalan ke Dijeda untuk menghentikan aktivitas pelabelan.

3. Pilih tab Detail.

4. Di daftar di sebelah kiri, pilih Kategori label.

5. Ubah label Anda.

   

6. Dalam formulir, tambahkan label baru Anda. Kemudian pilih cara melanjutkan proyek. Karena Anda mengubah label yang tersedia, pilih cara memperlakukan data yang sudah diberi label:

   • Mulai dari awal, dan hapus semua label yang ada. Pilih opsi ini jika Anda ingin memulai pelabelan dari awal dengan menggunakan kumpulan label lengkap baru.
   • Mulai dari awal, dan pertahankan semua label yang ada. Pilih opsi ini untuk menandai semua data sebagai tanpa label, tetapi pertahankan label yang ada sebagai tag default untuk gambar yang sebelumnya diberi label.
   • Lanjutkan, dan pertahankan semua label yang ada. Pilih opsi ini untuk menyimpan semua data yang sudah diberi label apa adanya, dan mulai gunakan label baru untuk data yang belum diberi label.

7. Ubah halaman instruksi Anda seperlunya untuk label baru.

8. Setelah Anda menambahkan semua label baru, alihkan Dijeda ke Berjalan untuk memulai ulang proyek.

Memulai tugas pelabelan yang dibantu ML

Pelabelan yang dibantu ML dimulai secara otomatis setelah beberapa item diberi label. Ambang otomatis ini bervariasi menurut proyek. Anda dapat memulai pelatihan yang dibantu ML secara manual jika proyek Anda berisi setidaknya beberapa data berlabel.

Catatan

Pelatihan sesuai permintaan tidak tersedia untuk proyek yang dibuat sebelum Desember 2022. Untuk menggunakan fitur ini, buat proyek baru.

Untuk memulai eksekusi pelatihan baru yang dibantu ML:

1. Di bagian atas proyek Anda, pilih Detail.
2. Di menu sebelah kiri, pilih Pelabelan terbantu ML.
3. Di dekat bagian bawah halaman, untuk Pelatihan sesuai permintaan, pilih Mulai.

Mengekspor label

Untuk mengekspor label, pada bilah perintah proyek, pilih tombol Ekspor . Anda dapat mengekspor data label untuk eksperimentasi Azure Machine Learning kapan saja.

Proyek gambar

Jika jenis proyek Anda adalah segmentasi Semantik (Pratinjau), aset data Azure MLTable dibuat.

Untuk semua jenis proyek lainnya, Anda dapat mengekspor label gambar sebagai:

• File CSV. Azure Pembelajaran Mesin membuat file CSV di folder di dalam Pelabelan/ekspor/csv.
• File format COCO. Azure Pembelajaran Mesin membuat file COCO di folder di dalam Pelabelan/ekspor/coco.
• Aset data Azure MLTable.

Saat Anda mengekspor file CSV atau COCO, pemberitahuan muncul secara singkat ketika file siap diunduh. Pilih tautan Unduh file untuk mengunduh hasil Anda. Anda juga dapat menemukan pemberitahuan di bagian Pemberitahuan di bilah atas:

Akses himpunan data dan aset data Azure Pembelajaran Mesin yang diekspor di bagian Data Pembelajaran Mesin. Halaman detail data juga menyediakan kode sampel yang dapat Anda gunakan untuk mengakses label Anda dengan menggunakan Python.

Proyek teks

Untuk mengekspor label, pada halaman Detail proyek proyek pelabelan Anda, pilih tombol Ekspor . Anda dapat mengekspor data label untuk eksperimentasi Azure Machine Learning kapan saja.

Untuk semua jenis proyek kecuali Pengenalan Entitas Teks Bernama, Anda dapat mengekspor data label sebagai:

• File CSV. Azure Pembelajaran Mesin membuat file CSV di folder di dalam Pelabelan/ekspor/csv.
• Aset data Azure MLTable.

Untuk proyek Pengenalan Entitas Teks Bernama, Anda dapat mengekspor data label sebagai:

• Aset data Azure MLTable.
• File CoNLL. Untuk ekspor ini, Anda juga harus menetapkan sumber daya komputasi. Proses ekspor berjalan secara offline dan menghasilkan file sebagai bagian dari eksekusi eksperimen. Azure Pembelajaran Mesin membuat CoNLL file dalam folder. di dalamPelabelan/ekspor/conll.

Saat Anda mengekspor CSV file atau CoNLL , pemberitahuan muncul secara singkat ketika file siap diunduh. Pilih tautan Unduh file untuk mengunduh hasil Anda. Anda juga akan menemukan pemberitahuan di bagian Pemberitahuan di bilah atas:

Akses himpunan data dan aset data Azure Pembelajaran Mesin yang diekspor di bagian Data Pembelajaran Mesin. Halaman detail data juga menyediakan kode sampel yang dapat Anda gunakan untuk mengakses label Anda dengan menggunakan Python.

Mengimpor label (pratinjau)

Jika Anda memiliki aset data Azure MLTable atau file COCO yang berisi label untuk data Anda saat ini, Anda dapat mengimpor label ini ke dalam proyek Anda. Misalnya, Anda mungkin memiliki label yang diekspor dari proyek pelabelan sebelumnya menggunakan data yang sama. Fitur label impor hanya tersedia untuk proyek gambar.

Proyek gambar

Untuk mengimpor label, pada bilah perintah proyek, pilih tombol Impor . Anda dapat mengimpor data berlabel untuk eksperimen Pembelajaran Mesin kapan saja.

Impor dari file COCO atau aset data Azure MLTable.

Pemetaan data

Anda harus menentukan kolom yang memetakan ke bidang Gambar . Anda juga dapat secara opsional memetakan kolom lain yang ada dalam data. Misalnya, jika data Anda berisi kolom Label , Anda bisa memetakannya ke bidang Kategori . Jika data Anda berisi kolom Keyakinan , Anda bisa memetakannya ke bidang Keyakinan .

Jika Anda mengimpor label dari proyek sebelumnya, label harus dalam format yang sama dengan label yang Anda buat. Misalnya, jika Anda membuat label kotak pembatas, label yang Anda impor juga harus berupa label kotak pembatas.

Opsi impor

Pilih cara memperlakukan label yang diimpor:

• Sebagai data berlabel sebelumnya - pilih opsi ini untuk menggunakan label yang diimpor sebagai data berlabel sebelumnya. Pelabel Anda kemudian dapat meninjau data berlabel sebelumnya dan memperbaiki kesalahan apa pun sebelum mengirimkan label.
• Sebagai label akhir - pilih opsi ini untuk mengimpor label sebagai label akhir. Hanya data yang belum berisi label yang disajikan sebagai tugas untuk pelabel Anda.

Proyek teks

Fitur label impor tidak tersedia untuk proyek teks.

Akses untuk pelabel

Siapa pun yang memiliki akses Kontributor atau Pemilik ke ruang kerja Anda dapat melabeli data dalam proyek Anda.

Anda juga dapat menambahkan pengguna dan menyesuaikan izin agar mereka dapat mengakses pelabelan tetapi bukan bagian lain ruang kerja atau pelabelan Anda. Untuk informasi selengkapnya, lihat Menambahkan pengguna ke proyek pelabelan data Anda.

Pemecahan masalah

Gunakan tips ini jika Anda melihat salah satu masalah berikut saat mengelola proyek Anda:

Masalah	Resolusi
Hanya himpunan data yang dibuat di penyimpanan data blob yang dapat digunakan.	Masalah ini adalah batasan yang diketahui dari rilis saat ini.
Menghapus data dari himpunan data yang digunakan proyek Anda menyebabkan kesalahan dalam proyek.	Jangan hapus data dari versi himpunan data yang Anda gunakan dalam proyek pelabelan. Buat versi baru himpunan data yang akan digunakan untuk menghapus data.
Setelah proyek dibuat, status proyek menginisialisasi untuk waktu yang lama.	Refresh halaman secara manual. Inisialisasi harus selesai pada sekitar 20 titik data per detik. Tidak ada refresh otomatis yang diketahui masalahnya.
Item yang baru diberi label tidak terlihat dalam tinjauan data.	Untuk memuat semua item berlabel, pilih tombol Pertama . Tombol Pertama membawa Anda kembali ke bagian depan daftar, dan memuat semua data berlabel.
Anda tidak dapat menetapkan sekumpulan tugas ke pelabel tertentu.	Masalah ini adalah batasan yang diketahui dari rilis saat ini.

Memecahkan masalah deteksi objek

Masalah	Resolusi
Jika Anda memilih kunci Esc saat memberi label untuk deteksi objek, label ukuran nol dibuat dan pengiriman label gagal.	Untuk menghapus label, pilih ikon hapus X di samping label.

Jika Anda mengalami masalah saat membuat proyek, lihat Memecahkan masalah selama pembuatan proyek pelabelan data

Langkah selanjutnya

Pelabelan gambar dan dokumen teks