레이블 지정 프로젝트 관리
Azure Machine Learning에서 레이블 지정 프로젝트를 관리하는 방법을 알아봅니다. 이 문서는 텍스트 또는 이미지 레이블 지정 프로젝트를 관리하는 프로젝트 관리자를 위한 것입니다. 프로젝트를 만드는 방법에 대한 내용은 텍스트 레이블 지정 프로젝트 설정 또는 이미지 레이블 지정 프로젝트 설정을 참조하세요.
Important
이 문서에 표시된 항목(미리 보기)은 현재 퍼블릭 미리 보기에서 확인할 수 있습니다. 미리 보기 버전은 서비스 수준 계약 없이 제공되며 프로덕션 워크로드에는 권장되지 않습니다. 특정 기능이 지원되지 않거나 기능이 제한될 수 있습니다. 자세한 내용은 Microsoft Azure Preview에 대한 추가 사용 약관을 참조하세요.
프로젝트 실행 및 모니터링
프로젝트를 초기화하면 Azure에서 프로젝트를 실행하기 시작합니다. 프로젝트를 관리하려면 기본 데이터 레이블 지정 페이지에서 프로젝트를 선택합니다.
프로젝트를 일시 중지하거나 다시 시작하려면 프로젝트 명령 모음에서 실행 중 상태를 전환합니다. 프로젝트가 실행되는 경우에만 데이터에 레이블을 지정할 수 있습니다.
진행 상황 모니터링
대시보드 탭에는 레이블 지정 작업의 진행률이 표시됩니다.
진행률 차트에는 레이블이 지정된 항목 수, 건너뛴 항목 수, 검토가 필요한 항목 수 또는 아직 완료되지 않은 항목 수가 표시됩니다. 각 섹션의 항목 수를 보려면 차트를 마우스로 가리킵니다.
완료된 작업에 대한 레이블 분포가 차트 아래에 표시됩니다. 일부 프로젝트 형식에서는 하나의 항목에 여러 레이블이 있을 수 있습니다. 총 레이블 수는 총 항목 수를 초과할 수 있습니다.
레이블 지정자의 분포와 해당 지정자가 레이블을 지정한 항목의 수도 표시됩니다.
가운데 섹션에는 할당되지 않은 작업의 큐가 있는 테이블이 표시됩니다. ML 지원 레이블 지정이 해제된 경우 이 섹션에 할당을 기다리는 수동 작업 수가 표시됩니다.
ML 지원 레이블 지정이 켜져 있는 경우 이 섹션에는 다음도 표시됩니다.
- 큐에 클러스터된 항목이 포함된 작업입니다.
- 큐에 사전 레이블이 지정된 항목이 포함된 작업입니다.
또한 ML 지원 레이블 지정을 사용하도록 설정한 경우 아래로 스크롤하여 ML 지원 레이블 지정 상태를 확인할 수 있습니다. 작업 섹션에는 각 기계 학습 실행에 대한 링크가 제공됩니다.
- 학습: 레이블을 예측하도록 모델을 학습시킵니다.
- 유효성 검사: 항목 사전 레이블 지정에 이 모델의 예측이 사용되는지 여부를 결정합니다.
- 유추: 새 항목에 대한 예측 실행입니다.
- 기능화: 항목을 클러스터링합니다(이미지 분류 프로젝트에만 해당).
데이터 및 레이블 검토
데이터 탭에서 데이터 세트를 미리 보고, 레이블이 지정된 데이터를 검토합니다.
팁
검토하기 전에 가능한 다른 검토자와 협력합니다. 그렇지 않은 경우 두 사람이 동일한 레이블을 동시에 승인하려고 하여 둘 중 한 명이 업데이트하지 못하게 될 수 있습니다.
레이블이 지정된 데이터를 스크롤하여 레이블을 확인합니다. 잘못 레이블이 지정된 데이터가 표시되면 이 데이터를 선택하고 거부를 선택하여 레이블이 제거하고 데이터를 레이블이 지정되지 않은 큐에 다시 넣습니다.
건너뛴 항목
필터 집합은 검토 중인 항목에 적용됩니다. 기본적으로 레이블이 지정된 데이터를 검토합니다. 자산 유형 필터를 선택하고 유형을 *‘건너뜀’으로 전환하여 건너뛴 항목을 검토합니다.
건너뛴 데이터에 레이블을 지정해야 한다고 생각되면 거부를 선택하여 레이블이 지정되지 않은 큐에 다시 넣습니다. 건너뛴 데이터가 프로젝트와 관련이 없다고 생각되면 수락을 선택하여 프로젝트에서 제거합니다.
합의 레이블 지정
프로젝트에서 합의 레이블 지정을 사용하는 경우 합의 사항이 없는 이미지를 검토하세요.
데이터 탭을 선택합니다.
왼쪽 메뉴에서 레이블 검토를 선택합니다.
레이블 검토 위의 명령 모음에서 모든 필터를 선택합니다.
레이블이 지정된 데이터 포인트에서 검토가 필요한 합의 레이블을 선택하여 레이블이 합의에 도달하지 못한 이미지만 표시합니다.
검토할 각 이미지에 대해 합의 레이블 드롭다운을 선택하여 충돌하는 레이블을 확인합니다.
개별 레이블 지정자를 선택하여 레이블을 보거나, 레이블을 업데이트하거나, 거부할 수 있지만, 최상위 선택 항목인 합의 레이블(미리 보기)을 사용해야 합니다.
프로젝트 세부 정보 변경
세부 정보 탭에서 프로젝트의 세부 정보를 보고 변경합니다. 이 탭에서는 다음을 수행할 수 있습니다.
- 프로젝트 세부 정보 및 입력 데이터 세트를 확인합니다.
- 정기적으로 증분 새로 고침 사용 옵션을 설정하거나 선택 취소하거나 즉각적인 새로 고침을 요청합니다.
- 프로젝트에 레이블이 지정된 출력을 저장하는 데 사용되는 스토리지 컨테이너의 세부 정보를 봅니다.
- 프로젝트에 레이블을 추가합니다.
- 레이블에 지정하는 지침을 편집합니다.
- ML 지원 레이블 지정에 대한 설정을 변경하고 레이블 지정 작업을 시작합니다.
Azure AI 서비스에서 만든 프로젝트
Vision Studio 또는 Language Studio에서 레이블 지정 프로젝트를 만든 경우 세부 정보 페이지에 추가 탭이 표시됩니다. 이 탭을 사용하면 Azure Machine Learning의 레이블 지정과 Vision Studio 또는 Language Studio의 레이블 지정 간을 전환할 수 있습니다.
프로젝트가 Vision Studio에서 만들어진 경우 Vision Studio 탭도 표시됩니다. Vision Studio로 돌아가려면 Vision Studio로 이동을 선택합니다. Vision Studio로 돌아가면 레이블이 지정된 데이터를 가져올 수 있습니다.
프로젝트에 새 레이블 추가
데이터 레이블 지정 프로세스 중에 항목을 분류하는 추가 레이블을 좀 더 추가할 수 있습니다. 예를 들어 알 수 없음 또는 기타 레이블을 추가하여 혼동되는 부분을 표시할 수 있습니다.
하나 이상의 레이블을 프로젝트에 추가하려면 다음을 수행합니다.
기본 데이터 레이블 지정 페이지에서 프로젝트를 선택합니다.
프로젝트 명령 모음에서 상태를 실행 중에서 일시 중지됨으로 전환하여 레이블 지정 활동을 중지합니다.
세부 정보 탭을 선택합니다.
왼쪽에 있는 목록에서 레이블 범주를 선택합니다.
레이블을 수정합니다.
양식에서 새 레이블을 추가합니다. 그런 다음, 프로젝트를 계속 진행하는 방법을 선택합니다. 사용 가능한 레이블을 변경했으므로 이미 레이블이 지정된 데이터를 처리하는 방법을 선택합니다.
- 다시 시작하고 모든 기존 레이블을 제거합니다. 처음부터 새 전체 레이블 세트를 사용하여 레이블 지정을 시작하려면 이 옵션을 선택합니다.
- 다시 시작하고 기존 레이블을 모두 유지합니다. 모든 데이터를 레이블이 지정되지 않은 상태로 표시하지만 이전에 레이블이 지정된 이미지에 대한 기본 태그로 기존 레이블을 유지하려면 이 옵션을 선택합니다.
- 계속하여 모든 기존 레이블을 유지합니다. 이미 레이블이 지정된 모든 데이터를 그대로 유지하려면 이 옵션을 선택하고, 아직 레이블이 지정되지 않은 데이터에 대해서는 새 레이블 사용을 시작합니다.
새 레이블에 대한 지침 페이지를 필요에 따라 수정합니다.
새 레이블을 모두 추가했으면 일시 중지됨을 실행 중으로 전환하여 프로젝트를 다시 시작합니다.
ML 지원 레이블 지정 작업 시작
일부 항목에 레이블이 지정되면 ML 지원 레이블 지정이 자동으로 시작됩니다. 이 자동 임계값은 프로젝트마다 다릅니다. 프로젝트에 레이블이 지정된 데이터가 하나 이상 포함된 경우 ML 지원 학습 실행을 수동으로 시작할 수 있습니다.
참고 항목
주문형 교육은 2022년 12월 이전에 만든 프로젝트에는 사용할 수 없습니다. 이 기능을 사용하려면 새 프로젝트를 만듭니다.
새 ML 지원 학습 실행을 시작하려면 다음을 수행합니다.
- 프로젝트 맨 위에서 세부 정보를 선택합니다.
- 왼쪽 메뉴에서 ML 지원 레이블 지정을 선택합니다.
- 페이지 아래쪽에서 주문형 학습에 대해 시작을 선택합니다.
레이블 내보내기
레이블을 내보내려면 프로젝트 명령 모음에서 내보내기 단추를 선택합니다. 언제든지 Machine Learning 실험에 대한 레이블 데이터를 내보낼 수 있습니다.
프로젝트 형식이 의미 체계 분할(미리 보기)인 경우 Azure MLTable 데이터 자산이 만들어집니다.
다른 모든 프로젝트 형식의 경우 이미지 레이블을 다음과 같이 내보낼 수 있습니다.
- CSV 파일. Azure Machine Learning은 Labeling/export/csv 내의 폴더에 CSV 파일을 만듭니다.
- COCO 형식 파일. Azure Machine Learning은 Labeling/export/coco 내의 폴더에 COCO 파일을 만듭니다.
- 레이블이 있는 Azure Machine Learning 데이터 세트
- CSV 파일. Azure Machine Learning은 Labeling/export/csv 내의 폴더에 CSV 파일을 만듭니다.
- COCO 형식 파일. Azure Machine Learning은 Labeling/export/coco 내의 폴더에 COCO 파일을 만듭니다.
- Azure MLTable 데이터 자산.
CSV 또는 COCO 파일을 내보낼 때 파일을 다운로드할 준비가 되면 알림이 잠시 나타납니다. 결과를 다운로드하려면 파일 다운로드 링크를 선택합니다. 위쪽 표시줄의 알림 섹션에서도 알림을 찾을 수 있습니다.
Machine Learning의 데이터 섹션에서 내보낸 Azure Machine Learning 데이터 세트 및 데이터 자산에 액세스합니다. 데이터 세부 정보 페이지에서는 Python을 사용하여 레이블에 액세스하는 데 사용할 수 있는 샘플 코드도 제공합니다.
레이블이 지정된 데이터를 Azure Machine Learning 데이터 세트로 내보낸 후에는 AutoML을 사용하여 레이블이 지정된 데이터에 대해 학습된 Computer Vision 모델을 빌드할 수 있습니다. Python을 사용하여 컴퓨터 비전 모델을 학습하도록 AutoML 설정에서 자세히 알아보세요.
레이블 가져오기(미리 보기)
현재 데이터에 대한 레이블이 포함된 Azure MLTable 데이터 자산 또는 COCO 파일이 있는 경우 이러한 레이블을 프로젝트로 가져올 수 있습니다. 예를 들어 동일한 데이터를 사용하여 이전 레이블 지정 프로젝트에서 내보낸 레이블이 있을 수 있습니다. 레이블 가져오기 기능은 이미지 프로젝트에만 사용할 수 있습니다.
레이블을 가져오려면 프로젝트 명령 모음에서 가져오기 단추를 선택합니다. Machine Learning 실험을 위해 언제든지 레이블 지정 데이터를 가져올 수 있습니다.
COCO 파일 또는 Azure MLTable 데이터 자산에서 가져옵니다.
데이터 매핑
이미지 필드에 매핑되는 열을 지정해야 합니다. 필요에 따라 데이터에 있는 다른 열을 매핑할 수도 있습니다. 예를 들어 데이터에 레이블 열이 포함된 경우 범주 필드에 매핑할 수 있습니다. 데이터에 신뢰도 열이 포함된 경우 신뢰도 필드에 매핑할 수 있습니다.
이전 프로젝트에서 레이블을 가져오는 경우 레이블은 만드는 레이블과 동일한 형식이어야 합니다. 예를 들어 경계 상자 레이블을 만드는 경우 가져오는 레이블도 경계 상자 레이블이어야 합니다.
가져오기 옵션
가져온 레이블을 처리하는 방법을 선택합니다.
- 사전 레이블이 지정된 데이터로 - 가져온 레이블을 사전 레이블이 지정된 데이터로 사용하려면 이 옵션을 선택합니다. 그러면 레이블 지정 담당자는 레이블을 제출하기 전에 미리 레이블이 지정된 데이터를 검토하고 오류를 수정할 수 있습니다.
- 최종 레이블로 - 레이블을 최종 레이블로 가져오려면 이 옵션을 선택합니다. 아직 레이블이 포함되지 않은 데이터만 레이블러에게 작업으로 표시됩니다.
레이블 지정자에 대한 액세스
작업 영역에 대해 기여자 또는 소유자 액세스 권한이 있는 사람은 누구나 프로젝트의 데이터에 레이블을 지정할 수 있습니다.
레이블 지정에는 액세스할 수 있지만 작업 영역의 다른 부분이나 레이블 지정 프로젝트에는 액세스할 수 없도록 사용자를 추가하고 권한을 사용자 지정할 수도 있습니다. 자세한 내용은 데이터 레이블 지정 프로젝트에 사용자 추가를 참조하세요.
문제 해결
프로젝트를 관리하는 동안 다음과 같은 문제가 발견되면 이 팁을 사용합니다.
| 문제 | 해결 방법 |
|---|---|
| Blob 데이터 저장소에 생성된 데이터 세트만 사용할 수 있습니다. | 이 문제는 현재 릴리스의 알려진 제한 사항입니다. |
| 프로젝트에서 사용하는 데이터 세트에서 데이터를 제거하면 프로젝트에 오류가 발생합니다. | 레이블 지정 프로젝트에서 사용한 데이터 세트 버전에서 데이터를 제거하지 마세요. 데이터를 제거하기 위해 사용할 새 버전의 데이터 세트를 만듭니다. |
| 프로젝트를 만든 후 프로젝트 상태가 장시간 동안 초기화 중입니다. | 페이지를 수동으로 새로 고칩니다. 초기화는 초당 약 20개의 데이터 요소로 완료되어야 합니다. 자동 새로 고침이 되지 않는 것은 알려진 문제입니다. |
| 새로 레이블이 지정된 항목은 데이터 검토에 표시되지 않습니다. | 레이블이 지정된 모든 항목을 로드하려면 첫 번째 단추를 선택합니다. 첫 번째 단추를 클릭하면 목록의 맨 앞으로 돌아가며 레이블이 지정된 모든 데이터가 로드됩니다. |
| 특정 레이블 지정자에게 작업 세트를 할당할 수 없습니다. | 이 문제는 현재 릴리스의 알려진 제한 사항입니다. |
개체 검색 문제 해결
| 문제 | 해결 방법 |
|---|---|
| 개체 검색에 레이블을 지정할 때 Esc 키를 선택하면 크기가 0인 레이블이 만들어지고 레이블 제출이 실패합니다. | 레이블을 삭제하려면 레이블 옆에 있는 X 삭제 아이콘을 선택합니다. |
프로젝트를 만드는 데 문제가 있는 경우 데이터 레이블 지정 프로젝트 만드는 중 문제 해결을 참조하세요.