Custom Vision 모델을 개선하는 방법
이 가이드에서는 Custom Vision 모델의 품질을 개선하는 방법을 알아봅니다. 분류자 또는 개체 감지기의 품질은 제공하는 레이블이 지정된 데이터의 양, 품질 및 다양성과 전체 데이터 세트의 균형에 따라 달라집니다. 좋은 모델에는 제출될 내용을 나타내는 균형 잡힌 학습 데이터 세트가 있습니다. 이러한 모델을 빌드하는 프로세스는 반복적입니다. 예상된 결과에 도달하기 위해 몇 차례의 학습을 수행하는 것이 일반적입니다.
다음은 보다 정확한 모델을 학습시키는 데 도움이 되는 일반적인 패턴입니다.
- 1차 학습
- 더 많은 이미지를 추가하고 데이터의 균형을 조정합니다. 재교육
- 다양한 배경, 조명, 개체 크기, 카메라 각도 및 스타일을 사용하여 이미지를 추가합니다. 재교육
- 새 이미지를 사용하여 예측 테스트
- 예측 결과에 따라 기존 학습 데이터 수정
과잉 맞춤 방지
경우에 따라 모델은 이미지가 공통으로 갖는 임의의 특성을 기준으로 예측하는 방법을 학습합니다. 예를 들어, 사과와 감귤류에 대한 분류자를 만들 때 손 위에 사과가 놓여있는 이미지와 흰 접시 위에 감귤류가 놓여있는 이미지를 사용하면 분류자는 사과와 감귤류 대신 손과 접시에 지나치게 집중할 수도 있습니다.
이 문제를 해결하려면 이미지에 다양한 각도, 배경, 개체 크기, 그룹 및 기타 변형을 제공합니다. 다음 섹션에서는 이러한 개념을 확장합니다.
데이터 수량
학습 이미지의 수는 데이터 세트에 가장 중요한 요소입니다. 레이블당 50개 이상의 이미지를 시작점으로 사용하는 것이 좋습니다. 이미지가 적으면 과잉 맞춤 위험이 높으며 성능 수치가 양호한 품질을 제안할 수 있지만 모델은 실제 데이터로 어려움을 겪을 수 있습니다.
데이터 균형
학습 데이터의 상대적 수량을 고려하는 것도 중요합니다. 예를 들어 한 레이블에 500개의 이미지와 다른 레이블에 50개의 이미지를 사용하면 불균형 학습 데이터 세트가 만들어집니다. 이렇게 하면 모델이 한 레이블을 다른 레이블보다 더 정확하게 예측할 수 있습니다. 이미지가 가장 적은 레이블과 이미지가 가장 많은 레이블 사이에 1:2 이상의 비율을 기본 경우 더 나은 결과를 볼 수 있습니다. 예를 들어 이미지가 가장 많은 레이블에 500개의 이미지가 있는 경우 이미지가 가장 적은 레이블에는 학습을 위해 250개 이상의 이미지가 있어야 합니다.
데이터 다양성
일반 사용 중에 분류자에게 제출될 내용을 나타내는 이미지를 사용해야 합니다. 그렇지 않으면 모델은 이미지가 공통으로 갖는 임의의 특성을 기준으로 예측하는 방법을 학습합니다. 예를 들어, 사과와 감귤류에 대한 분류자를 만들 때 손 위에 사과가 놓여있는 이미지와 흰 접시 위에 감귤류가 놓여있는 이미지를 사용하면 분류자는 사과와 감귤류 대신 손과 접시에 지나치게 집중할 수도 있습니다.
이 문제를 해결하려면 모델이 잘 일반화할 수 있도록 다양한 이미지를 포함시킵니다. 다음은 학습 집합을 보다 다양하게 만들 수 있는 몇 가지 방법입니다.
배경: 다양한 배경 앞에 개체의 이미지를 제공합니다. 컨텍스트가 자연스러운 사진은 분류자에게 더 많은 정보를 제공하므로 자연스러운 배경이 있는 사진보다 더 효과적입니다.
조명: 특히 예측에 사용되는 이미지에 다른 조명이 있는 경우 다양한 조명(즉, 플래시, 높은 노출 등으로 촬영)을 이미지에 제공합니다. 또한 다양한 채도, 색상 및 밝기를 적용한 이미지를 사용하는 것이 유용합니다.
개체 크기: 개체의 크기와 수가 다른 이미지를 제공합니다(예: 바나나 무리의 사진과 단일 바나나 클로즈업). 크기가 다르면 분류자를 더 잘 일반화할 수 있습니다.
카메라 각도: 다양한 카메라 각도로 촬영한 이미지를 제공합니다. 또는 모든 사진을 고정된 카메라로 촬영하는 경우(예: 감시 카메라) 정기적으로 발생하는 모든 개체에 다른 레이블을 할당하여 관련 없는 개체(예: 가로등 기둥)를 주요 대상으로 해석하는 과잉 맞춤이 발생하지 않도록 합니다.
스타일: 동일한 클래스의 다양한 스타일(예: 동일한 과일의 다양한 종류)의 이미지를 제공합니다. 그러나 스타일이 크게 다른 개체(예: 미키 마우스와 실제 마우스)가 있는 경우 고유한 기능을 더 잘 나타내기 위해 별도의 클래스로 레이블을 지정하는 것이 좋습니다.
음수 이미지(분류자만 해당)
이미지 분류기를 사용하는 경우 분류자 정확도를 높이기 위해 음수 샘플을 추가해야 할 수 있습니다. 음수 샘플은 다른 태그와 일치하지 않는 이미지입니다. 이러한 이미지를 업로드할 때는 특수 부정 레이블을 적용합니다.
개체 감지기는 네거티브 샘플을 자동으로 처리합니다. 그리기 경계 상자 외부의 모든 이미지 영역은 음수로 간주되기 때문입니다.
참고 항목
Custom Vision 서비스는 일부 자동 부정 이미지 처리를 지원합니다. 예를 들어 사과와 바나나 분류자를 빌드 중이며 예측을 위해 신발 이미지를 제출하는 경우, 분류자는 해당 이미지의 점수를 사과와 바나나 둘 다에 대해 0%에 가깝게 지정해야 합니다.
반면, 음수 이미지가 학습에 사용되는 이미지의 변형일 경우 모델은 큰 유사성으로 인해 부정적인 이미지를 레이블이 지정된 클래스로 분류할 가능성이 높습니다. 예를 들어 오렌지와 자몽 분류자를 가지고 있고 클레멘타인의 이미지에서 먹이를 주는 경우 클레멘타인의 많은 특징이 오렌지와 유사하기 때문에 클레멘타인을 주황색으로 채점할 수 있습니다. 부정적인 이미지가 이러한 특성인 경우 모델이 이러한 클래스를 더 잘 구분할 수 있도록 학습 중에 하나 이상의 추가 태그(예: 기타)를 만들고 이 태그로 음수 이미지에 레이블을 지정하는 것이 좋습니다.
폐색 및 잘림(개체 검색기에만 해당)
개체 검색기가 잘린 개체(이미지에서 부분적으로 잘린 개체) 또는 가려진 개체(이미지의 다른 개체에 의해 부분적으로 차단된 개체)를 검색하도록 하려면 이러한 경우를 다루는 학습 이미지를 포함해야 합니다.
참고 항목
개체가 다른 개체에 의해 폐색되는 문제는 등급 모델 성능에 대한 매개 변수인 겹침 임계값과 혼동되지 않아야 합니다. Custom Vision 웹 사이트의 겹침 임계값 슬라이더는 올바른 것으로 간주하기 위해 예측 경계 상자가 실제 경계 상자와 겹쳐야 하는 양을 처리합니다.
추가 학습에 예측 이미지 사용
예측 엔드포인트에 이미지를 제출하여 모델을 사용하거나 테스트하는 경우 Custom Vision Service는 이러한 이미지를 저장합니다. 그런 다음, 모델을 개선하는 데 사용할 수 있습니다.
모델에 제출된 이미지를 보려면 Custom Vision 웹 페이지를 열고 프로젝트로 이동하여 예측 탭을 선택합니다. 기본 보기는 현재 반복의 이미지를 보여 줍니다. 반복 드롭다운 메뉴를 사용하여 이전 반복 중에 제출된 이미지를 볼 수 있습니다.
이미지 위로 마우스를 가져가면 모델에서 예측한 태그를 볼 수 있습니다. 모델을 가장 개선할 수 있는 이미지가 맨 위에 오도록 이미지가 정렬됩니다. 다른 정렬 방법을 사용하려면 정렬 섹션에서 선택합니다.
기존 학습 데이터에 이미지를 추가하려면 이미지를 선택하고, 올바른 태그를 설정한 후 저장 후 닫기를 선택합니다. 이미지는 예측에서 제거되고 학습 이미지 집합에 추가됩니다. 학습 이미지 탭을 선택하여 볼 수 있습니다.
그런 다음 학습 단추를 사용하여 모델을 다시 학습시킵니다.
예측을 시각적으로 검사
이미지 예측을 검사하려면 학습 이미지 탭으로 이동하여 반복 드롭다운 메뉴에서 이전 학습 반복을 선택하고 태그 섹션에서 하나 이상의 태그 를 검사. 이제 뷰에 모델이 지정된 태그를 올바르게 예측하지 못한 각 이미지 주위에 빨간색 상자가 표시됩니다.
때로는 시각적 검사를 통해 학습 데이터를 더 추가하거나 기존 학습 데이터를 수정하여 수정할 수 있는 패턴을 식별할 수 있습니다. 예를 들어 사과와 라임에 대한 분류자는 모든 녹색 사과에 라임으로 잘못 레이블을 지정할 수 있습니다. 그런 다음 태그가 지정된 녹색 사과 이미지가 포함된 학습 데이터를 추가하고 제공하여 이 문제를 해결할 수 있습니다.
다음 단계
이 가이드에서는 사용자 지정 이미지 분류 모델 또는 개체 감지기 모델을 더 정확하게 만들기 위한 다양한 기술을 살펴봤습니다. 다음으로는 그러한 모델을 Prediction API에 제출하여 프로그래밍 방식으로 이미지를 테스트하는 방법을 알아봅니다.