Custom Vision 모델을 개선하는 방법
이 가이드에서는 Custom Vision 모델의 품질을 개선하는 방법을 알아봅니다. 분류자 또는 개체 감지기의 품질은 제공하는 레이블이 지정된 데이터의 양, 품질 및 다양성과 전체 데이터 세트가 적절한 균형을 이루는지에 따라 결정됩니다. 정상 모델에는 제출할 데이터를 대표하는 균형 있는 학습 데이터 세트가 들어 있습니다. 이러한 모델을 빌드하는 프로세스는 반복적이며, 일반적으로 예상된 결과에 도달하기 위해서는 몇 차례의 학습이 필요합니다.
다음은 더 정확한 모델을 학습하는 데 유용한 일반적인 패턴입니다.
- 1차 학습
- 더 많은 이미지 추가 및 데이터 균형 유지 - 다시 학습
- 다양한 배경, 조명, 개체 크기, 카메라 각도 및 스타일을 사용하여 이미지 추가 - 다시 학습
- 새 이미지를 사용하여 예측 테스트
- 예측 결과에 따라 기존 학습 데이터 수정
과잉 맞춤 방지
경우에 따라 모델은 이미지가 공통으로 갖는 임의의 특성을 기준으로 예측하는 방법을 학습합니다. 예를 들어, 사과와 감귤류에 대한 분류자를 만들 때 손 위에 사과가 놓여있는 이미지와 흰 접시 위에 감귤류가 놓여있는 이미지를 사용하면 분류자는 사과와 감귤류 대신 손과 접시에 지나치게 집중할 수도 있습니다.
이 문제를 해결하려면 다양한 각도, 배경, 개체 크기, 그룹 및 기타 변형으로 이미지를 제공합니다. 다음 섹션에서는 이러한 개념을 확장합니다.
데이터 수량
학습 이미지의 수가 데이터 세트에 가장 중요한 요소입니다. 시작점으로 레이블별 최소 50개의 이미지를 사용하는 것이 좋습니다. 더 적은 수의 이미지를 사용하면 과잉 맞춤을 위험이 높아집니다. 성능 수치가 높은 품질을 암시하는 반면, 모델은 실제 데이터와 씨름할 수 있습니다.
데이터 균형
학습 데이터의 상대 수량을 고려하는 것도 중요합니다. 예를 들어, 한 레이블에 500개 이미지를 사용하고, 다른 레이블에는 50개 이미지를 사용하면 불균형 학습 데이터 세트가 될 수 있습니다. 그러면 모델은 다른 레이블에 비해 한 레이블을 더 정확하게 예측하게 됩니다. 가장 적은 이미지가 있는 레이블과 가장 많은 이미지가 있는 레이블 간의 비율을 적어도 1:2로 유지해야만 더 나은 결과를 얻을 수 있습니다. 예를 들어, 이미지 수가 가장 많은 레이블에 500개 이미지가 있으면 이미지 수가 가장 적은 레이블의 이미지 수를 250개 이상으로 유지해야 학습 효과가 높아집니다.
데이터 다양성
일반적인 사용 중에 분류자에 제출될 항목을 대표하는 이미지를 사용해야 합니다. 그렇지 않으면 모델은 이미지가 공통으로 갖는 임의의 특성을 기준으로 예측하는 방법을 학습합니다. 예를 들어, 사과와 감귤류에 대한 분류자를 만들 때 손 위에 사과가 놓여있는 이미지와 흰 접시 위에 감귤류가 놓여있는 이미지를 사용하면 분류자는 사과와 감귤류 대신 손과 접시에 지나치게 집중할 수도 있습니다.
이 문제를 해결하려면 모델이 잘 일반화할 수 있도록 다양한 이미지를 포함시킵니다. 학습 집합을 좀 더 다양하게 만들 수 있는 몇 가지 방법은 다음과 같습니다.
배경: 서로 다른 배경이 있는 개체 이미지를 제공합니다. 컨텍스트가 자연스러운 사진은 분류자에게 더 많은 정보를 제공하므로 자연스러운 배경이 있는 사진보다 더 효과적입니다.
조명: 플래시를 터뜨려 촬영한 이미지, 노출 정도를 높여서 촬영한 이미지 등 다양한 조명이 적용된 이미지를 제공합니다. 특히 예측에 사용되는 이미지의 조명이 서로 다른 경우 이러한 이미지를 제공합니다. 또한 다양한 채도, 색상 및 밝기를 적용한 이미지를 사용하는 것이 유용합니다.
개체 크기: 개체의 크기와 수가 다양한 이미지를 제공합니다(예: 바나나 다발 사진과 바나나 한 개의 근접 사진). 크기가 다르면 분류자가 일반화를 더 잘 수행할 수 있습니다.
카메라 각도: 여러 카메라 각도로 촬영한 이미지를 제공합니다. 또는 모든 사진을 고정된 카메라로 촬영하는 경우(예: 감시 카메라) 정기적으로 발생하는 모든 개체에 다른 레이블을 할당하여 관련 없는 개체(예: 가로등 기둥)를 주요 대상으로 해석하는 과잉 맞춤이 발생하지 않도록 합니다.
스타일: 동일한 클래스의 다양한 스타일을 갖는 이미지를 제공합니다(예: 같은 과일의 다른 품종). 단, 개체가 완전히 다른 스타일을 갖는 경우(즉, 미키마우스와 실제 쥐) 별도 클래스로 레이블을 지정하여 고유한 대상을 대표하도록 하는 것이 좋습니다.
부정 이미지(분류자 전용)
이미지 분류자를 사용하는 경우에는 분류자를 보다 정확하게 만들기 위해 부정 샘플을 추가해야 할 수 있습니다. 음수 샘플은 다른 태그와 일치하지 않는 이미지입니다. 이러한 이미지를 업로드할 때는 특수 부정 레이블을 적용합니다.
그리기 경계 상자 외부의 모든 이미지 영역은 부정으로 간주되기 때문에 개체 감지기는 부정 샘플을 자동으로 처리합니다.
참고 항목
Custom Vision 서비스는 몇 가지 자동 음화 이미지 처리를 지원합니다. 예를 들어 사과와 바나나 분류자를 빌드 중이며 예측을 위해 신발 이미지를 제출하는 경우, 분류자는 해당 이미지의 점수를 사과와 바나나 둘 다에 대해 0%에 가깝게 지정해야 합니다.
반면에 부정 이미지가 학습에 사용된 이미지 변형에 불과한 경우, 모델이 뛰어난 유사성 때문에 부정 이미지를 레이블이 지정된 클래스로 분류할 수 있습니다. 예를 들어, 오렌지와 포도 분류자가 있으며 귤 이미지를 제공하는 경우 귤의 많은 특징이 오렌지와 유사하기 때문에 귤이 오렌지로 점수가 매겨질 수 있습니다. 부정 이미지가 이러한 특성을 가질 경우, 학습 중에 하나 이상의 추가 태그(예: 기타)를 만들고 부정 이미지에 이 태그를 레이블로 지정하여 모델이 이러한 클래스를 보다 잘 구분하도록 할 수 있습니다.
폐색 및 잘림(개체 검색기에만 해당)
개체 검색기가 잘린 개체(이미지에서 부분적으로 잘린 개체) 또는 가려진 개체(이미지의 다른 개체에 의해 부분적으로 차단된 개체)를 검색하도록 하려면 이러한 경우를 다루는 학습 이미지를 포함해야 합니다.
참고 항목
개체가 다른 개체에 의해 폐색되는 문제는 등급 모델 성능에 대한 매개 변수인 겹침 임계값과 혼동되지 않아야 합니다. Custom Vision 웹사이트의 겹침 임계값 슬라이더는 올바른 것으로 간주되기 위해 예측된 경계 상자가 실제 경계 상자와 겹치는 정도를 처리합니다.
추가 학습에 예측 이미지 사용
예측 엔드포인트에 이미지를 제출하여 모델을 사용하거나 테스트하는 경우 Custom Vision Service는 이러한 이미지를 저장합니다. 그런 다음, 해당 이미지를 사용하여 모델을 향상시킬 수 있습니다.
모델에 제출된 이미지를 보려면 Custom Vision 웹 페이지를 열고 프로젝트로 이동한 후 예측 탭을 선택합니다. 기본 보기에는 현재 반복의 이미지가 표시됩니다. 반복 드롭다운 메뉴를 사용하여 이전 반복 중에 제출된 이미지를 볼 수 있습니다.
이미지를 마우스로 가리키면 모델이 예측한 태그가 표시됩니다. 모델을 가장 개선할 수 있는 이미지가 맨 위에 오도록 이미지가 정렬됩니다. 다른 정렬 메서드를 사용하려면 정렬 섹션에서 항목을 선택합니다.
기존 학습 데이터에 이미지를 추가하려면 이미지를 선택하고, 올바른 태그를 설정한 후 저장 후 닫기를 선택합니다. 이미지가 예측에서 제거되고 학습 이미지 세트에 추가됩니다. 학습 이미지 탭을 선택하면 해당 이미지를 볼 수 있습니다.
그런 다음, 학습 단추를 사용하여 모델을 다시 학습합니다.
시각적 예측 검사
이미지 예측을 검사하려면 학습 이미지 탭으로 이동하여 반복 드롭다운 메뉴에서 이전 학습 반복을 선택하고, 태그 섹션 아래에서 하나 이상의 태그를 선택합니다. 보기에서는 모델이 지정된 태그를 올바르게 예측하는 데 실패한 각 이미지 주위에 빨간색 상자가 표시됩니다.
때로는 시각적 검사를 통해 학습 데이터를 더 추가하거나 기존 학습 데이터를 수정하여 수정할 수 있는 패턴을 식별할 수 있습니다. 예를 들어, 사과와 라임에 대한 분류자는 모든 녹색 사과를 라임으로 잘못 레이블링할 수 있습니다. 태그가 지정된 파란색 사과 이미지가 포함된 학습 데이터를 추가하고 제공하면 이 문제를 해결할 수 있습니다.
다음 단계
이 가이드에서는 사용자 지정 이미지 분류 모델 또는 개체 감지기 모델을 더 정확하게 만들기 위한 다양한 기술을 살펴봤습니다. 다음으로는 그러한 모델을 Prediction API에 제출하여 프로그래밍 방식으로 이미지를 테스트하는 방법을 알아봅니다.