기계 학습 수명 주기 이해
이 단원에서는 일반적인 기계 학습 수명 주기와 자주 발생하는 문제를 다룹니다. 처음부터 또는 사전 학습 모델을 시작 지점으로 사용하여 사용자 지정 모델을 구축하는 프로세스 개요를 제공합니다. 이 지식을 통해 데이터 과학 프로젝트에 접근할 수 있습니다.
기계 학습 과제 및 기계 학습 작업의 필요성
최근 OpenAI에서 제공하는 것과 같은 AI 사전 제작 모델의 인기는 조직이 데이터 과학 프로젝트에 필요한 리소스의 양을 크게 줄이는 데 도움이 될 수 있습니다. 그러나, 더 많은 조직에서 AI를 실험하면서 기계 학습 수명 주기는 AI 모델을 만들거나 미리 빌드된 모델을 다시 사용하는 것보다 더 복잡하다는 것을 알게 됩니다.
조직이 Azure AI 서비스에서 제공하는 제품처럼 미리 만들어진 AI 모델을 사용하더라도 데이터, 코드, 모델 환경 및 기계 학습 모델 자체를 문서화하고 관리해야 할 수 있습니다. 모델을 개발, 패키징 및 배포하는 프로세스를 설정하고 나아가 성능을 모니터링하고 간혹 재학습하는 작업 또한 필요합니다. 대부분의 조직에서는 생산 단계에서 여러 모델을 동시에 관리하기 때문에 더욱 복잡해집니다.
이러한 복잡성에 효과적으로 대처하려면 몇 가지 모범 사례가 필요합니다. 팀 간 협업, 프로세스 자동화 및 표준화, 모델을 쉽게 감사, 설명 및 재사용할 수 있도록 하는 데 중점을 줍니다. 이를 위해 데이터 과학 팀은 기계 학습 운영 접근 방식을 사용합니다. 이 방법론은 개발자와 데이터 과학자의 어려움이 유사하기 때문에 애플리케이션 개발 주기에 대한 운영을 관리하기 위한 업계 표준인 DevOps(개발 및 운영)에서 영감을 얻었습니다.
먼저 고유한 AI 모델을 빌드한 다음 미리 만든 모델을 사용하는 경우 일반적인 기계 학습 수명 주기가 어떻게 표시되는지 살펴보겠습니다. 데이터 과학자는 Microsoft의 플랫폼인 Azure Machine Learning에서 기계 학습 워크플로를 관리하고 실행하여 기계 학습 운영 사례를 더 쉽게 만들 수 있습니다. 이러한 도구는 자동화를 통해 많은 프로세스를 최적화할 수 있는 공유되고 감사 가능하며 안전한 환경에서 팀이 공동 작업하는 데 도움이 됩니다.
사용자 고유의 AI 모델을 빌드하기 위한 기계 학습 수명 주기
이것은 기존의 접근 방식이며 데이터 과학 프로젝트의 모든 일반적인 단계를 다룹니다. 많은 시나리오에서 결과 AI 모델은 더 일반적인 미리 빌드된 모델보다 더 나은 성능을 발휘합니다.
- 데이터 세트를 준비합니다. AI는 데이터에서 시작됩니다. 우선 데이터 과학자는 모델을 학습시킬 데이터를 준비해야 합니다. 대부분의 경우 이 단계는 수명 주기에서 가장 많은 시간을 차지합니다. 이 작업에는 사용자 고유의 데이터 세트를 찾거나 빌드하고, 컴퓨터에서 쉽게 읽을 수 있도록 정리하고, 대표적인 샘플인지 확인하고, 목표와 관련된 변수를 검색하는 등의 작업이 포함됩니다.
- 학습 및 테스트. 그런 다음 데이터 과학자는 데이터에 알고리즘을 적용하여 기계 학습 모델을 학습시킵니다. 그리고 새 데이터를 이용해 모델을 테스트하여 예측 정확도를 확인합니다.
- 패키지. 모델을 앱에 직접 배치할 수 없습니다. 해당 빌드에 사용된 모든 도구와 프레임워크를 사용하여 실행할 수 있도록 컨테이너화해야 합니다.
- 유효성 검사 이 시점에서 팀은 비즈니스 목표 대비 모델 성능을 평가합니다. 테스트는 충분한 메트릭을 반환했을 수 있지만 실제 비즈니스 시나리오에서 사용할 때 모델이 예상대로 작동하지 않을 수 있습니다.
- 1~4단계를 반복합니다. 만족스러운 모델을 찾으려면 수백 시간 학습해야 할 수도 있습니다. 개발팀은 학습 데이터를 조정하거나, 알고리즘 하이퍼 매개 변수를 수정하거나, 완전히 다른 알고리즘을 시도하여 여러 버전의 모델을 학습할 수 있습니다. 이상적으로는 조정이 끝날 때마다 모델이 개선되어야 합니다. 개발팀의 궁극적인 역할은 비즈니스 사용 사례에 가장 적합한 모델 버전을 결정하는 것입니다.
- Deploy. 마지막으로 모델을 (주로 API를 통해) 클라우드, 온-프레미스 서버 또는 카메라, IoT 게이트웨이, 기계장치 같은 에지 디바이스에 배포합니다.
- 모니터링 및 재학습합니다. 모델이 처음에 잘 작동하더라도 관련성과 정확성을 유지하려면 지속적인 모니터링과 재학습은 필수적입니다.
미리 빌드된 모델을 사용하는 기계 학습 수명 주기
지금까지는 처음부터 사용자 고유의 모델을 만드는 것이 기본 옵션이었습니다. 그러나, 사전 제작 모델의 인기로 패러다임이 바뀌었습니다. 데이터 과학 프로젝트를 기반으로 미리 만든 모델을 통합하고 비즈니스 요구에 맞게 조정하는 것이 더 일반적입니다. 이 방법은 워크플로를 크게 변경할 수 있습니다.
- 유효성 검사: 우선 미리 빌드된 모델이 조직에서 작동하는지 확인합니다. 어떤 사전 제작 모델을 사용할지, 얼마나 실용적인지 가능한 한 빨리 파악하는 것이 중요합니다.
- 1~4단계 반복: 데이터 과학자는 결과가 충분히 좋을 때까지 1~4단계를 반복합니다. 사전 제작 모델이 필요한 것을 제공하게 하려면 약간의 노력이 필요할 수 있습니다.
- 프롬프트 엔지니어링: 미리 빌드된 모델을 사용하여 얻은 결과를 개선하는 첫 번째 옵션입니다. 팀은 모델이 모든 뉘앙스를 이해할 수 있도록 필요한 것을 설명해야 합니다. 이 작업에는 모델이 이해할 때까지 요청(프롬프트)을 다시 작성하는 작업이 포함됩니다. 시간이 걸릴 수 있습니다. 그러나 시민 개발자와 최종 사용자도 데이터 과학자가 안내하는 경우 프롬프트 엔지니어링을 수행할 수 있습니다. 이 방법은 비즈니스 사용자에게 더 많은 권한을 제공합니다.
- 데이터 세트 사용자 지정: 프롬프트 엔지니어링이 결과를 충분히 개선하지 못하는 경우 미리 빌드된 모델이 의도한 사용 사례에 비해 너무 일반적이기 때문일 수 있습니다. 그러면 데이터 과학자는 사용자 지정 학습 데이터로 모델을 보완해야 합니다.
- 학습 및 테스트: 데이터 과학자는 3단계의 추가 데이터를 사용하여 미리 만든 모델 위에 사용자 지정 학습 계층을 추가할 수 있습니다. 이러한 방식으로 해결하려는 AI 문제에 맞게 미리 빌드된 모델의 새 버전을 가져옵니다. 또 다른 옵션은 미리 만들어진 모델이 남긴 빈틈을 메우는 완전 사용자 지정 모델을 개발하는 것입니다. 많은 모델이 AI 솔루션 내에서 공존할 수 있습니다.
- 패키지 및 배포: 미리 빌드된 모델을 사용하는 방법에는 여러 가지가 있습니다. 대부분의 경우 API를 통해 사용하기에 충분할 수 있습니다. 이 방법은 조직이 소유하지 않고 사용자 지정할 수 없지만 패키징 및 배포 시간을 절약합니다. 일정 수준의 사용자 지정 학습이 있는 경우 AI 팀은 이 새 버전의 모델을 패키지하고 배포해야 합니다.
- 모니터링: 모든 모델과 마찬가지로 미리 빌드된 모델도 정기적으로 검사하여 최신 상태로 유지해야 합니다. 데이터 과학자는 미리 빌드된 새로운 모델을 최신 상태로 유지해야 합니다. 새로운 사용자 지정 학습도 어느 시점에서 필요할 수 있습니다.
두 가지 방법 중 더 나은 방법은 무엇인가요? 이는 시나리오에 따라 달라집니다. 미리 만든 모델을 사용하면 리소스가 적게 필요하고 결과를 더 빠르게 제공할 수 있다는 이점이 있습니다. 그러나, 미리 빌드된 모델은 광범위한 사용 사례를 해결하기 위해 학습되므로 매우 구체적인 요구 사항을 충족하는 데 어려움을 겪을 수 있습니다. 이러한 경우 완전 사용자 지정 모델이 더 나은 아이디어일 수 있습니다. 두 방법의 유연한 혼합은 종종 바람직하고 크기를 조정하는 데 도움이됩니다. AI 팀은 가장 쉬운 사용 사례를 위해 미리 만든 모델을 사용하여 리소스를 절약하는 동시에 가장 어려운 시나리오를 위해 사용자 지정 AI 모델을 빌드하는 데 이러한 리소스를 투자할 수 있습니다. 추가 반복은 미리 빌드된 모델을 다시 학습시켜 개선할 수 있습니다.
지금부터는 기계 학습 운영이 제공할 수 있는 혜택 및 비즈니스 가치에 대해 자세히 살펴보겠습니다.