Azure Machine Learning 파이프라인은 전체 기계 학습 작업을 자동화하는 워크플로입니다. 모범 사례를 표준화하고 팀 협업을 지원하며 효율성을 향상시킵니다.
Azure Machine Learning 파이프라인이 필요한 이유는 무엇인가요?
파이프라인은 기계 학습 작업을 단계로 나눕니다. 각 단계는 별도로 개발하고 자동화할 수 있는 관리 가능한 구성 요소입니다. Azure Machine Learning은 단계 간의 종속성을 관리합니다. 이 모듈식 접근 방식은 다음과 같습니다.
- MLOps를 표준화하고 팀 공동 작업을 지원합니다.
- 학습 효율성을 개선하고 비용을 절감합니다.
- MLOps(기계 학습 작업)를 표준화하고 확장 가능한 팀 협업을 지원합니다.
- 학습 효율성을 개선하고 비용을 절감합니다.
MLOps 사례 표준화 및 확장 가능한 팀 협업 지원
MLOps는 모델 빌드 및 배포를 자동화합니다. Pipelines은 팀이 독립적으로 작업할 수 있도록 각 단계를 특정 작업에 매핑하여 이 프로세스를 간소화합니다.
예를 들어 프로젝트에는 데이터 수집, 준비, 학습, 평가 및 배포가 포함될 수 있습니다. 데이터 엔지니어, 과학자 및 ML 엔지니어는 각각 자신의 단계를 소유합니다. 단계는 구성 요소로 빌드된 다음 단일 워크플로에 통합하는 것이 가장 좋습니다. Pipelines은 DevOps 사례에 따라 버전 관리, 자동화 및 표준화할 수 있습니다.
학습 효율성 및 비용 절감
또한 Pipelines은 효율성을 향상시키고 비용을 절감합니다. 변경되지 않은 단계의 출력을 다시 사용하고 작업에 가장 적합한 컴퓨팅 리소스에서 각 단계를 실행할 수 있습니다.
시작 모범 사례
시작점에 따라 여러 가지 방법으로 파이프라인을 빌드할 수 있습니다.
파이프라인을 새로 사용하는 경우 먼저 기존 코드를 단계로 분할하고, 입력을 매개 변수화하고, 모든 항목을 파이프라인으로 래핑합니다.
크기를 조정하려면 일반적인 문제에 대해 파이프라인 템플릿을 사용합니다. Teams는 템플릿을 포크하고, 할당된 단계에서 작업하며, 필요에 따라 해당 부분만 업데이트합니다.
재사용 가능한 파이프라인 및 구성 요소를 사용하면 팀은 기존 부분을 복제하거나 결합하여 새 워크플로를 빠르게 만들 수 있습니다.
CLI, Python SDK 또는 디자이너 UI를 사용하여 파이프라인을 빌드할 수 있습니다.
어떤 Azure 파이프라인 기술을 사용해야 하나요?
Azure는 다양한 용도로 여러 유형의 파이프라인을 제공합니다.
| 시나리오 | 주 가상 사용자 | Azure 제품 | OSS 제품 | Canonical 파이프 | 강점 |
|---|---|---|---|---|---|
| 모델 오케스트레이션(기계 학습) | 데이터 과학자 | Azure Machine Learning 파이프라인 | Kubeflow 파이프라인 | 데이터 -> 모델 | 배포, 캐싱, 코드 우선, 다시 사용 |
| 데이터 오케스트레이션(데이터 준비) | 데이터 엔지니어 | Azure Data Factory 파이프라인 | Apache Airflow | 데이터 -> 데이터 | 강력한 형식의 이동, 데이터 중심 활동 |
| 코드 및 앱 오케스트레이션(CI/CD) | 앱 개발자/Ops | Azure Pipelines | 젠킨스 | 코드 + 모델 -> 앱/서비스 | 가장 개방적이고 유연한 활동 지원, 승인 큐, 게이팅 단계 |
다음 단계
Azure Machine Learning 파이프라인은 개발 시작부터 가치를 추가합니다.
- Azure Machine Learning CLI v2로 파이프라인 정의
- Azure Machine Learning SDK v2로 파이프라인 정의
- 디자이너를 사용하여 파이프라인 정의
- CLI v2 파이프라인 예제 사용해 보기
- Python SDK v2 파이프라인 예제 사용해 보기
- 파이프라인에서 사용할 수 있는 SDK 및 CLI v2 식에 대해 알아봅니다.