Microsoft Foundry 및 GitHub Actions를 사용하여 AI 평가 자동화
중급
데이터 과학자
AI 엔지니어
DevOps 엔지니어
개발자
Azure
Foundry Tools
GitHub
Microsoft Foundry 평가기를 사용하여 AI 에이전트 응답에 대한 자동화된 평가를 구현하고, 프로덕션 데이터 및 합성 생성에서 평가 데이터 세트를 만들고, Python 스크립트를 사용하여 일괄 평가를 실행하고, 지속적인 품질 보증을 위해 평가 워크플로를 GitHub Actions에 통합하는 방법을 알아봅니다.
학습 목표
이 모듈을 마치면 다음을 수행할 수 있습니다.
- 자동화된 평가가 AI 품질 보증에서 사용자 평가를 보완하는 이유를 설명합니다.
- 유효성 검사에 대한 사용자 평가 조건에 맞는 평가자를 선택합니다.
- 포괄적인 테스트를 위한 적절한 컴퍼지션을 사용하여 평가 데이터 세트를 만듭니다.
- Microsoft Foundry에서 Python 스크립트를 사용하여 일괄 처리를 구현합니다.
- 지속적인 테스트를 위해 GitHub Actions에 자동화된 평가 워크플로를 통합합니다.
사전 요구 사항
이 모듈을 시작하기 전에 Azure의 기본 생성 AI 개념 및 서비스에 대해 잘 알고 있어야 합니다. 먼저 생성 AI 모듈의 기본 사항을 완료하는 것이 좋습니다. Python 및 GitHub 워크플로에 대한 기본적인 친숙함이 권장됩니다.
Azure 시작
적합한 Azure 계정을 선택하세요. 용량제를 사용하거나 최대 30일 동안 무료 Azure를 체험해 보세요. 등록하세요.