소개
생성 AI를 사용하는 초기 단계에서는 작동하는 항목을 가져오는 데 집중하는 것이 일반적입니다. 데모, 프로토타입 또는 개념 증명이든 관계없이 이러한 이정표는 모두 중요하게 느껴질 수 있습니다. 그러나 프로덕션을 준비하는 것은 다른 과제입니다.
적절한 모니터링이 없으면 겉보기에 안정적인 생성 AI 애플리케이션도 실제 조건에서 문제가 발생할 수 있습니다.
- 대기 시간은 예측할 수 없게 될 수 있습니다.
- 비효율적인 프롬프트 디자인 또는 크기 조정으로 인해 비용이 증가할 수 있습니다.
- 컴퓨팅 리소스는 실제 사용량 요구 사항에 맞지 않습니다.
많은 팀이 실제 조건에서 시스템이 어떻게 수행되는지 완전히 이해하지 못하고 배포의 함정에 빠지게 됩니다. 모니터링은 추측을 엔지니어링으로 변환합니다.
사용 사례 이해
야외 장비를 판매하는 레이크쇼어 리테일에서 일하고 있다고 상상해 보십시오. 고객 지원 팀은 캠핑 장비에서 전문 하이킹 장비에 이르기까지 광범위한 제품 라인업에 대해 매일 수백 개의 문의 사항을 제공합니다. 응답 속도와 정확도를 높이기 위해 Trail Guide라는 AI 도우미를 배포했습니다.
그러나 생성 AI 솔루션을 배포하는 것은 시작에 불과합니다. AI 엔지니어는 품질을 유지하고 위험과 안전을 완화하며 고객 만족도를 보장하기 위해 지속적인 모니터링을 구현해야 합니다.
이 모듈에서는 Azure AI 및 Azure Monitor를 사용하여 생성 AI 애플리케이션을 모니터링하는 모범 사례를 알아봅니다. 결국 트레일 가이드와 같은 AI 에이전트 및 도우미를 사전에 모니터링하고 실제 효과를 최적화할 수 있습니다.
Note
우리는 다른 사람들이 다른 방법으로 배우는 것을 좋아한다는 것을 알고 있습니다. 이 모듈을 비디오 기반 형식으로 완료하도록 선택하거나 콘텐츠를 텍스트 및 이미지로 읽을 수 있습니다. 텍스트는 비디오보다 더 자세한 내용을 포함하므로 경우에 따라 비디오 프레젠테이션에 대한 추가 자료로 참조할 수 있습니다.