고성능 LLM이 핵심인 경우에도 프로덕션 등급의 생성 AI 앱은 세 가지 주요 영역에서 종종 어려움을 겪습니다.
- 질
- 제어
- 비용
실제로 팀은 프로덕션 환경에서 Gen AI 앱을 실행하기 위해 세 가지 과제를 동시에 해결해야 합니다.
프로덕션 수준의 품질을 구축하기
- 예측할 수 없는 성능: LLM은 일관되지 않거나 예기치 않은 결과를 생성할 수 있습니다. 모델 또는 컨텍스트가 변경되면 1일 동안 작동하는 프롬프트가 실패할 수 있습니다.
- 응답 정확도 및 안전성: 개발자는 응답이 정확하고 안전한지 확인해야 합니다. 잘못된 출력(환각) 또는 유해하고 공격적인 콘텐츠는 사용자 신뢰, 브랜드 평판 또는 규정을 위반할 수 있습니다.
- "고품질" 정의: 도메인 전문가는 출력을 평가하고 프롬프트 논리를 구체화하기 위해 전문 지식을 제공해야 하는 경우가 많습니다. 이러한 협업을 위해서는 비기술 관련자가 사용할 수 있는 도구가 필요합니다.
데이터 및 모델 제어
- 데이터 유출: 적절한 가드레일 및 삭제 단계가 적용되지 않으면 중요한 고객 또는 엔터프라이즈 데이터가 모델 출력을 통해 실수로 누출될 수 있습니다.
- 거버넌스 및 소유권: 많은 조직에는 SOC2 또는 HIPAA와 같은 데이터 거버넌스 프로토콜 또는 규정 준수 요구 사항이 이미 있습니다. 특히 모델이 외부에서 호스트되는 경우 이러한 프레임워크에 LLM을 통합하는 것은 복잡할 수 있습니다.
- 가시성: 팀은 모델 결정을 감사하거나 오류를 해결하기 위해 애플리케이션의 모든 요청, 응답 및 중간 작업을 추적해야 합니다. 강력한 로깅 및 추적이 없으면 규정 준수 또는 근본 원인 문제를 유지하기가 어렵습니다.
규모에 따른 비용
- 비용 및 품질: LLM 기반 솔루션은 특히 고급 또는 추론 모델을 사용하는 경우 대규모로 비용이 많이 들 수 있습니다. 팀은 성능 향상에 대해 더 높은 비용을 평가해야 하며, 종종 캐싱 또는 특수 모델 라우팅을 사용하여 품질을 희생하지 않고 예산 내에서 유지해야 합니다.
- 개발자 시간 및 복잡성: 모델 유추 비용 외에, 특히 검색기, 구조적 데이터베이스 및 타사 API와 같은 여러 구성 요소를 통합하는 경우 강력한 Gen AI 앱을 빌드하는 데 시간이 오래 걸릴 수 있습니다. 개발자의 노력을 최소화하려면 간소화된 워크플로와 자동화된 테스트가 필요합니다.