배포를 위해 AI 에이전트 조정 및 확장

Completed

이전 단원의 구현 패턴은 빌드하는 모든 에이전트에 적용됩니다. 그러나 시나리오가 다르면 요구 사항이 다릅니다. 고객 관련 에이전트는 대화형 기교 및 개인 정보 보호 제어가 필요하지만 내부 운영 에이전트는 안정성과 규정 준수를 요구합니다. 이 단원에서는 이러한 두 가지 배포 범주에 대한 에이전트의 구성 및 동작을 조정하는 방법을 살펴봅니다.

고객 관련 에이전트

고객 지원 또는 영업 도우미와 같이 최종 사용자와 직접 상호 작용하는 에이전트는 대화 품질, 개인 설정 및 개인 정보에 주의해야 합니다.

대화 품질

시스템 프롬프트는 에이전트가 통신하는 방법을 제어하기 위한 기본 도구입니다. 원하는 톤, 스타일 및 응답 길이를 정의합니다.

  • 톤 및 스타일: "친절하고 전문적인 방식으로 응답" 또는 "간단한 언어를 사용하고 기술적 전문 용어를 사용하지 마십시오"와 같은 지침을 포함합니다. 지원 에이전트의 경우 공감하는 톤이 잘 작동합니다. 영업 도우미의 경우 보다 유익한 톤이 적절할 수 있습니다.
  • 질문 명확히: 요청이 추측보다는 모호한 경우 에이전트에 설명을 요청하도록 지시합니다. 예를 들어 "사용자의 요청이 명확하지 않은 경우 조치를 취하기 전에 정중한 명확한 질문을 합니다."
  • 응답 길이: 에이전트가 응답을 간결하게 유지하도록 안내합니다. "사용자가 자세한 정보를 요청하지 않는 한 응답을 세 문장으로 유지합니다."

이러한 지침은 반복적으로 구체화할 수 있습니다. 에이전트를 사용하여 대화 흐름을 테스트하고 결과에 따라 시스템 프롬프트를 조정합니다.

개인 설정 및 데이터 개인 정보

고객 관련 에이전트는 주문 기록 및 계정 세부 정보와 같은 개인 데이터에 액세스하는 경우가 많습니다. 개인 설정과 개인 정보 보호의 균형:

  • 사용자 컨텍스트 주입: 세션이 시작되면 시스템 프롬프트 또는 초기 컨텍스트를 통해 관련 사용자 정보를 삽입합니다. 예를 들어 에이전트가 개인 설정된 서비스를 제공할 수 있도록 사용자의 이름, 계정 계층 및 최근 주문 기록을 포함합니다.
  • 개인 정보 보호 지침: 시스템 프롬프트에 명시적 규칙을 추가합니다. "로그인한 사용자의 계정 데이터만 논의합니다. 내부 참조 코드 또는 중요한 시스템 정보를 표시하지 마세요."
  • 도구의 데이터 최소화: 도구가 전체 주소와 같은 중요한 정보를 검색하는 경우 도구 처리기에서 응답을 필터링하여 에이전트에 필요한 항목(예: 배송 도시)만 반환합니다.

지식 통합

지원 및 판매 에이전트는 AI 모델의 학습 데이터를 넘어서는 제품 정보, FAQ 또는 정책 문서에 액세스해야 하는 경우가 많습니다. Retrieval-Augmented Generation (검색-강화 생성) 패턴은 에이전트에 검색 도구를 제공하여 이 요구 사항을 해결합니다.

  • 설명서 또는 FAQ 시스템을 쿼리하는 것과 같은 search_knowledge_base(query) 도구를 정의합니다.
  • 제품 또는 정책 질문에 대답할 때 에이전트에게(시스템 프롬프트를 통해) 이 도구를 사용하도록 지시합니다.
  • 오래된 응답을 방지하려면 기술 자료를 최신 상태로 유지합니다.

이 방법은 모델의 학습 데이터에 의존하지 않고 실제 설명서에서 에이전트의 답변을 근거로 하여 부정확한 응답을 줄입니다.

인간 핸드 오프

잘 구성된 에이전트조차도 해결할 수 없는 상황이 발생합니다. 명확한 에스컬레이션 경로를 빌드합니다.

  • 에이전트가 수집한 escalate_to_human(reason) 모든 컨텍스트를 사용하여 대화를 사용자 담당자에게 전송하는 도구를 제공합니다.
  • 요청을 확인할 수 없거나 사용자가 명시적으로 사용자를 요청할 때 에이전트에 이 도구를 사용하도록 지시합니다.
  • 초기 배포 중에는 고객에게 도달하기 전에 사용자 검토 큐를 통해 에이전트 응답을 라우팅하여 에이전트의 품질에 대한 신뢰를 구축하는 것이 좋습니다.

백오피스 및 자율 에이전트

재무 자동화, 공급망 관리 또는 IT 운영 에이전트와 같이 백그라운드에서 작동하는 에이전트는 대화형 품질보다 안정성, 정확도 및 엔터프라이즈 시스템과의 통합에 우선 순위를 줍니다.

결정성 및 확인

엔터프라이즈 프로세스에서는 예측 가능한 동작이 중요합니다.

  • 구조적 출력: 에이전트가 시스템 입력을 위한 자유 형식 텍스트가 아닌 특정 필드 값을 제공하므로 도구 인터페이스를 디자인합니다. 예를 들어 에이전트가 전체 항목을 텍스트로 생성하는 대신 구조화된 매개 변수 create_journal_entry(account, amount, description) 를 도구에 전달하도록 합니다.
  • 코드의 계산: AI 모델에 의존하지 않고 수학 연산에 도구를 사용합니다. 도구는 calculate_tax(amount, rate) 신뢰할 수 있는 결과를 생성하지만 모델에 산술 오류가 발생할 수 있습니다.
  • 기록 유효성 검사: 배포하기 전에 알려진 기록 데이터에 대해 에이전트를 실행하고 해당 결정을 인간이 한 것과 비교합니다. 불일치는 임계값 및 지침을 조정하는 데 도움이 됩니다.

예약 및 트리거

대화형 에이전트와 달리 백오피스 에이전트는 사용자 입력이 아닌 이벤트 또는 일정에 의해 시작되는 경우가 많습니다.

  • 예약된 작업: cron 작업 또는 예약된 서비스는 GitHub Copilot SDK 세션을 만들고 컨텍스트(예: "일일 청구서 조정 수행")를 제공하며 에이전트를 실행할 수 있도록 합니다.
  • 이벤트 기반: 모니터링 경고 또는 웹후크가 세션 생성을 트리거하고 이벤트 세부 정보를 입력으로 보냅니다. 각 이벤트는 일반적으로 컨텍스트 혼합을 방지하기 위해 자체 세션을 가져옵니다.
  • 상태 비지정 실행: 독립 세션에서 각 태스크 또는 이벤트를 처리합니다. 이 방법은 관련 없는 작업 간의 이월 혼동을 방지합니다.

엔터프라이즈 시스템 통합

백오피스 에이전트는 API 및 데이터베이스와 크게 상호 작용합니다. 도구 처리기에 견고성을 구축합니다.

  • 재시도 및 시간 제한: 외부 시스템을 호출하는 도구 처리기에서 지수 백오프를 사용하여 재시도 논리를 구현합니다.
  • 트랜잭션 안전성: 에이전트가 여러 관련 쓰기를 수행하는 경우 각 단계에 대해 별도의 도구가 아니라 전체 트랜잭션을 원자성으로 처리하는 단일 도구를 사용하는 것이 좋습니다.
  • 최소 권한 액세스: 에이전트의 API 호출에 대한 최소한의 권한으로 서비스 계정을 사용합니다. 이 방법은 예기치 않은 동작의 영향을 제한합니다.
  • 감사 로깅: 에이전트가 수행하는 모든 작업을 기록합니다. 여기에는 호출된 도구, 전달된 매개변수, 반환된 결과가 포함됩니다. 동작을 에이전트에 의해 시작된 것으로 표시하는 식별자를 포함합니다.

사람의 감독

자율 에이전트는 여전히 인간의 안전망이 있어야 합니다.

  • 경고: 에이전트가 학습 외부의 상황이 발생하거나 여러 번의 시도 후에 문제가 지속될 때 사용할 수 있는 도구를 제공합니다 notify_manager(issue) .
  • 정기적인 검토: 도메인 전문가가 에이전트의 결정, 특히 초기 배포 중에 정기적으로 검토하게 합니다.
  • 수동 재정의: 에이전트를 자율 실행에서 권고 모드로 빠르게 변경할 수 있는 기능 플래그 또는 모드 스위치를 구현합니다. 여기서 권장 사항을 기록하지만 조치를 취하지는 않습니다.

성능 및 비용 고려 사항

에이전트가 자주 실행되거나 많은 볼륨을 처리하는 경우 다음을 고려합니다.

  • 모델 선택: 일상적인 작업에 더 빠르고 저렴한 모델을 사용하고 복잡한 추론을 위해 더 많은 지원 모델을 예약합니다. SDK를 사용하면 세션당 모델을 구성할 수 있습니다.
  • 일괄 처리: 에이전트가 여러 항목을 처리해야 하는 경우 각 항목에 대해 별도의 세션을 만드는 대신 단일 세션 내에서 작업을 구성합니다.
  • 다중 에이전트 패턴: 복잡한 워크플로의 경우 다양한 구성 및 도구 집합을 사용하여 여러 세션에서 책임을 분할하는 것이 좋습니다. 한 에이전트는 분석을 처리할 수 있고 다른 에이전트는 실행을 처리하고 애플리케이션은 둘 간에 오케스트레이션할 수 있습니다.

요약

다양한 배포 시나리오에 맞게 AI 에이전트를 조정하려면 사용 사례에 맞게 대화 스타일, 도구 집합 및 운영 패턴을 조정해야 합니다. 고객 관련 에이전트는 개인 정보를 유지하면서 대화형 품질 및 개인 설정의 우선 순위를 지정하는 반면 백오피스 에이전트는 안정성, 통합 및 자율 운영에 중점을 줍니다. 이러한 고려 사항을 염두에 두고 에이전트를 디자인하면 모든 컨텍스트에서 효율성과 비즈니스 가치를 최대화할 수 있습니다. 다음 단원에서는 GitHub Copilot SDK를 사용하여 이러한 적응을 실제로 구현하는 방법을 알아봅니다.