GitHub Copilot SDK를 사용하여 AI 에이전트 디자인

Completed

AI 에이전트가 수행할 수 있는 작업을 살펴보했습니다. 이제 작동하도록 시스템을 디자인하는 방법을 고려합니다. 특정 시나리오에 관계없이 AI 에이전트는 공통 아키텍처 청사진을 공유합니다. 이 단원에서는 모든 에이전트 시스템에 필요한 AI 모델, 도구, 플래너, 메모리 및 가드레일과 같은 기본 구성 요소를 다룹니다. 이 청사진을 이해하면 GitHub Copilot SDK를 사용할 때 에이전트를 보다 효과적으로 구현할 수 있습니다.

AI 에이전트 시스템의 핵심 구성 요소

고객 지원을 처리하든 IT 인프라를 모니터링하든 모든 AI 에이전트는 동일한 아키텍처 구성 요소 집합에서 빌드됩니다.

AI 추론 엔진

에이전트의 핵심에는 지침을 해석하고 응답을 생성하는 LLM(대규모 언어 모델)(예: GPT-5)이 있습니다. 이 LLM은 "이유"를 지정하고 각 단계에서 다음에 수행할 작업을 결정하는 구성 요소입니다. LLM의 광범위한 교육은 언어 이해와 일반적인 지식을 제공하며 에이전트 프레임워크는 해당 추론에 따라 작업할 수 있는 기능을 제공합니다.

GitHub Copilot SDK에서 세션을 구성할 때 모델을 선택합니다. 다른 모델은 속도, 비용 및 추론 기능 간에 서로 다른 절충을 제공하며 SDK는 세션 간에 모델 전환을 지원합니다.

도구

도구는 추론 프로세스 중에 에이전트가 호출할 수 있는 외부 함수 또는 API입니다. 각 도구는 에이전트가 수행할 수 있는 특정 작업(데이터베이스 레코드 조회, REST API 호출, 이메일 보내기 또는 진단 명령 실행)을 나타냅니다. 도구는 에이전트가 텍스트를 생성하는 것 이상으로 이동하고 실제로 실제 시스템과 상호 작용하는 방법입니다.

올바른 도구 집합을 디자인하는 것은 중요한 결정입니다. 에이전트에 유용할 수 있는 충분한 도구를 제공하려고 하지만 너무 많지 않아서 혼란스럽거나 압도당하지는 않습니다. 각 도구는 AI 모델에서 사용 시기를 이해하는 데 도움이 되는 명확한 이름과 설명으로 한 가지 작업을 잘 수행해야 합니다.

계획자 및 제어기

플래너는 에이전트의 추론 및 도구 사용을 오케스트레이션합니다. 도구를 호출할 시기, 명확한 질문을 하는 시기 및 최종 답변을 생성할 시기를 결정합니다. 최신 AI 에이전트는 ReAct(Reason + Act) 루프와 같은 기술을 사용합니다. 여기서 에이전트는 사고(LLM이 단계를 제안)와 행동(도구 호출) 간에 번갈아 가며 사용합니다.

GitHub Copilot SDK는 이 플래너를 기본 제공 기능으로 제공합니다. SDK의 에이전트 루프는 오케스트레이션을 처리합니다. 구성 요소를 구성하고 SDK는 계획, 작업, 관찰 및 반복의 실행 주기를 관리합니다.

메모리 및 컨텍스트

상태 비정상 API 호출과 달리 에이전트는 세션 전체에서 컨텍스트 메모리를 유지 관리합니다. 에이전트 인식에는 대화 기록, 도구 출력 및 이전 단계에서 검색된 모든 데이터가 포함됩니다. 메모리는 일관성을 가능하게 합니다. 사용자가 "실제로 잘못된 색이었다"고 말하면 에이전트는 "it"이 앞에서 설명한 항목을 참조한다는 것을 알고 있습니다.

GitHub Copilot SDK는 세션 내에서 대화 기록을 추적하여 단기 메모리를 자동으로 관리합니다. 모델의 컨텍스트 창을 초과할 수 있는 세션의 경우 SDK의 무한 세션 기능은 필수 정보를 유지하면서 토큰 오버플로를 방지하기 위해 이전 컨텍스트를 압축합니다.

정책 및 가드레일

AI 에이전트는 자율적인 작업을 수행하므로 안전하고 의도한 대로 작동하도록 제약 조건이 필요합니다. 가드레일은 다음과 같은 여러 범주로 분류됩니다.

  • 범위 제한: 에이전트가 수행할 수 있는 작업과 수행할 수 없는 작업을 정의합니다. 예를 들어 에이전트가 반품을 처리하도록 허용하지만 특정 금액 이상의 환불에 대한 사람의 승인이 필요합니다.
  • 권한 제어: SDK의 OnPreToolUse 후크를 사용하여 실행하기 전에 도구 호출을 가로챌 수 있습니다. 후크는 작업이 진행되는지, 차단되었는지 또는 PermissionDecision사용자 확인이 필요한지 여부를 제어하는 값(Allow또는Deny)을 반환 Ask 합니다.
  • 안전 필터: 에이전트(시스템 프롬프트를 통해)에게 도메인 내에 유지하고 내부 정보를 공개하지 않도록 지시합니다.
  • 대체 처리 및 에스컬레이션: 에이전트가 요청을 해결할 수 없을 때 발생하는 상황을 설계하십시오. 이 가드레일은 일반적으로 에이전트가 수집한 컨텍스트와 함께 인간에게 인계하는 것을 의미합니다.

GitHub Copilot SDK에서 가드레일은 노출하는 도구(에이전트가 수행할 수 있는 작업을 본질적으로 제한하는 도구), 시스템 프롬프트(동작을 안내하는 도구), 도구 처리기 및 세션 후크의 코드 수준 컨트롤의 세 가지 소스에서 제공됩니다.

실제로 적용되는 에이전트 워크플로우

에이전트가 요청을 받으면 반복 워크플로를 따릅니다.

  1. 입력 받기: 사용자가 메시지를 보내거나 이벤트가 에이전트를 트리거합니다.
  2. 이유 및 계획: LLM은 입력을 해석하고, 목표를 식별하고, 먼저 수행할 작업을 결정합니다.
  3. 작업: 에이전트는 도구를 호출합니다(예: 데이터베이스에서 순서 조회).
  4. 관찰: 도구는 결과를 반환하고 에이전트는 응답하기에 충분한 정보가 있는지 여부를 평가합니다.
  5. 반복 또는 응답: 추가 정보 또는 작업이 필요한 경우 에이전트는 2단계로 다시 반복합니다. 목표가 충족되면 최종 응답을 생성합니다.

이 주기는 단일 사용자 요청 내에서 여러 번 반복할 수 있습니다. GitHub Copilot SDK는 에이전트 실행 엔진을 통해 이 루프를 자동으로 관리합니다.

연습 예

전자 상거래 반환 에이전트가 요청을 처리하는 방법을 고려합니다.

  1. 사용자 입력: "잘못된 물건을 받았습니다. 주문 번호는 12345입니다." 나는 그것을 반환하고 싶다"고 말했다.
  2. 계획: 에이전트는 주문을 확인하고 반환을 시작하는 두 가지 목표를 식별합니다.
  3. 도구 호출: 주문 정보를 검색하기 위해 에이전트가 호출 get_order_details(12345) 합니다.
  4. 관찰: 도구는 주문 세부 정보를 반환하여 항목 및 배달 날짜를 확인합니다.
  5. 도구 호출: 에이전트가 반환 요청을 만들기 위해 호출 process_return(12345) 합니다.
  6. 관찰: 도구에서 확인 번호를 반환합니다.
  7. 응답: 에이전트는 사용자에게 다음과 같이 말합니다. "주문 12345에 대한 반환 RMA-1001을 만들고 내일 픽업을 예약했습니다. 영업일 기준 3~5일 이내에 환불을 받게 됩니다."

에이전트는 두 가지 도구를 사용하고 여러 단계를 통해 추론했지만 사용자의 관점에서 볼 때 단일 원활한 상호 작용이었습니다.

GitHub Copilot SDK에 대한 디자인 결정

GitHub Copilot SDK를 사용하여 빌드할 에이전트를 디자인할 때 다음 세 가지 영역에 집중합니다.

  • 컨텍스트: 각 세션이 시작될 때 에이전트에 필요한 정보는 무엇인가요? 컨텍스트에는 일반적으로 에이전트의 역할 및 동작 지침을 정의하는 시스템 프롬프트와 개인 설정된 응답을 사용하도록 설정하는 사용자별 데이터가 포함됩니다.
  • 도구: 에이전트가 수행할 수 있는 작업은 무엇인가요? 명확한 이름, 설명 및 매개 변수 스키마를 사용하여 각 도구를 정의합니다. 도구 처리기에서 비즈니스 논리를 구현합니다.
  • 정책: 에이전트가 따라야 하는 규칙은 무엇인가요? 정책을 시스템 프롬프트 지침, 도구 처리기 유효성 검사 또는 세션 후크 논리로 인코딩합니다.

또한 실패 모드를 계획해야 합니다. 도구 호출이 실패하는 경우 에이전트가 다시 시도하거나, 다른 방법을 시도하거나, 에스컬레이션해야 하나요? 이러한 결정은 시스템 프롬프트에서 인코딩하거나("도구가 오류를 반환하는 경우 사용자에게 알리고 대안을 제공") 오류 처리 후크에서 프로그래밍 방식으로 처리할 수 있습니다.

요약

AI 에이전트를 디자인하려면 추론 기능, 사용할 수 있는 도구, 컨텍스트를 유지하는 방법 및 안전한 작업을 보장하는 가드레일을 정의해야 합니다. GitHub Copilot SDK는 이러한 구성 요소를 사용하여 에이전트를 빌드하기 위한 강력한 프레임워크를 제공합니다. 시스템 프롬프트를 신중하게 디자인하고, 적절한 도구를 선택하고, 정책을 구현하면 정의된 경계 내에서 작동하는 동안 실제 비즈니스 가치를 제공하는 에이전트를 만들 수 있습니다. 다음 단원에서는 GitHub Copilot SDK를 사용하여 샘플 에이전트를 빌드하여 이러한 디자인 원칙을 실제로 적용하는 방법을 알아봅니다.