Azure 에이전트 빌드

스타트업이 프로토타입을 넘어 프로덕션 수준의 AI 에이전트를 빌드하기로 결정하면 포커스가 실험에서 아키텍처로 이동합니다. 엔터프라이즈 고객을 위한 에이전트를 구축하려면 여러 고객 간에 보안, 안정성 및 적응성이 필요합니다. 또한 스타트업은 신중한 디자인과 속도, 단순함의 균형을 유지해야 합니다.

Azure 에이전트를 빌드할 때 모든 시작에서 해결해야 하는 네 가지 핵심 디자인 영역이 있습니다.

  1. 다중 테넌트: 데이터, 컨텍스트 및 컴퓨팅을 격리하면서 여러 고객에게 안전하고 효율적으로 서비스를 제공하는 방법입니다.
  2. 애플리케이션 계층: 사용자가 API, Teams 앱 또는 웹 환경을 통해 에이전트와 상호 작용하는 방법 및 해당 인터페이스가 테넌트별 논리 및 보안에 매핑되는 방식
  3. 오케스트레이션 계층: 추론, 도구 사용 및 작업 조정을 관리하여 다양한 작업 및 모델에서 안정적이고 감사 가능한 결과를 생성하는 방법입니다.
  4. 컨텍스트 계층: 에이전트가 벡터 검색, 메모리 저장소 및 라이브 데이터 통합을 사용하여 관련 지식에 대한 이유, 구조 및 이유를 검색하는 방법입니다.

이러한 네 가지 영역은 확장 가능한 에이전트 아키텍처의 중추를 형성합니다. 에이전트가 수행하는 방식뿐만 아니라 어떻게 발전하는지 결정하여 지속적인 개선, 테넌트당 사용자 지정 및 고객 에코시스템에 대한 심층 통합을 지원합니다.

다중 임차

신생 기업에게 다중 테넌시는 지속 가능하고 확장 가능한 에이전트 플랫폼을 구축하는 초석입니다. 시스템이 보안, 성능 및 비용 효율성을 유지하면서 각각 고유한 데이터, 모델 및 컨텍스트를 사용하여 여러 고객에게 서비스를 제공하는 방법을 정의합니다. 컨텍스트 및 개인 설정이 가치 창출의 중심인 AI 에이전트의 세계에서 다중 테넌트는 테넌트 간에 인텔리전스가 분할, 공유 및 진화되는 방식을 제어합니다.

Azure 다중 테넌트 모두를 유연하고 안전하게 만드는 몇 가지 네이티브 패턴과 서비스를 제공합니다. 올바른 방법은 제품 모델, 데이터 민감도 및 크기 조정 요구 사항에 따라 달라집니다.

논리 대 물리적 다중 테넌시

  • 논리적 다중 테넌트는 공유 리소스 내에서 고객 데이터 및 구성을 격리하여 수행됩니다(예: 테넌트별 파티션 또는 컬렉션이 있는 단일 Cosmos DB 인스턴스 또는 테넌트별 인덱스가 있는 단일 Azure AI 검색 서비스). 이 모델은 높은 효율성과 간단한 작업을 제공하므로 초기 단계의 신생 기업에게 이상적입니다.
  • Physical 다중 테넌트는 Azure 애플리케이션 제품을 사용하여 별도의 데이터베이스, 스토리지 계정 또는 전체 배포와 같은 테넌트당 전용 리소스를 프로비전하여 더 강력한 격리를 제공합니다. 이 접근 방식은 데이터 상주 보장이 필요한 규제 산업 또는 엔터프라이즈 고객에게 일반적입니다.

대부분의 신생 기업에서는 대부분의 테넌트에 대한 논리적 격리 및 높은 가치 또는 규정 준수 기반 고객을 위한 물리적 격리와 같은 하이브리드 모델을 채택합니다. 이를 수평 분할된 배포라고도 합니다. 수평 분할 배포는 B2B 클라이언트에 테넌트 데이터 격리를 제공하면서 최소한의 애플리케이션 인프라를 허용하므로 초기 단계 시작에 최적입니다. 이렇게 하면 복잡한 데이터 분할의 필요성이 줄어들고 중복 인프라에 대한 비용이 절감됩니다.

AI 에이전트 멀티테넌시

신원 및 접근 제어

다중 테넌트에서 핵심은 ID입니다. Microsoft Entra ID(Azure AD)는 안전한 테넌트 인식 액세스 제어를 위한 기반을 제공합니다.

많은 다중 테넌트 솔루션은 SaaS로 작동합니다. 그러나 Microsoft Entra ID 또는 외부 ID를 사용하는 선택은 테넌트 또는 고객 기반을 정의하는 방법에 따라 부분적으로 달라집니다.

  • 테넌트 또는 고객이 조직인 경우 이미 Microsoft 365, Microsoft Teams 또는 자체 Azure 환경과 같은 서비스에 Microsoft Entra ID 사용할 수 있습니다. 사용자 고유의 Microsoft Entra ID 디렉터리에 multitenant 애플리케이션 만들어 솔루션을 다른 Microsoft Entra ID 디렉터리에서 사용할 수 있도록 할 수 있습니다. Azure Marketplace 솔루션을 나열하고 Microsoft Entra ID 사용하는 조직에서 액세스할 수 있도록 할 수도 있습니다.
  • 테넌트 또는 고객이 Microsoft Entra ID 사용하지 않거나 조직이 아닌 개인인 경우 익스테르날 ID 사용하는 것이 좋습니다. 외부 ID는 사용자가 등록하고 로그인하는 방법을 제어하는 기능을 제공합니다. 예를 들어 솔루션에 대한 액세스를 초대하는 사용자로만 제한하거나 셀프 서비스 등록을 사용하도록 설정할 수 있습니다. 사용자 지정 브랜딩을 사용할 수 있습니다. 사용자 고유의 직원이 로그인할 수 있도록 하려면 Microsoft Entra ID 테넌트에서 게스트 액세스를 통해 외부 ID로 사용자를 초대 수 있습니다. 외부 ID를 사용하면 다른 ID 공급자와 연동할 수도 있습니다.
  • 일부 다중 테넌트 솔루션은 두 시나리오 모두에 적합합니다. 일부 테넌트에는 고유한 Microsoft Entra ID 테넌트가 있을 수 있으며 다른 테넌트는 그렇지 않을 수 있습니다. 이 시나리오에 외부 ID를 사용하고 페더레이션을 사용하여 테넌트의 Microsoft Entra ID 디렉터리 사용자 로그인을 허용할 수 있습니다.

이 가이드( 단일 테넌트 앱을 Microsoft Entra ID 다중 테넌트로 변환: Microsoft ID 플랫폼 | Microsoft Learn)을 사용하여 Entra ID 사용하여 다중 테넌트 애플리케이션을 사용하도록 설정합니다.

데이터 및 컨텍스트 격리

에이전트는 컨텍스트 지식에 크게 의존하기 때문에 테넌트당 데이터 검색 및 포함을 격리하는 것이 중요합니다. Azure Cache for Redis, Cosmos DB, 및 Azure Storage는 테넌트별 네임스페이스 및 인덱스를 지원하지만 Azure 기밀 컴퓨팅 또는 Pivate 엔드포인트 같은 서비스는 중요한 상호 작용을 보호합니다.

RAG(검색 보강 생성)에 벡터 데이터베이스 를 사용하는 경우 시작은 고객 간의 데이터 누출을 방지하기 위해 테넌트당 벡터 네임스페이스 또는 별도의 컬렉션을 구현해야 합니다. 또한 테넌트별 크기 조정 및 청구도 간소화됩니다.

시각화, 비용 및 규모

운영 가시성은 다중 테넌트 에이전트 플랫폼의 핵심입니다.

  • Azure Monitor 및 Application Insights를 테넌트당 로그 사용량으로 확장하여 문제 해결, 성능 조정 및 사용량 기반 청구를 지원합니다.
  • Azure Container Apps 및 AKS 테넌트 부하에 따라 자동 크기 조정을 허용하여 비용 효율성을 유지합니다.
  • Microsoft 상업용 마켓플레이스 통해 수익을 창출할 때 테넌트 사용량 데이터는 자동 청구 및 보고를 위해 계량 API에 직접 공급될 수 있습니다.

중요한 이유

초기부터 다중 테넌시를 올바르게 구현하면 신생 기업들이 할 수 있는 일들:

  • 인프라를 복제하지 않고 많은 고객에게 서비스를 제공합니다.
  • 강력한 데이터 경계 및 규정 준수 제어를 적용합니다.
  • 맞춤형 격리를 사용하여 소규모 및 엔터프라이즈 테넌트를 모두 지원합니다.
  • 향후 마켓플레이스 수익 창출 및 공동 판매 준비를 간소화합니다.

요컨대, 다중 테넌트는 에이전트를 독립 실행형 프로토타입에서 platform business로 변환하여 수백 개의 조직에 안전하고 탄력적인 Azure 백본을 통해 서비스를 제공합니다.

애플리케이션 계층

애플리케이션 계층은 사용자가 채팅 인터페이스, API 또는 Microsoft Teams와 같은 도구에서의 내장된 코파일럿을 통해 에이전트와 상호 작용하는 곳입니다. 스타트업의 경우 이 계층은 고객 가치가 가시화되는 곳입니다. 오케스트레이션 논리 및 컨텍스트 인텔리전스를 테넌트 전체에서 응답성, 개인 설정 및 보안을 느끼는 사용자 환경 으로 변환합니다.

Azure 애플리케이션 계층은 두 가지 중요한 역할을 수행합니다.

  1. 테넌트별 요청 및 ID 유효성 검사를 위한 게이트웨이 역할을 합니다.
  2. 사용자, 개발자 및 외부 시스템이 상호 작용하는 환경 계층 을 정의합니다.

Tenant-Aware 애플리케이션 경계

애플리케이션 계층은 요청을 하는 테넌트와 액세스 권한이 있는 데이터 또는 기능을 완전히 알고 있어야 합니다. Azure 다음과 같은 몇 가지 서비스를 제공합니다.

  • Azure Front Door 또는 API Management(APIM)는 전역 진입점으로 작동하여 테넌트별 환경 또는 함수에 요청을 라우팅할 수 있습니다.
  • Entra ID 인증 및 권한 부여를 처리하여 사용자 및 서비스 토큰이 올바른 테넌트 컨텍스트에 매핑되도록 합니다.
  • Azure App Configuration 및 Key Vault 테넌트별 구성, API 키 및 환경 비밀을 관리합니다.

이러한 경계를 통해 각 테넌트는 동일한 에이전트 플랫폼을 경험하지만 자체 보안 논리 샌드박스 내에서 데이터 크로스오버를 방지하고 엔터프라이즈급 규정 준수를 유지하는 데 중요한 단계입니다.

다중 채널 배달

최신 에이전트 환경은 단일 채팅 UI를 넘어 확장됩니다. 신생 기업에서는 여러 배달 채널을 통해 에이전트를 노출할 수 있습니다.

  • 작업 공간 협업 및 대화형 프로세스를 위한 Teams 코파일럿 및 메시지 확장.
  • Web 및 Mobile Apps React 또는 React Native와 같은 프레임워크를 사용하여 빌드되며 Azure App Service 또는 Static Web Apps 호스트됩니다.
  • API 엔드포인트 Entra ID 또는 APIM으로 보호되므로 고객 시스템과 프로그래밍 방식으로 통합할 수 있습니다. 종종 Azure Functions 사용하여 빌드됩니다.

Azure ID 계층은 서로 다른 백 엔드 서비스에 연결하는 경우에도 이러한 모든 인터페이스가 통합 인증 및 권한 부여 모델을 공유하도록 합니다. 이러한 일관성을 통해 스타트업은 하나의 에이전트 코어를 유지하면서 고객 또는 사용 사례별로 사용자 지정된 프런트 엔드를 제공할 수 있습니다.

상태 관리 및 세션 컨텍스트

에이전트 애플리케이션에서 세션은 종종 여러 상호 작용 및 형식을 연결합니다. 예를 들어 사용자는 Teams에서 대화를 시작하고, API를 통해 계속하며, 웹 대시보드에서 인사이트를 검토할 수 있습니다.

일관성을 유지하려면 다음을 수행합니다.

  • Azure Cosmos DB 또는 Azure Cache for Redis 테넌트당 세션 상태 및 대화 컨텍스트를 유지할 수 있습니다.
  • Durable Functions 분산 구성 요소 간에 에이전트 추론 단계를 추적하는 장기 실행 워크플로를 사용하도록 설정합니다.
  • Event Grid 또는 Service Bus 사용자 또는 시스템이 업데이트를 트리거할 때 모듈 간에 컨텍스트와 신호를 전파할 수 있습니다.

이 세션 인식 디자인을 통해 에이전트는 각 상호 작용 모드에 대한 워크플로를 하드코딩하지 않고도 지속적이고 상황에 맞는 지능을 느낄 수 있습니다.

원격 분석 및 경험 통찰

또한 애플리케이션 계층은 스타트업이 고객이 에이전트와 참여하는 방식에 대한 인사이트를 얻는 곳입니다.

  • Application Insights는 상호 작용 메트릭, 대기 시간 및 사용자 만족도 신호를 캡처합니다.
  • 사용자 지정 로깅은 의도 성공률, 완료 시간 또는 피드백 루프를 추적하여 오케스트레이션 품질을 지속적으로 향상시킬 수 있습니다.
  • 신생 기업에서는 테넌트별로 원격 분석을 집계하여 사용량 기반 가격 책정 또는 SLA 보고를 추진할 수 있습니다. 이 데이터는 수익 창출을 위한 마켓플레이스 계량에도 공급됩니다.

중요한 이유

애플리케이션 계층은 에이전트 플랫폼의 고객 환경 화면을 정의합니다. 처음부터 테넌트 인식, 채널 유연성 및 데이터 보안으로 설계함으로써 신생 기업에서는 다음을 수행할 수 있습니다.

  • Teams, 웹 및 API 간에 일관되고 신뢰할 수 있는 상호 작용을 제공합니다.
  • 엔터프라이즈급 ID, 감사 및 규정 준수 요구 사항을 지원합니다.
  • 에이전트 추론 및 성능을 향상시키는 중요한 인사이트를 수집합니다.
  • 사용량 원격 분석 및 계량을 통해 향후 마켓플레이스 수익화를 활성화합니다.

기본적으로 애플리케이션 계층은 제품 디자인, 보안 및 사용자 환경이 수렴되는 에이전트 인텔리전스의 현관문 입니다.

에이전트 워크플로에 대한 사용자 인터페이스 통합

애플리케이션 계층은 에이전트가 API를 노출하고 액세스를 관리하는 방법을 정의하지만 사용자 인터페이스 통합 은 최종 사용자가 에이전트를 경험하는 방법을 정의합니다. 신생 기업에게 이것은 강력한 레버입니다. Microsoft Teams, Outlook 및 Microsoft 365 앱 같은 기존 협업 및 워크플로 화면에 에이전트를 포함하면 채택 주기를 단축하고 고정성을 높일 수 있습니다.

Microsoft Teams에서 구축하기

Teams는 엔터프라이즈급 에이전트를 위한 자연스러운 인터페이스입니다. Teams 앱을 통해 스타트업은 채팅, 모임 및 채널에 에이전트를 직접 포함할 수 있으므로 사용자가 이미 작업 중인 에이전트와 상호 작용할 수 있습니다.

  • 봇 및 메시지 확장을 사용하면 보안 API를 통해 에이전트의 오케스트레이션 계층에 직접 연결하는 대화형 상호 작용 또는 빠른 작업을 수행할 수 있습니다.
  • 적응형 카드 및 태스크 모듈은 구조화된 출력을 제공하여 안내된 워크플로 및 승인을 가능하게 할 수 있습니다.
  • Teams 내에서 SaaS 또는 Azure 앱 제품 링크를 사용하면 Azure Marketplace 목록에 연결된 수익 창출 환경을 사용할 수 있습니다.
  • Entra ID 통합 Single Sign-On 및 테넌트 수준 액세스 제어를 보장하여 조직 전체에서 다중 테넌트 배포를 간소화합니다.

Teams는 배포 채널 및 신뢰 계층의 역할을 하며, Microsoft 보안 모델 하에서 엔터프라이즈 워크플로와 AI 시스템을 연결합니다. M365 에이전트 도구 키트는 M365 제품군의 Teams 및 기타 제품과 통합할 수 있도록 엔터프라이즈 지원 에이전트 빌드를 간소화하는 데 사용할 수 있습니다. Toolkit는 Copilot 및 Teams와 같은 Microsoft 365 플랫폼용 사용자 지정 에이전트 빌드, 디버깅 및 배포를 간소화하는 Visual Studio Code 확장 및 CLI입니다. 매니페스트 관리, 사이드로드 및 Azure 리소스 프로비저닝과 같은 작업을 자동화하여 개발자가 통합 ID 및 데이터 액세스를 사용하여 선언적 또는 프로 코드 에이전트를 만들 수 있습니다.

Microsoft 365 환경에 포함

신생 기업이 Teams 외에도 광범위한 M365 에코시스템에서 에이전트를 확장할 수 있습니다.

  • Outlook 추가 기능 전자 메일에서 사전 또는 사후 지원을 허용합니다(예: 스레드 요약 또는 후속 작업 생성).
  • Graph Connectors는 구조적 데이터를 M365 검색 및 Copilot 환경에 공급하여 에이전트의 범위를 회사 지식으로 확장할 수 있습니다.

스타트업은 M365 플랫폼과 통합하여 Microsoft Graph API를 활용함으로써, 메시지, 일정 이벤트, 문서 및 작업을 하나로 모아 에이전트가 사용자의 작업 환경을 맥락적으로 인식하게 할 수 있습니다.

기타 인터페이스 옵션

외부 또는 하이브리드 시나리오의 경우 신생 기업이 다음을 통합할 수도 있습니다.

  • 웹 앱 또는 포털은 Azure App Service 또는 Static Web Apps로 빌드되며, 종종 관리 콘솔이나 대시보드로 사용됩니다.
  • 모빌 앱 React Native 또는 .NET MAUI 통해 구동되며 Entra ID 통해 인증되고 API Management를 통해 연결됩니다.
  • 타사 통합은 REST 또는 Microsoft Graph API를 사용하여 Slack, Salesforce 또는 ServiceNow와 함께, 에이전트가 다양한 에코시스템 간에 상호 작용할 수 있도록 보장합니다.

환경 및 보안을 위한 디자인

인터페이스에 관계없이, 스타트업은 다음을 위해 설계해야 합니다.

  • 맥락적 기반을 통해 에이전트가 Microsoft Graph 또는 내부 API에서 관련 테넌트나 사용자 데이터를 당겨올 수 있습니다.
  • 원활한 사용자 환경을 위해 Entra Single Sign-On 또는 위임된 토큰을 사용하는 낮은 마찰 인증
  • 에이전트 상호 작용이 각 호스트 환경 내에서 자연스럽게 느껴지도록 일관된 UX 및 브랜딩

에이전트를 Microsoft 365 에코시스템에 통합하는 것은 단지 편의에 관한 것이 아닙니다. 사용자가 작업하는 환경에 맞추고 AI 솔루션을 별도의 사일로 앱이 아닌 생산성 도구와 자연스럽게 통합되는 확장으로 만드는 것입니다.

오케스트레이션 계층

애플리케이션 계층이 에이전트 플랫폼의 현관인 경우 오케스트레이션 계층 은 일관성 있고 상황에 맞는 결과를 제공하기 위해 추론, 도구 및 워크플로를 조정하는 브레인입니다. 이것이 바로 인텔리전스가 행동을 충족하는 곳입니다.

오케스트레이션 계층은 사용자 의도(앱 계층)를 도메인 논리, 데이터 및 외부 시스템에 연결합니다. 에이전트 스타트업의 경우 프런트 엔드에서 복잡성을 추상화하면서 유연성, 확장성 및 관찰 가능성의 균형을 맞추는 아키텍처의 가장 전략적 부분입니다.

오케스트레이션 계층의 핵심 함수

오케스트레이션 계층은 일반적으로 5가지 주요 책임을 수행합니다.

  1. 의도 해석: 사용자 프롬프트 또는 API 호출을 구조화된 작업 또는 목표로 변환
  2. 컨텍스트 어셈블리: 추론 모델을 호출하기 전에 관련 데이터, 메모리 또는 도구 검색
  3. 도구 호출: 에이전트를 대신하여 API 호출, 워크플로 또는 통합 실행
  4. 응답 합성: 추론 출력을 도메인 논리와 결합하여 의미 있는 회신을 생성합니다.
  5. 관찰 및 학습: 지속적인 개선을 위한 결과, 오류 및 메트릭 로깅

기업의 경우 이러한 기능은 단일 모놀리식이 아닌 마이크로 오케스트레이션의 파이프라인으로 모델링할 수 있습니다. 그러나 신생 기업에서는 이전 단계에서 더 많은 모놀리식 디자인 패턴을 활용하여 속도와 단순성을 최적화하는 경향이 있습니다.

Azure에서 구현

Azure 오케스트레이션 논리를 빌드하고 크기 조정하기 위한 기본 기반을 제공합니다.

  • Azure Functions 특정 추론 또는 작업 흐름을 실행하는 상태 비정상 컴퓨팅 노드 역할을 합니다. 각 함수는 특정 테넌트, 토픽 또는 이벤트 유형에 바인딩될 수 있습니다.
  • Durable Functions 추론 루프, 에이전트 협업 또는 다중 턴 워크플로에 적합한 장기 실행 또는 다단계 오케스트레이션 패턴을 사용하도록 설정합니다.
  • Azure Service Bus 오케스트레이션 구성 요소 간에 안정적이고 순서가 지정된 메시지 배달을 제공하므로 분산 서비스에서 결정적 실행에 필수적입니다.

이러한 서버리스 기본 형식을 사용하면 신생 기업이 간단한 요청-응답 에이전트에서 사용자 및 시스템 컨텍스트에 동적으로 적응 하는 반응형 이벤트 기반 AI 시스템으로 발전할 수 있습니다.

AI 추론 및 도구 사용

오케스트레이션 계층의 핵심에는 GPT-5 또는 기타 Azure 직접 모델 제품 같은 Azure OpenAI 모델이 제공하는 추론이 있습니다.

이러한 모델은 모놀리식 브레인이 아니라 구조화된 파이프라인 내 의 추론 노드 로 가장 잘 사용됩니다.

  • 시스템 프롬프트 및 함수 호출을 사용하여 추론 모델을 제어된 방식으로 안내합니다.
  • 각 에이전트 인스턴스가 동적으로 쿼리할 수 있는 중심 도구 레지스트리(예: Cosmos DB 또는 Azure App Configuration)에 도구 정의 및 엔드포인트 메타데이터를 저장합니다.
  • 에이전트가 자격 증명을 포함하지 않고 안전하게 Azure 또는 외부 API를 호출할 수 있도록 관리 ID 통해 높은 권한의 작업을 실행합니다.

모델이 결정하는 사항을 실행이 이루어지는 방식과 분리함으로써 추론 프로세스에 대한 보안 격리와 관찰성을 모두 확보할 수 있습니다.

컨텍스트 어셈블리 및 메모리 조정

추론은 제공된 컨텍스트만큼만 좋습니다. 오케스트레이션 계층은 모델 호출 전에 여러 원본에서 이 컨텍스트를 어셈블합니다.

이 방법을 사용하면 컨텍스트 인식 추론을 사용할 수 있습니다. 고급 에이전트 시스템의 특징입니다.

관찰 가능성 및 피드백 루프

에이전트가 대규모 환경에서 신뢰할 수 있고 디버깅하기 쉬운 상태를 유지하려면, 오케스트레이션 계층은 상세한 원격 분석 데이터를 제공해야 합니다.

  • Azure 애플리케이션 Insights는 모든 추론 단계, 모델 호출 및 API 실행을 추적할 수 있습니다.
  • Azure Monitor 로그 테넌트, 의도 또는 도구 사용량별로 에이전트 성능을 추적할 수 있습니다.
  • 피드백 신호(예: 사용자 수정 또는 성공률)는 AI 계층의 미세 조정 또는 프롬프트 최적화 파이프라인에 공급할 수 있습니다.

중요한 이유

오케스트레이션 계층은 에이전트를 능동적으로 계획, 결정 및 행동할 수 있게 합니다.
Azure 이벤트 기반 및 서버리스 인프라를 사용하여 이 계층을 구현하면 신생 기업이 다음을 수행할 수 있습니다.

  • 테넌트 또는 워크로드당 동적으로 오케스트레이션 크기를 조정합니다.
  • 도구 액세스 및 추론 컨텍스트에 대한 세분화된 제어를 사용하도록 설정합니다.
  • 규정 준수 및 디버깅을 위해 추적 가능한 생각 체인을 유지 관리합니다.
  • 새 도구, 채널 또는 동작을 사용하여 에이전트를 신속하게 확장합니다.

즉, 오케스트레이션 계층은 Azure를 지능형 에이전트를 위한 실행 구조로 변환하여, 여기서 추론, 도구 및 컨텍스트가 원활하게 수렴됩니다.

컨텍스트 계층

컨텍스트 계층은 에이전트가 이해할 수 있는 위치입니다. 추론을 실제 지식과 연결하여 응답이 정확하고 관련성이 있으며 테넌트별인지 확인합니다. 잘 디자인된 컨텍스트 계층이 없으면 가장 고급 추론 모델조차도 신뢰할 수 없거나 일반화될 위험이 있습니다.

신생 기업에게 이 계층은 경쟁적인 차별화 요소입니다. 에이전트를 진정으로 유용하게 만들기 위해 독점 데이터, 고객 인사이트 및 시스템 통합이 수렴되는 곳입니다. 문제는 사용 사례 및 고객 간에 안전하고 다중 테넌트이며 동적으로 구성할 수 있도록 설계하는 것입니다.

에이전트 시스템에서 컨텍스트의 역할

AI 에이전트의 인텔리전스는 모델뿐만 아니라 추론 시 알고 있는 내용에 따라 달라집니다. 컨텍스트는 다음 세 가지 필수 용도로 사용됩니다.

  1. 지식 접지: 팩트, 데이터 및 구조적 비즈니스 논리를 사용하여 모델 응답 보강
  2. 메모리: 대화, 워크플로 또는 세션 간에 연속성 유지 관리
  3. 검색 및 합성: 관련 데이터를 실시간으로 페치, 필터링 및 요약합니다.

이러한 함수는 함께 무상태 모델을 모든 상호 작용을 통해 학습하고 적응하는 상태 저장 추론 시스템으로 바꿉니다.

Azure 컨텍스트 구성

Azure 강력한 다중 계층 컨텍스트 스택으로 구성할 수 있는 여러 서비스를 제공합니다.

  • Azure AI 검색: RAG(검색 보강 세대)의 기초입니다. 구조화되고 구조화되지 않은 데이터를 인덱싱하여 에이전트가 쿼리 시 테넌트별 지식을 끌어올 수 있도록 합니다.
  • Cosmos DB: 테넌트당 반구조화된 도메인 지식, 도구 메타데이터 및 구성을 저장하는 데 적합합니다.
  • Azure Storage 또는 데이터 레이크: 장기 문서 스토리지 및 일괄 처리 인덱싱 파이프라인에 사용됩니다.
  • Redis Cache 또는 PostgreSQL: 단기 및 세션 메모리를 지원하여 대화 간에 컨텍스트 연속성을 사용하도록 설정합니다.
  • Azure OpenAI Embeddings: 테넌트 데이터의 의미 체계 벡터화를 사용하도록 설정하고 컨텍스트 검색에 대한 유사성 검색을 지원합니다.

함께 오케스트레이션되는 경우 이러한 서비스는 계층적 메모리 시스템을 형성하여 장기 접지용 더 깊은 검색 계층과 빠른 액세스 캐시를 결합합니다.

다중 테넌트 데이터 격리

신생 기업에서 지식 경계를 명확하게 구분하는 컨텍스트 시스템을 설계해야 합니다.

이 아키텍처는 규정 준수를 보장하고 테넌트 간 데이터 유출을 방지하는 데 도움이 됩니다. 엔터프라이즈 신뢰에 중요합니다.

검색 보강 추론

런타임에 컨텍스트 계층은 RAG 파이프라인을 사용하여 동적 지식으로 프롬프트를 보강합니다. 일반적인 흐름은 다음과 같습니다.

  1. 오케스트레이션 계층에서 사용자 쿼리 또는 의도를 수신합니다.
  2. 관련 문서에 대해 Azure AI 검색 의미 체계 검색을 실행합니다.
  3. 지원 팩트 또는 도구 정의를 검색합니다.
  4. 검색된 컨텍스트를 사용하여 복합 프롬프트를 생성합니다.
  5. 추론 모델(예: GPT-4 Turbo)에 보강된 프롬프트를 보냅니다.

지식 검색을 외부화함으로써 신생 기업은 모델 프롬프트를 경량화하여 최신의 테넌트별 기반 지식을 확보할 수 있습니다.

적응 동작을 위한 메모리 시스템

검색 외에도 컨텍스트에는 에이전트가 발전할 수 있는 메커니즘인 단기 및 장기 메모리가 포함됩니다.

  • 지식: 에이전트 동작을 근거로 하는 정적 데이터(RAG라고 생각).
  • 장기 메모리: 경험 및 상호 작용을 통해 에이전트에 의해 누적된 의미 체계 메모리입니다. 이는 시간이 지남에 따라 개인 설정 및 향상된 사용자 환경을 지원합니다.
  • 단기 메모리: 세션 내에서 컨텍스트 관리를 위한 작업 메모리입니다. 이는 세션 지속성 및 다중 에이전트 솔루션에 매우 중요합니다.

이 계층화된 메모리 접근 방식을 사용하면 에이전트가 모델을 다시 학습하지 않고도 시간이 지남에 따라 동작을 조정할 수 있습니다.

관찰 가능성 및 비용 관리

컨텍스트 검색 및 벡터 검색은 특히 대규모 테넌트 데이터 세트의 경우 대규모로 비용이 많이 들 수 있습니다. Azure 다음을 통해 이를 관리하는 데 도움이 됩니다.

  • Search 계층 및 크기 조정을 데이터 크기와 쿼리 로드에 맞추기 위해 Azure AI 검색에서 사용하십시오.
  • 콜드 데이터를 보관하여 스토리지 비용을 최적화하기 위한 증분 인덱싱입니다.
  • Application Insights 원격 분석을 사용하여 쿼리당 대기 시간, 회수 품질 및 비용을 모니터링합니다.

신생 기업에서는 고주파 검색을 캐시하거나, 포함을 압축하거나, 문서 수집을 일괄 처리하여 비용을 더욱 최적화할 수 있습니다.

컨텍스트 계층이 중요한 이유

컨텍스트 계층은 신뢰할 수 있는 인텔리전스의 기초입니다. 이렇게 하면 에이전트가 환각되지 않고, 고객 데이터에 기반을 두고, 실제 사용량과 함께 진화합니다. Azure 네이티브 서비스를 사용하여 구현하면 신생 기업이 다음을 얻습니다.

  • 보안 및 테넌트 격리된 지식 액세스.
  • 확장 가능한 검색 및 메모리 관리.
  • 사용자와 컨텍스트에 걸쳐 일관된 사실에 기반한 추론입니다. 올바르게 설계된 경우 이 계층은 대화형 시스템에서 지식 이 있는 도우미로 에이전트를 변환하여 각 테넌트의 비즈니스를 자체적으로 이해할 수 있습니다.
  • Last updated on