모니터링, 피드백 및 지원 증거를 사용하여 플러그 인 또는 에이전트를 수정, 업데이트, 인계 또는 사용 중지할지 여부를 결정합니다. 릴리스 전에 변경 내용을 테스트하고 의도한 사용자와 결과를 확인합니다.
빌더는 솔루션을 유지 관리하고 테스트합니다. Microsoft 365 관리자는 필요한 경우 조직 롤아웃 및 액세스 작업을 완료합니다. 서비스 소유자는 사용하는 커넥터, 원격 MCP 서버, ID 및 외부 서비스를 유지 관리합니다. 이러한 책임은 자동으로 함께 이전되지 않습니다.
작업 선택
수행해야 하는 작업에 대한 섹션을 사용합니다. 모니터링, 지원, 인계 및 사용 중지에서는 업데이트 워크플로를 따를 필요가 없습니다.
| 실행할 작업 | 다음으로 시작 |
|---|---|
| 채택, 피드백 또는 작업 결과 검토 | 사용량 및 작업 결과 모니터링 |
| 사용자 문제 조사 | 사용자 지원 및 문제 조사 |
| 솔루션 변경 및 릴리스 | 플러그인 또는 에이전트 업데이트 |
| 유지 관리 책임 이전 | 소유권 및 지원 전달 |
| 배포 또는 액세스 종료 | 플러그 인 또는 에이전트 사용 중지 |
시작하기 전에
식별:
- 현재 플러그 인 또는 에이전트 ID 및 버전입니다.
- 영향을 받는 사용자 및 Microsoft 365 환경.
- 작업과 관련된 모든 연결 또는 서비스를 담당하는 소유자입니다.
독립 실행형 에이전트의 경우 작성 제품에서 지원하는 모니터링 및 릴리스 절차를 사용합니다. 플러그 인 패키지 프로시저가 적용된다고 가정하지 마세요.
사용량 및 작업 결과 모니터링
보고 기간, 버전, 대상 그룹 및 대표 작업을 선택합니다. 활동을 소유하는 제품에 대한 모니터링 환경을 사용합니다.
| 모니터링 중인 항목 | 시작 위치 | 유의해야 할 범위 |
|---|---|---|
| 에이전트 작성기에서 기본 제공되는 에이전트 | 에이전트 작성기에서 에이전트 모니터링 | 에이전트의 모니터 탭에서는 사용법 및 피드백을 다룹니다. 피드백 표시 여부에는 별도의 필수 구성 요소가 있습니다. |
| 표준 하네스를 사용하는 Copilot Studio 에이전트 | Copilot Studio에서 에이전트 성능 모니터링 | 해당 에이전트에 대해 지원되는 분석을 사용합니다. 에이전트 작성기 또는 다른 빌드 경로에 동일한 보고서가 있다고 가정하지 마세요. |
| 플러그 인 액세스, 사용자 작업 및 오류 | 플러그인 모니터링 | 패키지 가용성, 대표적인 작업 결과, 사용자 피드백 및 지원 사례를 확인합니다. |
| Microsoft 365 사용 현황 및 감사 활동 | 검사할 항목 선택 | 각 보고서를 다루는 활동에 사용합니다. 감사 이벤트는 작업이 성공했는지 또는 응답이 올바른지 여부를 설정하지 않습니다. |
| 커넥터 또는 원격 MCP 서비스 | 오류 및 서비스 모니터링 지침 조사 | 서비스 소유자와 연결 상태, 원본 권한, 엔드포인트 상태, 로그 및 오류를 확인합니다. 패키지 가용성이 런타임 상태를 입증하지는 않습니다. |
원격 분석 또는 보고서 범위가 플러그 인 및 에이전트 빌드 경로에서 공유된다고 가정하지 마세요. 포함된 에이전트의 보고서는 해당 에이전트를 다루지만 플러그인의 모든 기능을 다룰 필요는 없습니다.
채택, 작업 성공, 응답 품질, 로그인 또는 도구 실패의 변화를 기록하고 사용 가능한 증거가 이러한 결론을 뒷받침하는 지원 볼륨을 기록합니다. 대표적인 작업과 사용자 피드백, 사용 횟수를 비교합니다.
사용자 지원 및 문제 조사
각 문제에 대해 영향을 받는 버전, 제품, 대상 그룹, 예상 결과, 관찰된 결과 및 관련 오류 세부 정보를 캡처합니다. 소유자 및 다음 작업 할당
- 관리자에게 가용성, 설치, 정책 또는 보류 중인 액세스 요청을 조사하도록 요청합니다.
- 빌더 또는 에이전트 소유자에게 지침, 지식, 도구 선택 또는 회귀를 조사하도록 요청합니다.
- ID, 연결 또는 서비스 소유자에게 인증, 동의, 원본 액세스 및 런타임 오류를 조사하도록 요청합니다.
API 또는 MCP 작업 로그인 실패의 경우 플러그인 인증 문제 해결을 사용합니다. 작업 및 종속성 확인의 경우 실패 조사를 사용합니다.
영향을 받는 사용자에게 수정 사항을 확인하고 결과를 기록합니다. 수정된 구성 또는 성공적인 도구 호출 자체가 사용자의 전체 작업이 현재 작동한다는 것을 설정하지는 않습니다.
플러그인 또는 에이전트 업데이트
솔루션을 변경해야 하는 경우 이 워크플로를 따릅니다. 구성된 플러그인의 패키지 단계를 사용합니다. 독립 실행형 에이전트에 대해 작성 제품의 릴리스 절차를 사용합니다.
업데이트하기 전에
보유:
- 증거, 사용자 피드백, 지원 사례 또는 계획된 개선 사항 모니터링.
- 대표 작업 및 수용 기준.
- 원본 및 영향을 받는 기능에 대한 액세스.
- 현재 버전, 대상 그룹 및 배포 경로를 포함한 게시 레코드입니다.
- 연결, ID 또는 서비스 변경 내용의 소유자입니다.
기준 설정
- 해결하려는 문제나 개선 사항을 설명하세요.
- 영향을 받는 패키지 또는 에이전트 버전, 사용자, 환경, 기능 및 종속성을 식별합니다.
- 대표적인 작업과 측정 가능한 수용 기준을 정의합니다.
- 현재 버전에 대해 작업을 실행하고 결과를 기록합니다.
- organization에서 플러그인을 관리하는 경우 에이전트>도구> 플러그인에 현재 상태, 사용자 가용성 및 설치 상태를 기록합니다. 에이전트의 적용 가능한 컨트롤의 경우 에이전트>모든 에이전트레지스트리를 사용합니다.>
- 현재 동작과 업데이트된 동작을 비교하는 데 필요한 증거를 유지합니다.
에이전트가 포함된 플러그인의 경우 에이전트 평가 개요 를 사용하여 응답 품질, 지침, 지식 또는 도구 사용이 변경의 일부인 경우 평가를 설계합니다. 평가는 릴리스 전 증거를 제공하고 사용 신호, 사용자 피드백 또는 에이전트 및 종속성 변경으로 인해 제기된 문제를 포함하여 배포 후 품질 문제를 조사하는 데 도움이 될 수 있습니다.
모든 플러그 인에 에이전트 평가가 필요한 것은 아닙니다. 기능 테스트, 패키지 유효성 검사 또는 전체 사용자 환경 테스트를 대체하지는 않습니다.
배포된 선언적 에이전트의 경우 단계별 wiqd agent eval 워크플로를 사용합니다. 직접 명령줄 또는 파이프라인 제어는 Microsoft 365 Copilot 평가 CLI 개요를 참조하세요.
변경 내용 적용 및 테스트
기능, 통합 또는 소스를 변경해야 하는 경우 빌드 또는 다시 사용 으로 돌아갑니다. 릴리스 후보를 준비하고 유효성을 검사해야 하는 경우 패키지 & 테스트 로 돌아갑니다. 영향을 받는 종속성과 지원되는 환경을 scope에 유지합니다.
- 원본 또는 영향을 받는 기능을 업데이트합니다.
- 변경에 따라 별도로 운영되는 서비스 또는 구성을 업데이트합니다.
- 변경된 각 기능과 영향을 받는 종속성을 테스트합니다.
- 기준 작업 및 평가를 다시 실행합니다.
- 결과를 수용 기준과 비교합니다.
- 릴리스 패키지를 만들기 전에 회귀를 조사합니다.
변경 내용이 커넥터, 원격 MCP 서버, ID, 권한 또는 외부 서비스에 영향을 미치는 경우 해당 종속성의 소유자가 관련됩니다. 패키지를 변경한다고 해서 별도로 운영되는 서비스가 업데이트된다고 가정하지 마세요.
패키지 만들기 및 유효성 검사
독립 실행형 에이전트의 경우 작성 제품의 버전 관리, 테스트 및 게시 지침을 따릅니다. 다음 패키지 단계는 구성된 플러그인에 적용됩니다.
- 새 패키지 버전을 할당하고 게시 방법에 대한 ID 요구 사항을 검사합니다.
- 플러그인 패키지를 만듭니다.
- 릴리스하려는 정확한 패키지의 유효성을 검사하고 테스트합니다.
- 필요한 로그인, 동의, 연결 및 외부 서비스를 테스트합니다.
- 지원하려는 모든 Microsoft 365 환경에서 패키지를 테스트합니다.
- 알려진 제한 사항, 필수 구성 및 문서화된 복구 옵션을 기록합니다.
유효성을 검사한 패키지와 다른 패키지는 게시하지 마세요.
업데이트 게시 및 롤아웃
제품 및 배포 경로에 대한 업데이트 절차를 선택합니다. 게시 경로는 공유, organization 제출 및 Marketplace 게시를 구분합니다.
| 배포 경로 | 문서화된 지침 또는 제한 사항 | 누가 행동하는가 |
|---|---|---|
| Cowork를 통해 공유된 플러그인 | 이미 공유된 플러그인의 최신 버전에 대해 문서화된 업로드 및 재공유 절차를 따르세요. 이 절차는 일반 레지스트리 교체가 아닌 Cowork 공유에 적용됩니다. | 플러그 인 소유자 |
| Work IQ Dev 도구를 통한 조직 앱 카탈로그 제출 | 다음 단계를 따르세요. 승인된 업데이트를 organization 앱 카탈로그에 제출합니다. 릴리스 대상의 기존 ID 및 환경 상태를 유지하고, 업데이트된 릴리스를 테스트하고, 제출하고 wiqd plugin publish, 관리자 승인을 얻습니다. |
플러그 인 소유자 및 관리자 |
| 수동 레지스트리 업로드 또는 다른 직접 공유 방법 | 릴리스 전에 제품별 기존 항목 업데이트 절차를 확인합니다. 이 문서에서는 수동 도구 레지스트리 패키지 교체 단계를 제공하지 않습니다. 새 업로드가 기존 항목을 대체하거나 가용성 설정을 유지한다고 가정하지 마세요. | 플러그 인 소유자 및 관리자 |
| Microsoft Marketplace | 게시된 제품에서 사용하는 제품 유형에 대한 업데이트 지침을 따릅니다. Microsoft Marketplace에 플러그인 게시에서 연결된 파트너 센터 지침으로 시작합니다. 고객을 업데이트로 안내하기 전에 필요한 모든 검토 및 게시를 완료합니다. | 게시자 및 고객 관리자(필요한 경우) |
WIQD 업데이트의 경우 설정된 리소스 및 게시 ID를 유지합니다. 재프로비저닝은 기존 환경 ID를 사용하며 카탈로그 승인 전에 현재 사용자가 사용하는 자원을 변경할 수 있습니다. 이러한 효과를 염두에 두고 변경 내용을 테스트합니다. 프로젝트의 게시 수명 주기를 기존 프로젝트에 대한 WIQD 지침과 비교합니다. CLI를 업데이트해도 프로젝트 파일은 업데이트되지 않습니다.
wiqd plugin publish는 캡처된 ZIP이 아닌 프로젝트 및 환경을 제출합니다.--package-file 승인된 소스 및 환경 상태를 제출 후에도 수정된 상태로 유지하고 제출된 버전을 확인합니다. 패키지 유효성 검사만으로는 게시가 해당 정확한 바이트를 제출한다는 것을 증명할 수 없습니다.
문서화된 업데이트 절차가 있는 경로의 경우:
- 테스트한 버전에 대해 확인된 게시 또는 공유 절차를 사용하고 제출, 게시, 공유, 거부 또는 차단 여부를 기록합니다.
- 관리자 또는 롤아웃 소유자에게 정확한 버전, 의도한 사용자, 필요한 구성, 알려진 제한 사항 및 지원 연락처를 제공합니다.
- 업데이트된 플러그 인 또는 에이전트를 사용할 수 있도록 해당 단계만 완료합니다. 승인, 할당 및 설치 요구 사항은 방법 및 organization 설정에 따라 달라집니다.
- 필요한 경우 별도로 제어되는 에이전트, 연결, ID, 원격 MCP 서버 또는 외부 서비스를 업데이트합니다.
- 각 대상에 도달한 버전을 확인합니다.
롤백을 가정하지 않고 복구 계획
관리자는 Microsoft 365 관리 센터에서 플러그 인을 차단하고 차단 해제할 수 있습니다. 플러그 인의 차단 해제 작업을 사용하여 차단을 제거한 다음 의도한 사용자의 액세스를 확인합니다. 다른 가용성, 설치, 사용 권한 및 연결 요구 사항은 계속 적용됩니다. 차단을 해제해도 이전 패키지 버전이 복원되거나 서비스 변경 내용이 취소되지 않습니다.
현재 지침에는 일반적인 플러그 인 패키지 버전 롤백 절차가 나와 있지 않습니다. 제품별 롤백 작업은 해당 제품이 문서화하는 경우에만 사용합니다.
릴리스하기 전에 문서화된 복구 옵션 및 해당 필수 구성 요소를 기록하거나 프로시저 간격과 롤아웃 실패에 대한 책임이 있는 소유자를 기록합니다.
패키지를 교체해도 외부 서비스, 연결, ID, 데이터 또는 권한 변경 내용이 자동으로 복원되지는 않습니다. 이러한 종속성을 별도로 계획합니다.
업데이트 확인
- 지원되는 각 환경에서 의도한 사용자와 함께 대표 작업을 테스트합니다.
- 사용자가 예상한 버전을 받았는지 확인합니다.
- 로그인, 동의, 연결, 도구 호출 및 외부 서비스가 작동하는지 확인합니다.
- 플러그인이 organization에서 관리되는 경우 플러그인의 상태, 사용자 가용성 및 설치 상태가 에이전트>도구> 플러그인의 의도한 대상 그룹과 일치하는지 검사합니다. 아직 사용 중인 대체된 버전이 있는지 확인합니다.
- 변경을 승인하는 데 사용되는 평가를 반복합니다.
- 롤아웃 후 사용 신호, 피드백, 오류 및 지원 사례를 검토합니다.
- 업데이트가 수용 기준에 실패하면 출시를 일시 중지하고, 실패를 기록하고, 책임 있는 소유자를 참여시킵니다. 복구 작업은 제품이 문서화한 경우에만 사용합니다.
대상 그룹에 올바른 버전이 있고, 액세스 설정이 의도한 출시와 일치하고, 대표 작업이 수락 기준을 충족하고, 해결되지 않은 모든 문제에 소유자와 다음 작업이 있는 경우 업데이트가 완료됩니다.
업데이트 기록
기록:
- 이전 및 업데이트된 패키지 또는 에이전트 버전.
- 변경, 이유, 영향을 받는 기능 및 종속성.
- 기준선, 평가, 유효성 검사 및 사용자 테스트 결과.
- 게시 방법, 대상 그룹, 출시 상태 및 적용 가능한 레지스트리 상태입니다.
- 구성 또는 서비스 변경.
- 알려진 제한 사항, 문서화된 복구 옵션 또는 절차 간격, 지원 소유자.
소유권 및 지원 전달
현재 소유자가 역할을 떠나기 전에 다음 소유자에게 다음을 지정합니다.
- 원본, 패키지 또는 에이전트 ID, 현재 버전, 릴리스 레코드 및 게시 경로입니다.
- 모니터링 위치, 대표 테스트, 알려진 문제 및 공개 지원 사례.
- 대상 그룹, 관리 연락처, 필수 연결 및 외부 서비스 소유자입니다.
- 공백을 포함하여 문서화된 업데이트, 복구 및 사용 중지 절차.
에이전트 빌더 또는 Copilot Studio에 빌드된 공유 에이전트의 경우 해당 절차가 적용되는 경우 에이전트에 새 소유자 할당을 사용합니다. 에이전트 빌더는 소유자 추가도 지원합니다. 변경하기 전에 이전 소유자의 액세스에 미치는 영향을 검토하세요.
이는 외부 플러그인 패키지에 대한 일반적인 이전 절차가 아니라 에이전트 소유권 절차입니다. 원본 액세스, 게시 액세스, 연결, 자격 증명 및 서비스 책임을 별도로 확인합니다. 다음 소유자가 솔루션을 모니터링, 유지 관리 및 지원할 수 있는지 확인하도록 합니다.
플러그 인 또는 에이전트 사용 중지
더 이상 사용하지 않아야 하는 경우 솔루션을 사용 중지합니다. 모든 고객에 대한 배포를 종료할지 아니면 organization 내에서만 액세스 권한을 제거할지 결정합니다. 이러한 범위는 서로 다릅니다.
- 활성 버전, 사용자, 게시 및 공유 위치, 공유 종속성을 식별합니다.
- 교체 날짜 및 사용 중지 날짜를 포함하여 사용자 및 지원 팀에 알립니다.
- 지원되는 경로를 통한 배포 및 액세스를 중지하고 필요한 경우 관리자 설치를 제거합니다.
- 서비스 소유자가 다른 솔루션에서 사용하는 리소스를 유지하면서 플러그 인별 액세스 및 리소스를 제거하도록 합니다.
- 이전에 권한이 부여된 사용자로 결과를 확인하고 보유된 리소스, 예외 및 소유자를 기록합니다.
패키지를 사용 중지하려면 플러그 인 사용 중지를 참조하세요. 독립 실행형 에이전트의 경우 에이전트 삭제와 같은 해당 제품 절차를 사용합니다. 에이전트 또는 패키지를 제거하면 모든 연결, 권한 또는 외부 서비스가 해지된다고 가정하지 마세요.