FAQ(질문과 대답)는 Copilot Studio 에이전트에 컴퓨터 사용 도구를 추가할 때 알아야 할 기능, 사용량, 제한 사항 및 보호 기능에 대한 인사이트를 제공합니다.
컴퓨터 사용 도구란?
컴퓨터 사용은 웹 사이트 및 애플리케이션에서 작업을 자동화하도록 설계된 Copilot Studio 에이전트에 추가할 수 있는 도구입니다. 자연어로 작업 설명을 제공하고, 도구는 그에 따라 마우스 클릭 및 키보드 작업을 자동화합니다. 예를 들어, 도구에 PDF를 열고 그 내용을 웹 폼에 작성하도록 지시할 수 있습니다. 이 도구는 화면을 시각적으로 해석하고 필요한 클릭 및 키 입력을 실행하여 사람의 상호 작용을 에뮬레이트합니다.
Warning
컴퓨터 사용은 웹 사이트 및 데스크톱 애플리케이션 간에 상호 작용을 자동화하는 강력한 도구이지만 중요한 보안 고려 사항도 함께 제공됩니다. 경우에 따라 AI는 화면의 모호한 지침 또는 예기치 않은 콘텐츠로 인해 의도하지 않은 작업을 수행할 수 있습니다. 이러한 작업은 개인, 재무 또는 엔터프라이즈 시스템에 대한 액세스를 포함하여 디바이스, 데이터 또는 연결된 계정의 보안에 영향을 줄 수 있습니다.
컴퓨터 사용 도구로 무엇을 할 수 있나요?
컴퓨터 사용 도구는 화면 픽셀 데이터를 처리하여 화면 콘텐츠를 이해하고 가상 마우스 클릭 및 키보드 입력을 사용하여 작업을 수행합니다. 이 도구는 다단계 워크플로우를 관리하고, 예상치 못한 상황을 처리하며, 화면 변화에 동적으로 적응할 수 있습니다. 웹사이트 탐색이나 양식 작성 등 다양한 디지털 작업을 전문 API 없이도 수행할 수 있습니다.
컴퓨터 사용 도구는 다음 세 단계를 기반으로 반복 루프를 따릅니다.
지각: 스크린샷을 캡처하여 컴퓨터 화면의 현재 상태를 시각적으로 이해합니다.
추론: 생각의 사슬 접근 방식을 통해 현재 상태, 이전 작업 및 스크린샷을 평가하여 작업을 효과적으로 조정할 수 있습니다.
작업: 작업이 완료되거나 추가 사용자 입력이 필요할 때까지 클릭, 입력 또는 스크롤과 같은 작업을 수행합니다.
컴퓨터 사용 도구의 의도된 용도는 무엇인가요?
컴퓨터 사용 도구는 가상 마우스 및 키보드를 통해 웹 사이트 및 애플리케이션과의 사용자 상호 작용을 자동화하기 위한 것입니다. API를 사용할 수 없는 시나리오에서 특히 유용합니다.
컴퓨터 사용 도구는 어떻게 평가되었나요? 성능을 측정하는 데 사용되는 메트릭은 무엇인가요?
컴퓨터 사용 도구는 디자인, 개발 및 배포 단계 전반에 걸쳐 실제 시나리오를 사용하여 엄격하게 평가되었습니다. 평가 방법에는 정확성, 사용자 신뢰도, 유용성을 측정하기 위한 다양한 시나리오에서의 연구, 영향 연구, 테스트가 포함되었습니다. 높은 성과 긍정적인 사용자 경험을 유지하기 위해 팀은 정성적 및 정량적 지표를 정기적으로 모니터링합니다. 또한 정해진 SLA를 준수하여 도구의 가용성을 보장합니다.
컴퓨터 사용 도구의 제한 사항은 무엇인가요? 사용자가 시스템을 사용할 때 컴퓨터 사용 도구의 한계를 어떻게 최소화할 수 있을까요?
컴퓨터 사용은 알려진 보안 위험 및 기능 제한 사항이 있는 새로운 기술입니다. 팀이 여러분이 실험할 수 있도록 힘을 실어줍니다. 이 초기 단계 기능을 사용하면 특정 컴퓨터 기반 작업을 자동화할 수 있지만 성능은 사용 사례에 따라 크게 달라집니다. 효과적이고 책임감 있게 사용하려면 현재의 한계를 이해해야 합니다.
알려진 제한
성능은 작업과 적용 방식에 따라 다릅니다. 신뢰성은 작업 복잡도, 인터페이스 설계, 애플리케이션 동작에 따라 달라집니다.
인터페이스와 타이밍 변화에 민감합니다. 레이아웃 변경, 로딩 지연, 예상치 못한 대화 등이 같은 작업에 대해 서로 다른 결과를 초래할 수 있습니다.
특정 조작에 어려움이 있습니다. 드롭다운, 날짜 선택기, 커스텀 위젯과 같은 비표준적이거나 동적 인터페이스 요소는 상호작용이 어려울 수 있습니다.
반복 행동을 하거나 막힐 수도 있어요. 예상치 못한 화면 상태는 에이전트가 루프를 반복하거나 진행을 멈추게 할 수 있습니다.
복잡한 작업에서 발생하는 도전 과제들. 상세한 그래픽 인터페이스나 복잡한 텍스트 조작이 필요한 작업은 단순한 동작보다 신뢰성이 떨어질 수 있습니다.
민감하거나 고위험 사용 사례에는 적합하지 않습니다. 예를 들어, 이 도구는 다음을 위해 만들어지지 않았습니다:
- 채용, 의료, 금융과 같은 민감한 분야에서 추천하거나 점수를 매기는 것.
- 금융 거래를 하는 것.
- 스팸이나 허위 정보와 같은 해로운 행동들.
- 적절한 허가 없이 조직 외부에서 데이터를 공유하는 것.
제한을 최소화하는 방법
신뢰성을 높이기 위해 작업 구성 시 명확하고 상세한 지침을 제공하여 오류를 줄이고 작업 성공률을 높이세요.
인간의 감독 기능은 무엇인가요?
Important
컴퓨터 사용 에이전트는 스크린샷, 웹 페이지 또는 기타 입력에 숨겨진 명령이 의도하지 않은 방식으로 작업에 영향을 미치려고 시도하는 프롬프트 주입 공격이라고도 하는 유해하거나 악의적인 지침에 직면할 수 있습니다. 이러한 위험을 줄이려면 신뢰할 수 있고 격리된 환경에서 컴퓨터 사용을 작동하고 지침을 실행하기 전에 강력한 유효성 검사를 적용하십시오.
컴퓨터 사용 실행은 모호하거나 누락된 정보를 발견할 수 있습니다. 예를 들어 필요한 값이 없거나 여러 해석이 그럴듯합니다. 이러한 경우 사용자 감독 기능을 사용하면 컴퓨터 사용 에이전트가 실행을 일시 중지하고 권한 있고 구성된 사용자 검토자에게 설명 요청을 실행할 수 있습니다. 검토자는 에이전트의 실행 활동 맵을 사용하여 이메일 또는 Copilot Studio 내에서 응답할 수 있습니다. 컴퓨터 사용 에이전트가 응답을 받으면 맵의 일시 중지된 단계에서 실행을 다시 시작합니다.
안정성 및 제한
제품 주도 평가는 사용자 감독 기능이 일반적으로 예상대로 작동하지만 사용자가 예상하지 못하는 방식으로 실패하거나 동작할 수 있음을 나타냅니다. 설명 요청은 확률적 모델 동작에 의해 트리거되므로 사용자가 일시 중지를 원하는 모든 상황에서 트리거되지 않을 수 있습니다. 일시 중지가 필요하지 않은 경우에도 트리거할 수 있습니다. 명확히 하기 위한 요청을 안전 백업 장치 또는 시스템이 계속하기 전에 항상 사람의 입력을 요청한다는 보장으로 여겨서는 안 됩니다.
사용자 지정 규칙 적용 메커니즘이 아님
사용자 감독 요청은 정의된 규칙, 정책 또는 제약 조건의 적용을 보장하지 않습니다. 정보를 제공하거나 원치 않는 작업을 방지하기 위해 설명 요청에 의존하지 않고 가능한 각 시나리오(예: 명확한 지침, 제한된 환경, 최소 권한 계정, 허용 목록 및 기타 운영 안전 장치)에 적합한 컨트롤을 더 많이 적용해야 합니다.
컴퓨터 사용 도구를 효과적이고 책임감 있게 사용할 수 있는 운영 요소 및 설정은 무엇입니까?
명확하고 자세한 사용자 지침이 제공되면 컴퓨터 사용 도구가 가장 잘 수행됩니다. 사용자는 작업 실행 중에 안정성과 정확도를 향상시키기 위해 웹 사이트 또는 애플리케이션 상호 작용에 대한 정확한 힌트를 제공해야 합니다. 가시성과 제어를 강화하려면 도구 구성 페이지에서 한 명 이상의 승인된 검토자를 할당하여 사람이 감독할 수 있습니다. 모델이 잠재적으로 악의적인 명령을 감지하면 이러한 검토자는 실행을 계속할지 또는 중지할지 여부를 확인하고 유효성을 검사하고 결정하는 알림을 받습니다.
컴퓨터 사용 도구에 대한 피드백을 제공하려면 어떻게 해야 하나요?
컴퓨터 사용 도구에 대한 피드백이 있나요? 전자 메일 computeruse-feedback@microsoft.com.