다음을 통해 공유

프롬프트를 통한 자동화를 위한 인적 검토

  • 아티클

이 문서에서는 Power Automate에서 GPT를 사용하여 텍스트 만들기 기능을 배포할 때 인적 검토의 중요한 역할을 강조합니다. 이 기능은 Azure OpenAI 서비스를 기반으로 하는 AI Builder의 텍스트 생성 모델을 활용합니다. 이러한 모델은 매우 효과적이지만 때로는 오해의 소지가 있거나 조작된 정보를 생성할 수 있으며 프롬프트 인젝션 공격에 취약합니다.

중요

프롬프트 인젝션 공격

프롬프트 인젝션 공격은 제3자가 모든 입력 소스에 대한 모델의 내재된 신뢰를 이용할 때 발생합니다. 공격자는 합법적인 사용자가 AI 솔루션에 상호 작용하도록 요청하는 콘텐츠에 프롬프트를 삽입하여 AI 솔루션의 출력과 잠재적으로 해당 작업을 변경하게 됩니다.

예를 들어, 시민 개발자가 GPT를 사용하여 텍스트 생성 작업을 사용하여 이메일, 소셜 미디어, 포럼 등 다양한 플랫폼에서 수집된 고객 불만 사항에 대한 응답을 공식화하는 시나리오를 생각해 보세요. 공격자는 이러한 소스 중 하나의 콘텐츠에 메시지를 삽입할 수 있습니다. 이 시나리오는 모델을 속여 의도한 것과 다른 응답을 생성할 수 있습니다. 응답은 부적절하거나 부정확하거나 해로울 수 있습니다. 잘못된 정보가 고객에게 발송되면 회사의 평판과 고객 관계에 부정적인 영향을 미칠 수 있습니다.

AI 모델의 조작

가공이라고도 알려진 조작은 텍스트 생성 모델을 포함한 AI 모델이 직면한 또 다른 과제입니다. 조작은 AI 모델이 제공된 입력이나 기존 데이터를 기반으로 하지 않는 정보, 즉 본질적으로 창조 또는 가공 정보를 생성할 때 발생합니다.

예를 들어, AI 모델이 주어진 텍스트를 기반으로 역사적 사건의 요약을 생성하도록 요청받는 경우 원본 텍스트에서 언급되지 않은 세부 정보나 사건이 포함될 수 있습니다. 예를 들어 흐름은 녹음/녹화의 대화록을 기반으로 회의 개요를 생성합니다. 입력 데이터에는 참석자, 논의된 문서 및 결정한 사항에 대한 세부 정보가 포함됩니다. 그러나 모델은 회의에서 논의되지 않은 조치 항목이나 결정을 포함하는 요약을 생성할 수 있습니다. 이 상황은 모델이 입력 데이터에 존재하지 않는 정보를 가공한 조작의 사례입니다.

조작 위험을 완화하려면 책임 있는 AI 관행을 구현하는 것이 중요합니다. 여기에는 프롬프트와 흐름에 대한 엄격한 테스트, 모델에 가능한 한 많은 기초 정보 제공, 최종적으로 사람의 감독을 위한 강력한 시스템 구현이 포함됩니다.

책임감 있는 AI 관행을 통해 위험 해결

우리는 이러한 위험을 줄이기 위한 수단으로 책임 있는 AI 관행을 지지합니다. 모델에서 생성된 콘텐츠를 조정하기 위한 전략이 있음에도 불구하고 조작된 응답을 생성하거나 프롬프트 인젝션 공격에 굴복하는 모델의 성향을 관리하는 것은 여전히 복잡한 과제로 남아 있습니다. 우리는 이러한 위험을 인정하고 인간의 감독과 통제에 대한 우리의 약속을 재확인합니다.

당사는 원활한 자동화의 필요성을 인식하여 적극적으로 안전 시스템을 개선하고 이러한 과제를 보다 깊이 이해하고자 합니다. 우리의 목표는 책임 있는 AI 설계 원칙에 따라 적절한 안전 조치를 통해 텍스트 생성 모델을 더욱 개선하고 가능한 경우 개발자에게 제어권을 돌려주는 것입니다.

참조 항목

책임 있는 AI - FAQ