책임 있는 AI 프레임워크 실제 작동
이전 단원에서 설명한 바와 같이 Microsoft는 책임 있는 AI 거버넌스를 시행하기 위한 내부 프로세스를 개발하고 정교화하고 있습니다. 이 단원에서는 이 거버넌스 시스템이 실제 상황에서 작동하는 방식을 설명합니다. 모든 조직에는 고유한 거버넌스 프레임워크 및 검토 프로세스가 필요하지만 민감한 사용 프레임워크를 유용한 시작 지점으로 이용할 수 있습니다. 책임 있는 AI 거버넌스 프로세스에서 Microsoft의 초기 단계 중 하나는 중요한 사용 검토 트리거를 사용하는 것이었습니다. 이 프레임워크는 내부 및 고객 지향 팀이 특정 사용 사례에 더 많은 지침이 필요한 경우를 식별하는 데 도움이 됩니다.
Microsoft 민감한 사용 사례 프레임워크
Microsoft의 책임 있는 AI 거버넌스 설명서에 따라 AI 개발 또는 배포 시나리오는 다음 범주 중 하나 이상에 해당하는 경우 "민감한 사용"으로 간주됩니다.
- 파생적 서비스 거부: 이 시나리오는 개인에 대한 파생적 서비스 또는 지원(예: 금융, 주택, 보험, 교육, 고용, 의료 서비스 등)의 거부를 직접 초래할 수 있는 방식으로 AI를 사용하는 것과 관련 있습니다.
- 피해 위험: 이 시나리오는 개인에 대해 물리적, 감정적 또는 심리적 피해의 위험을 초래할 수 있는 방식으로 AI를 사용하는 것과 관련이 있습니다(예: 군사, 보안이 중요한 제조 환경, 의료 컨텍스트에서 생사 결정, 아동 또는 기타 취약한 사람이 관련된 거의 모든 시나리오).
- 인권 침해: 이 시나리오는 개인 자유, 의견 또는 표현, 집회 또는 결사, 개인 정보 보호 등을 현저히 제한할 수 있는 방식으로 AI를 사용하는 것과 관련 있습니다(예: 법률 집행 또는 치안 활동).
Microsoft는 고객을 상대하는 판매자든 내부 AI 솔루션을 작업하는 작업자든 상관없이 직원들이 이 프레임워크를 사용하여 특정 AI 사례에 추가 검토가 필요한지 여부를 판단하도록 교육하고 있습니다. 또한 책임 있는 AI 챔피언에게는 직원과 중앙 거버넌스 팀 간의 연계로서의 역할도 교육하고 있습니다.
Microsoft 민감한 사용 사례 검토 프로세스
중요한 사용 사례에 대한 검토 프로세스에는 식별, 평가 및 완화의 세 가지 단계가 있습니다. 이 프로세스를 더 잘 설명하기 위해 실제 사례 연구는 각 단계에 대한 설명에 참여합니다. 이 사례 연구에서는 고객이 얼굴 인식 시스템을 위해 찾아왔습니다.
Identification(식별)
직원이 사용 사례가 세 가지 범주(결과 서비스 거부, 피해 위험 또는 인권 침해) 중 하나에 해당한다고 식별하면 보고합니다. 보고는 중앙 제출 도구를 통해 수행된 다음, 회사의 책임 있는 AI 정책, 표준 및 지침에 대한 인식과 이해를 유도하는 책임이 있는 로컬 책임 있는 AI 챔피언으로 라우팅됩니다.
이 경우, 법률 집행 기관이 기존 신원 확인 방법을 보강하는 얼굴 인식 시스템 개발을 의뢰했습니다. 시나리오에는 얼굴 인식을 사용하여 신호 정지 중 운전자 신원을 확인하고, 교도소에서 수감자 체크인 프로세스를 단축하고, 교도소 내에서 이동하는 수감자의 ID를 확인하기 위한 얼굴 인식이 포함되었습니다. 직원은 이러한 세 가지 사용 사례의 책임 있는 AI 검토를 위해 중앙 제출 도구를 통해 제출했습니다.
평가
책임 있는 AI 챔피언은 책임 있는 AI 오피스 및 해당 사용 사례와 관련된 Microsoft 팀과 함께 작업하여 관련 사실을 수집하여 사례를 조사하고, 안내식 프로세스를 따라 제안된 시스템이 개인 및 사회에 미치는 영향을 평가하고, 과거 사례를 검토하여 유사한 시나리오에 대한 지침이 이미 존재하는지 확인합니다. 이전 지침이 없거나 사례에 추가 전문 지식 및 평가가 필요한 경우 책임 있는 AI 챔피언은 Aether 위원회의 작업 그룹에 사례를 제시합니다.
이 얼굴 인식의 경우, 책임 있는 AI 챔피언은 책임 있는 AI의 Office, 계정 팀 및 고객과 긴밀히 협력하여 위험을 평가했습니다. 세 가지 사용 사례 모두 하나 이상의 민감한 AI 사용에 관련되어 Aether 민감 사용 작업 그룹으로 에스컬레이션해야 한다는 결론이 내려졌습니다.
완화
민감한 사용 작업 그룹은 다양한 전문가 그룹과 숙고하여 특정 사용 사례와 관련된 위험을 해결하는 방법에 대한 통찰력 및 권장 사항을 제공합니다. 추가 에스컬레이션이 필요한 경우 사례는 Aether 위원회 수준까지 제출될 수 있으며, 이 경우 위원회가 고위 경영진에게 직접 자문합니다. 궁극적으로 고위 경영진은 새롭고 영향력이 큰 사례에 대한 결정을 내립니다.
참고
민감한 사용 사례를 검토하는 경우 다양한 배경 및 전문 지식을 가진 다양한 사용자 그룹을 결합하는 것이 좋습니다. 모든 사람이 아이디어와 관점을 쉽게 공유할 수 있는 포용적 공간을 만드는 것도 중요합니다.
사례를 검토한 후에는 책임 있는 AI 챔피언이 책임 있는 AI 오피스와 협력하여 책임 있는 AI 관행 및 원칙에 부합하는 완화 전략을 프로젝트 팀에 조언합니다. 이러한 완화 전략에는 기술적 접근 방법, 직원 교육 및 거버넌스 접근 방법, 프로젝트 범위 변경이 포함될 수 있습니다. 때로는 팀이 특정 프로젝트를 진행하지 않도록 권고하는 경우도 있습니다. Microsoft가 원칙을 지지하는 방식으로 해당 프로젝트를 제공할 수 없기 때문입니다.
사용 사례에서 Aether 민감한 사용 작업 그룹은 각 시나리오에 대해 별도의 결정을 내렸습니다. 심사숙고 끝에 신호 정지 시 “관심 인물”을 식별하는 순찰 시나리오는 지원하지 않기로 결정했습니다. 기술이 불완전하게 수행되었을 때 유해한 결과를 완화할 만큼 기술 상태 및 광범위한 에코시스템이 충분히 성숙하지 않았으므로 Aether 작업 그룹은 이 시나리오를 미성숙 사용 사례로 간주했습니다.
우리는 고객에게 문제를 설명했고, 그들은 그 시나리오를 추구하지 않기로 결정했습니다.
참고
연구에 의한 뒷받침: 또한 통제되지 않은 환경에서 개인을 식별하려는 시도는 인권을 침해할 수 있습니다. 잘못된 식별 때문에 잘못된 체포가 발생할 수 있기 때문입니다. 연구에 따르면 AI는 여성 및 미성년자의 신원을 실수할 확률이 더 높은 것으로 나타나, 이러한 모집단이 과도하게 억류될 수도 있습니다.1
교도소 사용 사례의 경우, 솔루션에 대한 적절한 인적 통제와 고객과 Microsoft 사이의 적절한 양방향 피드백 루프가 설정되는 안전 조치 하에 Microsoft가 POC(개념 증명) 디자인 및 구현을 지원할 수 있다고 판단했습니다. 또한, 고객이 솔루션과 상호 작용하는 직원을 위해 교육 프로그램을 구현하고 이러한 지원되는 시나리오를 초과하는 배포에 대해 Microsoft와 협력하는 것이 중요했습니다.
책임 있는 AI 거버넌스의 진화
방금 프로세스가 실제로 작동하는 모습을 살펴보았지만, 이는 AI 거버넌스 개발의 시작에 불과합니다. AI와 관련된 프로세스는 빠르게 진화하고 있습니다. Microsoft는 앞으로 추가로 AI에 투자하면서 거버넌스 정책을 정교화할 계획이며 다른 기업 역시 그렇게 할 것을 권장합니다. 모든 조직은 고유한 AI 목표, 요구 사항 및 성숙도를 기반으로 적절히 검토 프로세스를 수립해야 하지만, 당사의 프로세스를 유용한 시작 지점으로 활용할 수 있을 것으로 희망합니다.
이제 학습한 모든 내용을 지식 점검으로 마무리하겠습니다.