책임 있는 AI 대시보드를 사용하여 AI 시스템 평가

실제로 책임 있는 AI를 구현하려면 엄격한 엔지니어링이 필요합니다. 그러나 적절한 도구와 인프라가 없으면 엄격한 엔지니어링을 수동으로 수행해야 하고 번잡하고 시간이 오래 걸릴 수 있습니다.

책임 있는 AI 대시보드는 책임 있는 AI를 효과적이고 효율적으로 구현하는 데 도움이 되는 단일 인터페이스를 제공합니다. 다음과 같은 영역에서 몇 가지 성숙한 책임 있는 AI 도구를 함께 제공합니다.

• 모델 성능 및 공정성 평가
• 데이터 살펴보기
• 기계 학습 해석 가능성
• 오류 분석
• 반사실적 분석 및 교란
• 인과 유추

대시보드는 정보에 입각한 데이터 기반 결정을 내릴 수 있도록 모델의 전체적인 평가 및 디버깅을 제공합니다. 하나의 인터페이스에서 이러한 모든 도구에 액세스하면 다음을 수행할 수 있습니다.

• 모델 오류 및 공정성 문제를 식별하고, 이러한 오류가 발생하는 이유를 진단하고, 완화 단계를 알려주어 기계 학습 모델을 평가하고 디버그합니다.

• 다음과 같은 질문을 해결하여 데이터 기반 의사 결정 기능을 향상시킵니다.

  "사용자가 모델과 다른 결과를 얻기 위해 기능에 적용할 수 있는 최소 변경 사항은 무엇인가요?"

  "실제 결과(예: 당뇨병 진행)에 대한 기능(예: 붉은 육류 소비)의 감소 또는 증가의 인과적 효과는 무엇인가요?"

사용 사례와 관련된 도구의 하위 집합만 포함하도록 대시보드를 사용자 지정할 수 있습니다.

책임 있는 AI 대시보드에는 PDF 성과 기록표가 함께 제공됩니다. 성과 기록표를 사용하면 책임 있는 AI 메타데이터 및 인사이트를 데이터 및 모델로 내보낼 수 있습니다. 그런 다음, 제품 및 규정 준수 관련자와 오프라인으로 공유할 수 있습니다.

책임 있는 AI 대시보드 구성 요소

책임 있는 AI 대시보드는 포괄적인 보기에서 다양한 신규 및 기존 도구를 통합합니다. 대시보드는 이러한 도구를 Azure Machine Learning CLI v2, Azure Machine Learning Python SDK v2 및 Azure Machine Learning 스튜디오와 통합합니다. 도구로는 다음이 있습니다.

• 데이터 분석 - 데이터 세트 분산 및 통계를 이해하고 탐색합니다.
• 모델 개요 및 공정성 평가 - 모델의 성능을 평가하고 모델의 그룹 공정성 문제(모델의 예측이 다양한 사람들 그룹에 미치는 영향)를 평가합니다.
• 오류 분석 - 데이터 세트에서 오류가 어떻게 분포되어 있는지 보고 이해합니다.
• 모델 해석 가능성(집계 및 개별 기능에 대한 중요도 값) - 모델의 예측과 전체 및 개별 예측이 어떻게 이루어지는지 이해합니다.
• 반사실적 가상 - 기능 교란이 모델 예측에 어떤 영향을 미치는지 관찰하고 반대 또는 다른 모델 예측을 통해 가장 가까운 데이터 포인트를 제공합니다.
• 일반 분석 - 기록 데이터를 사용하여 처리 기능이 실제 결과에 미치는 인과 영향을 확인합니다.

이러한 도구를 함께 사용하면 기계 학습 모델을 디버깅하는 동시에 데이터 기반 및 모델 기반 비즈니스 의사 결정을 알릴 수 있습니다. 다음 다이어그램에서는 AI 수명 주기에 통합하여 모델을 개선하고 견고한 데이터 인사이트를 얻는 방법을 보여줍니다.

모델 디버깅

기계 학습 모델의 평가 및 디버깅은 모델 안정성, 해석 가능성, 공정성 및 규정 준수에 매우 중요합니다. AI 시스템이 작동하는 방식과 그 이유를 확인할 수 있습니다. 그 후 이 지식을 사용하여 모델 성능을 개선할 수 있습니다. 개념적으로 모델 디버깅은 다음과 같은 세 단계로 구성됩니다.

1. 식별 - 다음 질문을 답하여 모델 오류 및/또는 공정성 문제를 이해하고 인식합니다.

   "모델에 어떤 오류가 있나요?"

   "오류가 가장 많은 영역은 무엇인가요?"

2. 진단 - 다음 질문에 답하여 식별된 오류의 원인을 탐색합니다.

   "이러한 오류의 원인은 무엇인가요?"

   "모델을 개선하려면 리소스를 어디에 집중해야 하나요?"

3. 완화 - 이전 단계에서 얻은 식별 및 진단 인사이트를 사용하여 목표 완화 단계를 수행하고 다음 질문에 대답합니다.

   "모델을 어떻게 개선할 수 있나요?"

   "이러한 문제를 해결하는 사회적 또는 기술적 솔루션은 무엇인가요?"

다음 표에서는 책임 있는 AI 대시보드 구성 요소를 사용하여 모델 디버깅을 지원하는 시기를 설명합니다.

단계	구성 요소	설명
식별	오류 분석	오류 분석 구성 요소를 사용하면 모델 오류 분포를 더 깊이 이해하고 데이터의 잘못된 코호트(하위 그룹)를 신속하게 식별할 수 있습니다. 대시보드에서 이 구성 요소의 기능은 오류 분석 패키지에서 제공됩니다.
식별	공정성 분석	공정성 구성 요소는 성별, 인종 및 연령과 같은 민감한 특성 측면에서 그룹을 정의합니다. 그런 다음, 모델 예측이 이러한 그룹에 미치는 영향과 차이를 완화하는 방법을 평가합니다. 여러 민감한 하위 그룹에서 예측 값의 분포와 모델 성능 메트릭의 값을 탐색하여 모델의 성능을 평가합니다. 대시보드에서 이 구성 요소의 기능은 Fairlearn 패키지에서 제공됩니다.
식별	모델 개요	모델 개요 구성 요소는 성능을 더 잘 조사하기 위해 모델 예측 분포의 높은 수준 보기에서 모델 평가 메트릭을 집계합니다. 또한 이 구성 요소는 민감한 그룹 전체의 모델 성능 분석을 강조 표시하여 그룹 공정성 평가를 가능하게 합니다.
진단	데이터 분석	데이터 분석은 예측 및 실제 결과, 오류 그룹 및 특정 기능을 기반으로 데이터 세트를 시각화합니다. 그런 다음, 데이터 세트에서 데이터가 클러스터링되는 방식을 확인하는 방법과 함께 과잉 표현 및 과소 표현 문제를 식별할 수 있습니다.
진단	모델 해석력	해석 가능성 구성 요소는 기계 학습 모델의 예측을 사람이 이해할 수 있는 설명으로 생성합니다. 모델의 동작에 대한 여러 보기를 제공합니다. - 전체 설명(예: 대출 할당 모델의 전반적인 동작에 영향을 주는 기능) - 로컬 설명(예: 신청자의 대출 신청이 승인 또는 거부된 이유) 대시보드에서 이 구성 요소의 기능은 InterpretML 패키지에서 제공됩니다.
진단	반사실적 분석 및 가상	이 구성 요소는 더 나은 오류 진단을 위한 다음 두 가지 기능으로 구성됩니다. - 특정 지점에 대한 최소한의 변경이 모델의 예측을 변경하는 일련의 예제 생성. 즉, 예제에서는 모델 예측이 반대인 가장 가까운 데이터 요소를 보여줍니다. - 개별 데이터 요소에 대화형 및 사용자 지정 가상 교란을 사용하도록 설정하여 모델이 기능 변경에 어떻게 반응하는지 이해 대시보드에서 이 구성 요소의 기능은 DiCE 패키지에서 제공됩니다.

완화 단계는 Fairlearn과 같은 독립 실행형 도구를 통해 사용할 수 있습니다. 자세한 내용은 불공정 완화 알고리즘을 참조하세요.

책임 있는 의사 결정

의사 결정은 기계 학습의 가장 큰 가능성 중 하나입니다. 책임 있는 AI 대시보드는 다음을 통해 정보에 입각한 비즈니스 결정을 내리는 데 도움이 될 수 있습니다.

• 데이터 기반 인사이트 - 과거 데이터만을 사용하여 결과에 대한 인과적 치료 효과를 더 깊이 이해합니다. 예시:

  "약은 환자의 혈압에 어떤 영향을 미칠 것인가?"

  "특정 고객에게 홍보 가치를 제공하는 것이 수익에 어떤 영향을 미치나요?"

  이러한 인사이트는 대시보드의 인과 유추 구성 요소를 통해 제공됩니다.

• 모델 기반 인사이트 - 사용자의 질문(예: "다음에 AI에서 다른 결과를 가져오려면 어떻게 해야 하나요?")에 대답하여 사용자가 조치를 취할 수 있도록 합니다. 이러한 인사이트는 반사실적 가상 구성 요소를 통해 데이터 과학자에게 제공됩니다.

예비 데이터 분석, 인과 관계 추론 및 반사실적 분석 기능은 정보에 입각한 모델 기반 및 데이터 기반 결정을 책임감 있게 내리는 데 도움이 될 수 있습니다.

책임 있는 AI 대시보드의 다음 구성 요소는 책임 있는 의사 결정을 지원합니다.

• 데이터 분석: 여기에서 데이터 분석 구성 요소를 다시 사용하여 데이터 분포를 이해하고 과잉 표현 및 과소 표현을 식별할 수 있습니다. 데이터에서 충분히 표현되지 않은 코호트에 대해 정보에 입각한 결정을 내리는 것은 불가능하기 때문에 데이터 탐색은 의사 결정의 중요한 부분입니다.

• 인과 유추: 인과 유추 구성 요소는 개입이 있을 때 실제 결과가 어떻게 변하는지 추정합니다. 또한 다양한 개입에 대한 기능 응답을 시뮬레이션하고 특정 개입으로 혜택을 받을 인구 집단을 결정하는 규칙을 만들어 기대할 수 있는 개입을 구성하는 데 도움이 됩니다. 이러한 기능을 함께 사용하면 새 정책을 적용하고 실제 변화에 영향을 줄 수 있습니다.

  이 구성 요소의 기능은 기계 학습을 통해 관찰 데이터에서 다른 유형의 처리 효과를 예측하는 EconML 패키지에서 제공됩니다.

• 반사실적 분석: 여기에서 반사실적 분석 구성 요소를 재사용하여 반대 모델 예측으로 이어지는 데이터 요소의 기능에 적용된 최소 변경 내용을 생성할 수 있습니다. 예를 들어 Taylor는 연간 소득이 10,000달러 이상이고 신용 카드를 2개 더 줄였다면 AI로부터 대출 승인을 받았을 것입니다.

  이 정보를 사용자에게 제공하면 사용자의 관점을 알 수 있습니다. 미래에 AI로부터 원하는 결과를 얻기 위해 조치를 취할 수 있는 방법에 대해 교육합니다.

  이 구성 요소의 기능은 DiCE 패키지에서 제공됩니다.

책임 있는 AI 대시보드를 사용하는 이유

책임 있는 AI의 특정 영역을 위한 개별 도구에서 진전이 있었지만, 데이터 과학자는 모델과 데이터를 전체적으로 평가하기 위해 다양한 도구를 사용해야 하는 경우가 많습니다. 예를 들어 모델 해석 가능성과 공정성 평가를 함께 사용해야 할 수 있습니다.

데이터 과학자가 한 도구에서 공정성 문제를 발견하면 다른 도구로 이동하여 어떤 데이터 또는 모델 요소가 문제의 근본 원인인지 파악한 후 완화 단계를 수행해야 합니다. 다음 요소는 이 까다로운 프로세스를 더욱 복잡하게 만듭니다.

• 도구를 검색하고 배울 수 있는 중앙 위치가 없으므로 새 기술을 연구하고 배우는 데 걸리는 시간이 길어집니다.
• 서로 다른 도구는 통신하지 않습니다. 데이터 과학자는 데이터 세트, 모델 및 기타 메타데이터를 도구 간에 전달할 때 랭글링해야 합니다.
• 메트릭과 시각화를 쉽게 비교할 수 없으며 결과를 공유하기가 어렵습니다.

책임 있는 AI 대시보드는 이러한 현 상황에 대응합니다. 단편적인 경험을 한 곳에서 통합하는 포괄적이면서도 사용자 지정 가능한 도구입니다. 이를 통해 모델 디버깅 및 데이터 기반 의사 결정을 위해 단일 사용자 지정 가능한 프레임워크에 원활하게 온보딩할 수 있습니다.

책임 있는 AI 대시보드를 사용하여 데이터 세트 코호트를 만들고, 지원되는 모든 구성 요소에 해당 코호트를 전달하고, 식별된 코호트에 대한 모델 상태를 관찰할 수 있습니다. 미리 빌드된 다양한 코호트에서 지원되는 모든 구성 요소의 인사이트를 추가로 비교하여 집계된 분석을 수행하고 모델의 사각지대를 찾을 수 있습니다.

이러한 인사이트를 다른 관련자와 공유할 준비가 되면 책임 있는 AI PDF 성과 기록표를 사용하여 쉽게 추출할 수 있습니다. PDF 보고서를 준수 보고서에 첨부하거나 동료와 공유하여 신뢰를 구축하고 승인을 받습니다.

책임 있는 AI 대시보드를 사용자 지정하는 방법

책임 있는 AI 대시보드의 장점은 사용자 지정이 가능하다는 것입니다. 사용자가 자신의 요구 사항을 해결하는 맞춤형 엔드투엔드 모델 디버깅 및 의사 결정 워크플로를 디자인할 수 있습니다.

영감이 필요한가요? 다음은 대시보드의 구성 요소를 결합하여 다양한 방법으로 시나리오를 분석하는 방법의 예입니다.

책임 있는 AI 대시보드 흐름	사용 사례
모델 개요 > 오류 분석 > 데이터 분석	기본 데이터 분포를 이해하여 모델 오류를 식별하고 진단
모델 개요 > 공정성 평가 > 데이터 분석	기본 데이터 분포를 이해하여 모델 공정성 문제를 식별하고 진단
모델 개요 > 오류 분석 > 반사실적 분석 및 가상	반사실적 분석(다른 모델 예측으로 이어지는 최소 변경)을 사용하여 개별 인스턴스의 오류를 진단
모델 개요 > 데이터 분석	데이터 불균형 또는 특정 데이터 코호트의 대표성 부족 때문에 발생하는 오류 및 공정성 문제의 근본 원인 파악
모델 개요 > 해석 가능성	모델이 예측을 수행한 방법을 이해하여 모델 오류 진단
데이터 분석 > 인과 유추	데이터에서 상관관계와 인과관계를 구별하거나 긍정적인 결과를 얻기 위해 적용할 최상의 치료법 결정
해석 가능성 > 인과 유추	모델이 예측에 사용한 요인이 실제 결과에 인과적 영향을 미치는지 확인
데이터 분석 > 반사실적 분석 및 가상	AI 시스템에서 다른 결과를 얻기 위해 다음에 무엇을 할 수 있는지에 대한 고객의 질문에 대답

책임 있는 AI 대시보드를 사용해야 하는 사람

다음 사람들은 책임 있는 AI 대시보드 및 해당 책임 있는 AI 성과 기록표를 사용하여 AI 시스템과의 신뢰를 구축할 수 있습니다.

• 배포 전 기계 학습 모델을 디버깅하고 개선하는 데 관심이 있는 기계 학습 전문가 및 데이터 과학자
• 모델 상태 기록을 제품 관리자 및 비즈니스 관련자와 공유하여 신뢰를 구축하고 배포 권한을 얻으려는 기계 학습 전문가 및 데이터 과학자
• 배포 전 기계 학습 모델을 검토하는 제품 관리자 및 비즈니스 관련자
• 기계 학습 모델을 검토하여 공정성 및 안정성 문제를 파악하는 위험 책임자
• 사용자에게 모델 결정을 설명하거나 결과를 개선하는 데 도움을 주고자 하는 AI 솔루션 공급자
• 규제 기관 및 감사자와 함께 기계 학습 모델을 검토해야 하는 규제가 심한 장소의 전문가

지원되는 시나리오 및 제한 사항

• 책임 있는 AI 대시보드는 현재 테이블 형식 구조화된 데이터에 대해 학습된 회귀 및 분류(이진 및 다중 클래스) 모델을 지원합니다.
• 책임 있는 AI 대시보드는 현재 sklearn(scikit-learn) 버전만 사용하여 Azure Machine Learning에 등록된 MLflow 모델을 지원합니다. scikit-learn 모델은 predict()/predict_proba() 메서드를 구현해야 합니다. 또는 predict()/predict_proba() 메서드를 구현하는 클래스 내에서 모델을 래핑해야 합니다. 모델은 구성 요소 환경에서 로드할 수 있어야 하며 피클 가능해야 합니다.
• 책임 있는 AI 대시보드는 현재 대시보드 UI에서 최대 5K의 데이터 요소를 시각화합니다. 데이터 세트를 대시보드에 전달하기 전에 5K개 이하로 다운샘플링해야 합니다.
• 책임 있는 AI 대시보드에 대한 데이터 세트 입력은 Parquet 형식의 pandas DataFrames여야 합니다. NumPy 및 SciPy 스파스 데이터는 현재 지원되지 않습니다.
• 책임 있는 AI 대시보드는 현재 숫자 또는 범주 기능을 지원합니다. 범주 기능의 경우 사용자는 기능 이름을 명시적으로 지정해야 합니다.
• 책임 있는 AI 대시보드는 현재 10K개가 넘는 열이 있는 데이터 세트를 지원하지 않습니다.
• 책임 있는 AI 대시보드는 현재 AutoML MLFlow 모델을 지원하지 않습니다.
• 책임 있는 AI 대시보드는 현재 UI에서 등록된 AutoML 모델을 지원하지 않습니다.

다음 단계

• CLI 및 SDK 또는 Azure Machine Learning 스튜디오 UI를 통해 책임 있는 AI 대시보드를 생성하는 방법을 알아봅니다.
• 책임 있는 AI 대시보드에서 관찰된 인사이트를 기반으로 하여 책임 있는 AI 성과 기록표를 생성하는 방법을 알아봅니다.