Azure Machine Learning 스튜디오에서 책임 있는 AI 대시보드 사용

책임 있는 AI 대시보드는 등록된 모델에 연결됩니다. 책임 있는 AI 대시보드를 보려면 모델 레지스트리로 이동한 다음, 책임 있는 AI 대시보드를 생성한 등록된 모델을 선택합니다. 그런 다음, 책임 있는 AI 탭을 선택하여 생성된 대시보드 목록을 봅니다.

여러 대시보드를 구성하고 등록된 모델에 연결할 수 있습니다. 각 책임 있는 AI 대시보드에 다양한 구성 요소 조합(해석력, 오류 분석, 일반 분석 등)을 연결할 수 있습니다. 다음 이미지는 대시보드의 사용자 지정 및 대시보드 내에서 생성된 구성 요소를 표시합니다. 각 대시보드에서 대시보드 UI 자체 내에서 다양한 구성 요소를 보거나 숨길 수 있습니다.

대시보드의 이름을 선택하여 브라우저에서 전체 보기로 엽니다. 모델 세부 정보로 돌아가기를 선택하여 언제든지 대시보드 목록으로 돌아갈 수 있습니다.

컴퓨팅 리소스가 통합된 전체 기능

일부 Responsible AI 대시보드 기능에는 동적, 즉석 및 실시간 계산(예: 가상 분석)이 필요합니다. 컴퓨팅 리소스를 대시보드에 연결하지 않으면 일부 기능이 누락될 수 있습니다. 컴퓨팅 리소스에 연결할 때 다음 구성 요소에 대해 책임 있는 AI 대시보드의 전체 기능을 사용하도록 설정합니다.

• 오류 분석
  • 전역 데이터 코호트를 관심 있는 코호트로 설정하면 오류 트리가 비활성화되지 않고 업데이트됩니다.
  • 다른 오류 또는 성능 메트릭을 선택할 수 있습니다.
  • 오류 트리 맵을 학습하는 기능의 하위 집합을 선택할 수 있습니다.
  • 리프 노드 및 오류 트리 깊이에 따라 필요한 최소 샘플 수를 변경할 수 있습니다.
  • 최대 2개의 기능에 대한 열 지도를 동적으로 업데이트할 수 있습니다.
• 기능 중요도
  • 개별 기능 중요도 탭의 개별 조건부 기대(ICE) 플롯이 지원됩니다.
• 반사실적 가상
  • 원하는 결과에 필요한 최소 변경 사항을 이해하기 위해 새로운 가상 반대 사실 데이터 포인트 생성이 지원됩니다.
• 일반 분석
  • 개별 데이터 포인트를 선택하고 처리 기능을 교란하고 인과 관계 가상의 예상 인과 결과를 확인합니다(회귀 기계 학습 시나리오에만 해당).

다음 이미지와 같이 정보 아이콘을 선택하여 책임 있는 AI 대시보드 페이지에서 이 정보를 찾을 수도 있습니다.

책임 있는 AI 대시보드의 전체 기능 사용

1. 대시보드 상단의 컴퓨팅 드롭다운 목록에서 실행 중인 컴퓨팅 인스턴스를 선택합니다. 실행 중인 컴퓨팅이 없는 경우 드롭다운 옆에 있는 더하기 기호(+)를 선택하여 새 컴퓨팅 인스턴스를 만듭니다. 또는 컴퓨팅 시작 단추를 선택하여 중지된 컴퓨팅 인스턴스를 시작할 수 있습니다. 컴퓨팅 인스턴스를 만들거나 시작하는 데 몇 분 정도 걸릴 수 있습니다.

   

2. 컴퓨팅이 실행 중 상태이면 책임 있는 AI 대시보드가 컴퓨팅 인스턴스에 연결하기 시작합니다. 이를 위해 선택한 컴퓨팅 인스턴스에 터미널 프로세스가 만들어지고 터미널에서 책임 있는 AI 엔드포인트가 시작됩니다. 현재 터미널 프로세스를 보려면 터미널 출력 보기를 선택합니다.

   

3. 책임 있는 AI 대시보드가 컴퓨팅 인스턴스에 연결되면 녹색 메시지 표시줄이 나타나고, 대시보드가 완전하게 작동합니다.

   

4. 프로세스에 시간이 걸리고 책임 있는 AI 대시보드가 여전히 컴퓨팅 인스턴스에 연결되어 있지 않거나 빨간색 오류 메시지 표시줄이 표시되면 책임 있는 AI 엔드포인트를 시작하는 데 문제가 있음을 의미합니다. 터미널 출력 보기를 선택하고 아래로 스크롤하여 오류 메시지를 봅니다.

   

   "컴퓨팅 인스턴스에 연결하지 못했습니다" 문제를 해결하는 방법을 찾는 데 어려움이 있는 경우 오른쪽 상단에 있는 웃는 얼굴 아이콘을 선택합니다. 발생한 오류 또는 문제에 대한 피드백을 제출합니다. 피드백 양식에 스크린샷과 이메일 주소를 포함할 수 있습니다.

책임 있는 AI 대시보드의 UI 개요

책임 있는 AI 대시보드에는 기계 학습 모델을 분석하거나 데이터 기반 비즈니스 의사 결정을 내리는 데 도움이 되는 강력하고 풍부한 시각화 및 기능 세트가 포함되어 있습니다.

• 전역 컨트롤
• 오류 분석
• 모델 개요 및 공정성 메트릭
• 데이터 분석
• 기능 중요도(모델 설명)
• 반사실적 가상
• 일반 분석

전역 컨트롤

대시보드 상단에서 코호트(지정된 특성을 공유하는 데이터 포인트의 하위 그룹)를 만들어 각 구성 요소에 대한 분석에 집중할 수 있습니다. 현재 대시보드에 적용된 코호트의 이름은 항상 대시보드의 왼쪽 상단에 표시됩니다. 대시보드의 기본 보기는 모든 데이터(기본값)라는 제목의 전체 데이터 세트입니다.

1. 코호트 설정: 가로 패널에서 각 코호트의 세부 정보를 확인하고 수정할 수 있습니다.
2. 대시보드 구성: 가로 패널에서 전체 대시보드의 레이아웃을 살펴보고 수정할 수 있습니다.
3. 스위치 코호트: 다른 코호트를 선택하고 팝업 창에서 통계를 볼 수 있습니다.
4. 새 코호트: 새 코호트를 만들고 대시보드에 추가할 수 있습니다.

코호트 설정을 선택하여 코호트 목록이 있는 패널을 엽니다. 여기에서 코호트 만들기, 편집, 복제 또는 삭제를 수행할 수 있습니다.

대시보드 상단 또는 코호트 설정에서 새 코호트를 선택하여 다음 항목을 필터링할 수 있는 옵션이 있는 새 패널을 엽니다.

1. 인덱스: 전체 데이터 세트에서 데이터 포인트의 위치를 기준으로 필터링합니다.
2. 데이터 세트: 데이터 세트에서 특정 기능 값으로 필터링합니다.
3. 예측된 Y: 모델에서 만든 예측으로 필터링합니다.
4. True Y: 대상 기능의 실제 값으로 필터링합니다.
5. 오류(회귀): 오류 또는 분류 결과(분류)로 필터링: 분류의 유형 및 정확도로 필터링합니다.
6. 범주 값: 포함해야 하는 값 목록으로 필터링합니다.
7. 숫자 값: 값에 대한 부울 연산으로 필터링합니다(예: 연령 < 64인 데이터 포인트 선택).

새 데이터 세트 코호트의 이름을 지정하고 필터 추가를 선택하여 사용하려는 각 필터를 추가한 후 다음 중 하나를 수행합니다.

• 저장을 선택하여 새 코호트를 코호트 목록에 저장합니다.
• 저장하고 대시보드의 전역 코호트를 새로 만들어진 코호트로 즉시 전환하려면 저장 및 전환을 선택합니다.

대시보드 구성을 선택하여 대시보드에서 구성한 구성 요소 목록이 있는 패널을 엽니다. 다음 이미지와 같이 휴지통 아이콘을 선택하여 대시보드에서 구성 요소를 숨길 수 있습니다.

다음 이미지와 같이 각 구성 요소 사이의 구분선에 있는 파란색 원형 더하기 기호(+) 아이콘을 통해 대시보드에 구성 요소를 다시 추가할 수 있습니다.

오류 분석

다음 섹션에서는 오류 트리 맵과 열 지도를 해석하고 사용하는 방법을 다룹니다.

오류 트리 맵

오류 분석 구성 요소의 첫 번째 창은 트리 시각화를 통해 모델 오류가 다양한 코호트에 분산되는 방식을 보여 주는 트리 맵입니다. 아무 노드를 선택하면 오류가 발견된 기능의 예측 경로를 볼 수 있습니다.

1. 열 지도 보기: 오류 분포의 열 지도 시각화로 전환합니다.
2. 기능 목록: 가로 패널에서 열 지도에 사용되는 기능을 수정할 수 있습니다.
3. 오류 검사: 선택한 노드에 집중된 데이터 세트의 모든 오류율을 표시합니다.
4. 오류(회귀) 또는 오류 비율(분류): 선택한 노드에 있는 모든 데이터 포인트의 오류 또는 실패 백분율을 표시합니다.
5. 노드: 필터가 적용되었을 수 있는 데이터 세트의 코호트와 코호트의 총 데이터 포인트 중 오류 수를 나타냅니다.
6. 채우기 선: 필터를 기반으로 데이터 포인트의 분포를 자식 코호트로 시각화합니다. 데이터 포인트의 수는 선 굵기로 표시됩니다.
7. 선택 정보: 가로 패널에서 선택한 노드에 대한 정보를 포함하고 있습니다.
8. 새 코호트로 저장: 지정된 필터를 사용하여 새 코호트를 만듭니다.
9. 기본 코호트의 인스턴스: 전체 데이터 세트의 총 포인트 수와 정확하게 예측된 포인트 및 잘못 예측된 포인트 수를 표시합니다.
10. 선택한 코호트의 인스턴스: 선택한 노드의 총 포인트 수와 정확하게 예측된 포인트 및 잘못 예측된 포인트 수를 표시합니다.
11. 예측 경로(필터): 이 작은 코호트를 만들기 위해 전체 데이터 세트 위에 배치된 필터를 나열합니다.

기능 목록 단추를 선택하여 특정 기능에 대한 오류 트리를 다시 학습시킬 수 있는 가로 패널을 엽니다.

1. 검색 기능: 데이터 세트에서 특정 기능을 찾을 수 있습니다.
2. 기능: 데이터 세트에 있는 기능의 이름을 나열합니다.
3. 중요: 기능과 오류의 관련성에 대한 지침입니다. 기능과 레이블 오류 간의 상호 정보 점수를 통해 계산됩니다. 이 점수를 사용하여 오류 분석에서 선택할 기능을 결정할 수 있습니다.
4. 확인 표시: 트리 맵에서 기능을 추가하거나 제거할 수 있습니다.
5. 최대 깊이: 오류 발생 시 학습된 서로게이트 트리의 최대 깊이입니다.
6. 리프 수: 오류 발생 시 학습된 서로게이트 트리의 리프 수입니다.
7. 하나의 리프에 있는 최소 샘플 수: 하나의 리프를 만드는 데 필요한 최소 데이터 양입니다.

오류 열 지도

열 지도 탭을 선택하여 데이터 세트의 오류를 다른 보기로 전환합니다. 하나 이상의 열 지도 셀을 선택하고 새 코호트를 만들 수 있습니다. 최대 두 가지 기능을 선택하여 열 지도를 만들 수 있습니다.

1. 셀: 선택한 셀의 수를 표시합니다.
2. 오류 검사: 선택한 셀에 집중된 모든 오류율을 표시합니다.
3. 오류율: 선택한 셀에 있는 모든 데이터 포인트 오류율을 표시합니다.
4. 축 기능: 열 지도에 표시할 기능 교집합을 선택합니다.
5. 셀: 필터가 적용된 데이터 세트의 코호트와 코호트의 총 데이터 포인트 중 오류율을 나타냅니다. 파란색 윤곽선은 선택한 셀을 나타내고, 진한 빨간색은 실패의 농도를 나타냅니다.
6. 예측 경로(필터): 선택한 각 코호트의 전체 데이터 세트 위에 배치된 필터를 나열합니다.

모델 개요 및 공정성 메트릭

모델 개요 구성 요소는 지정된 기능 및 데이터 세트 코호트를 포함하여 주요 성능 차이 메트릭과 함께 모델을 평가하기 위한 포괄적인 성능 및 공정성 메트릭 집합을 제공합니다.

데이터 세트 코호트

데이터 세트 코호트 창에서 다양한 사용자 지정 데이터 세트 코호트의 모델 성능을 비교하여 모델을 조사할 수 있습니다(대시보드 오른쪽 상단의 코호트 설정 아이콘을 통해 액세스 가능).

1. 메트릭 선택 도움말: 이 아이콘을 선택하면 표에 표시할 수 있는 모델 성능 메트릭에 대한 자세한 정보가 포함된 패널이 열립니다. 다중 선택 드롭다운 목록을 사용하여 성능 메트릭을 선택 및 선택 해제하여 보려는 메트릭을 쉽게 조정할 수 있습니다.
2. 열 지도 표시: 표에서 열 지도 시각화를 표시하거나 숨기려면 켜거나 끕니다. 열 지도 그라데이션은 각 열에서 최저 값과 최고 값 사이에 정규화된 범위에 해당합니다.
3. 각 데이터 세트 코호트에 대한 메트릭 표: 데이터 세트 코호트의 열, 각 코호트의 샘플 크기, 각 코호트에 대해 선택한 모델 성능 메트릭을 봅니다.
4. 개별 메트릭을 시각화하는 막대형 차트: 쉽게 비교할 수 있도록 집단 전체의 평균 절대 오차를 봅니다.
5. 메트릭 선택(x축): 막대형 차트에서 볼 메트릭을 선택하려면 이 단추를 선택합니다.
6. 코호트 선택(y축): 막대형 차트에서 볼 코호트를 선택하려면 이 단추를 선택합니다. 구성 요소의 기능 코호트 탭에서 원하는 기능을 먼저 지정하지 않으면 기능 코호트 선택이 사용하지 않도록 설정될 수 있습니다.

메트릭 선택 도움말을 선택하여 모델 성능 메트릭 및 해당 정의 목록이 포함된 패널을 열면 보려는 메트릭을 선택하는 데 도움이 됩니다.

기계 학습 시나리오	메트릭
회귀	평균 절대 오차, 평균 제곱 오차, R-제곱, 평균 예측.
분류	정확도, 정밀도, 재현율, F1 점수, 가양성 비율, 가음성 비율, 선택 비율.

기능 코호트

기능 코호트 창에서 사용자가 지정한 중요한 기능과 중요하지 않은 기능(예: 다양한 성별, 인종 및 소득 수준 코호트의 성능) 간의 모델 성능을 비교하여 모델을 조사할 수 있습니다.

1. 메트릭 선택 도움말: 이 아이콘을 선택하면 표에 표시할 수 있는 메트릭에 대한 자세한 정보가 포함된 패널이 열립니다. 다중 선택 드롭다운을 사용하여 성능 메트릭을 선택 및 선택 해제하여 보려는 메트릭을 쉽게 조정할 수 있습니다.

2. 기능 선택 도움말: 이 아이콘을 선택하면 각 기능에 대한 설명 및 해당 비닝 기능과 함께 표에 표시할 수 있는 기능에 대한 자세한 정보가 포함된 패널이 열립니다(아래 참조). 다중 선택 드롭다운을 사용하여 선택 및 선택 해제함으로써 보려는 기능을 쉽게 조정합니다.

   

3. 열 지도 표시: 열 지도 시각화를 보려면 켜거나 끕니다. 열 지도의 그라데이션은 각 열에서 가장 낮은 값과 가장 높은 값 사이에서 정규화된 범위에 해당합니다.

4. 각 기능 코호트에 대한 메트릭 테이블: 기능 코호트(선택한 기능의 하위 코호트), 각 코호트의 샘플 크기 및 각 기능 코호트에 대해 선택한 모델 성능 메트릭에 대한 열이 있는 테이블입니다.

5. 공정성 메트릭/차이 메트릭: 메트릭 테이블에 해당하며 두 기능 코호트 사이에 성능 점수에서의 최대 차이 또는 최대 비율을 보여 주는 테이블입니다.

6. 개별 메트릭을 시각화하는 막대형 차트: 쉽게 비교할 수 있도록 집단 전체의 평균 절대 오차를 봅니다.

7. 코호트 선택(y축): 막대형 차트에서 볼 코호트를 선택하려면 이 단추를 선택합니다.

   코호트 선택을 선택하면 아래의 다중 선택 드롭다운 목록에서 선택한 항목에 따라 선택한 데이터 세트 코호트 또는 기능 코호트의 비교를 표시하는 옵션이 있는 패널이 열립니다. 확인을 선택하여 아래 막대형 차트에 변경 내용을 저장합니다.

   

8. 메트릭 선택(x축): 막대형 차트에서 볼 메트릭을 선택하려면 이 단추를 선택합니다.

데이터 분석

데이터 분석 구성 요소를 사용하면 테이블 보기 창에 모든 기능 및 행에 대한 데이터 세트의 테이블 보기가 표시됩니다.

차트 보기 패널에는 데이터 포인트의 집계 및 개별 플롯이 표시됩니다. 예측 결과, 데이터 세트 기능 및 오류 그룹과 같은 필터를 사용하여 x축 및 y축을 따라 데이터 통계를 분석할 수 있습니다. 이 보기는 데이터 세트의 과대 대표 및 과소 대표를 이해하는 데 도움이 됩니다.

1. 탐색할 데이터 세트 코호트 선택: 코호트 목록에서 데이터 통계를 보고 싶은 데이터 세트 코호트를 지정합니다.

2. X축: 가로로 표시되는 값 형식을 표시합니다. 단추를 선택하여 값을 수정하여 가로 패널을 엽니다.

3. Y축: 세로로 표시되는 값 형식을 표시합니다. 단추를 선택하여 값을 수정하여 가로 패널을 엽니다.

4. 차트 종류: 차트 종류를 지정합니다. 집계 플롯(막대형 차트) 또는 개별 데이터 포인트(산점도) 중에서 선택합니다.

   차트 종류에서 개별 데이터 포인트 옵션을 선택하면 색상 축을 사용할 수 있는 데이터의 세분화된 보기로 이동할 수 있습니다.

기능 중요도(모델 설명)

모델 설명 구성 요소를 사용하면 모델의 예측에서 어떤 기능이 가장 중요했는지 확인할 수 있습니다. 집계 기능 중요도 창에서 모델의 예측에 전반적으로 영향을 미친 기능을 보거나 개별 기능 중요도 창에서 개별 데이터 포인트에 대한 기능 중요도를 볼 수 있습니다.

집계 기능 중요도(전역 설명)

1. 상위 k 기능: 예측에 가장 중요한 전역 기능을 나열하고 슬라이더 막대를 사용하여 변경할 수 있습니다.

2. 집계 기능 중요도: 모든 예측에서 모델 결정에 영향을 주는 각 기능의 가중치를 시각화합니다.

3. 정렬 기준: 집계 기능 중요도 그래프의 정렬 기준이 될 코호트의 중요도를 선택할 수 있습니다.

4. 차트 종류: 각 기능에 대한 평균 중요도의 막대 플롯 보기와 모든 데이터의 중요도 상자 플롯 중에서 선택할 수 있습니다.

   막대 플롯에서 기능 중 하나를 선택하면 다음 이미지와 같이 종속성 플롯이 채워집니다. 종속성 플롯은 모델 예측에 영향을 미치는 해당 기능 중요도 값에 대한 기능 값의 관계를 보여 줍니다.

   

5. [기능](회귀)의 기능 중요도 또는 [예측 클래스](분류)에서 [기능]의 기능 중요도: 예측에서 특정 기능의 중요도를 표시합니다. 회귀 시나리오의 경우 중요도 값은 출력과 관련이 있으므로 기능 중요도가 양수이면 출력에 긍정적으로 기여했음을 의미합니다. 기능 중요도가 음수이면 반대가 적용됩니다. 분류 시나리오의 경우 기능 중요도가 양수이면 기능 값이 y축 제목에 표시된 예측 클래스에 기여한다는 의미입니다. 기능 중요도가 음수이면 예측된 클래스에 대해 기여하고 있음을 의미합니다.

6. 다음에 대한 종속성 플롯 보기: 중요도를 표시하고 싶은 기능을 선택합니다.

7. 데이터 세트 코호트 선택: 중요도를 표시하고 싶은 코호트를 선택합니다.

개별 기능 중요도(로컬 설명)

다음 이미지는 기능이 특정 데이터 포인트에 대한 예측에 어떻게 영향을 미치는지 보여 줍니다. 최대 5개의 데이터 포인트를 선택하여 기능 중요도를 비교할 수 있습니다.

포인트 선택 테이블: 데이터 포인트를 살펴보고 최대 5개 포인트를 선택하여 테이블 아래의 기능 중요도 플롯 또는 ICE 플롯에 표시합니다.

기능 중요도 플롯: 선택한 데이터 포인트에 대한 모델 예측을 위한 각 기능의 중요도에 대한 막대 플롯입니다.

1. 상위 k개 기능: 슬라이더를 사용하여 중요도를 표시할 기능의 수를 지정할 수 있습니다.
2. 정렬 기준: 기능 중요도 플롯에 기능 중요도를 내림차순으로 표시할 (위에서 선택한) 포인트를 선택할 수 있습니다.
3. 절대값 보기: 절대값을 기준으로 막대 플롯을 정렬하려면 켭니다. 이를 통해 긍정적 또는 부정적 방향에 관계없이 가장 영향력 있는 기능을 볼 수 있습니다.
4. 막대 플롯: 선택한 데이터 포인트의 모델 예측에 대한 데이터 세트에서 각 기능의 중요도를 표시합니다.

ICE(개별 조건부 기대) 플롯: 특정 기능의 값 범위에 대한 모델 예측을 표시하는 ICE 플롯으로 전환합니다.

• 최소(숫자 기능): ICE 플롯에서 예측 범위의 하한을 지정합니다.
• 최대(숫자 기능): ICE 플롯에서 예측 범위의 상한을 지정합니다.
• 단계(숫자 기능): 간격 내에서 예측을 표시할 포인트 수를 지정합니다.
• 기능 값(범주 기능): 예측을 표시할 범주 기능 값을 지정합니다.
• 기능: 예측을 수행할 기능을 지정합니다.

반사실적 가상

반대 사실 분석은 원하는 예측 클래스(분류) 또는 범위(회귀)를 생성하도록 기능 값을 최소로 변경하여 생성된 다양한 가상 예 세트를 제공합니다.

1. 포인트 선택: 반대 사실을 만들고 그 아래의 최상위 기능 플롯에 표시할 포인트를 선택합니다.

   

   상위 기능 플롯: 원하는 클래스와 상반되는 다양한 반대 사실을 만들도록 교란할 수 있는 기능을 평균 빈도 내림차순으로 표시합니다. 반대 사실이 너무 적으면 정확도가 떨어지므로 이 차트를 사용하려면 데이터 포인트당 10개 이상의 다양한 반대 사실을 생성해야 합니다.

2. 선택한 데이터 포인트: 드롭다운 메뉴를 제외하고 테이블의 포인트 선택과 동일한 작업을 수행합니다.

3. 반대 사실에 대해 원하는 클래스: 반대 사실을 생성할 클래스 또는 범위를 지정합니다.

4. 가상 반대 사실 만들기: 반대 사실 가상 데이터 포인트를 만드는 패널을 엽니다.

   전체 창 패널을 열려면 가상 반대 사실 만들기 단추를 선택합니다.

   

5. 기능 검색: 값을 관찰하고 변경하려는 기능을 찾습니다.

6. 순위가 지정된 기능별로 반대 사실 정렬: 교란 효과의 순서로 반대 사실 예를 정렬합니다. (앞서 설명한 상위 순위 기능 플롯도 참조하세요.)

7. 반대 사실 예: 원하는 클래스 또는 범위가 있는 반대 사실 예의 기능 값을 나열합니다. 첫 번째 행은 원래 참조 데이터 포인트입니다. 값 설정을 선택하고 맨 아래 행에 있는 사용자 고유의 반대 사실 데이터 포인트의 모든 값을 미리 생성된 반대 사실 예의 값으로 설정합니다.

8. 예측된 값 또는 클래스: 이러한 변경된 기능을 고려하여 반대 사실 클래스의 모델 예측을 나열합니다.

9. 사용자 고유의 반대 사실 만들기: 고유의 기능을 교란하여 반대 사실을 수정할 수 있습니다. 원래 기능 값에서 변경된 기능은 굵게 표시된 제목으로 표시됩니다(예: 고용주 및 프로그래밍 언어). 원래 데이터 포인트와 새 예측 값의 차이를 보려면 예측 델타 보기를 선택합니다.

10. 가상 반대 사실 이름: 반대 사실의 이름을 고유하게 지정할 수 있습니다.

11. 새 데이터 포인트로 저장: 만든 반대 사실을 저장합니다.

일반 분석

다음 섹션에서는 선택한 사용자 지정 처리에서 데이터 세트에 대한 일반 분석을 읽는 방법을 설명합니다.

인과 영향 집계

일반 분석 요소의 인과 영향 탭을 선택하여 미리 정의된 처리 기능(결과를 최적화하기 위해 처리하려는 기능)에 대한 평균 인과 효과를 표시합니다.

참고 항목

일반 분석 구성 요소에는 전역 코호트 기능을 사용할 수 없습니다.

1. 직접 집계 인과 영향 테이블: 전체 데이터 세트 및 관련 신뢰도 통계에서 집계한 각 기능의 인과 영향을 표시합니다.

   • 연속 처리: 평균적으로 이 샘플에서 이 기능을 한 단위씩 늘리면 클래스의 확률이 X 단위로 증가합니다. 이때 X가 인과 영향입니다.
   • 이진 처리: 평균적으로 이 샘플에서 이 기능을 켜면 클래스의 확률이 X 단위 증가합니다. 이때 X가 인과 영향입니다.

2. 직접 집계 인과 영향 수염 플롯: 포인트의 인과 영향 및 신뢰도 간격을 표로 시각화합니다.

개별 인과 영향 및 인과 가상

개별 데이터 포인트에 미치는 인과 영향을 세부적으로 보려면 개별 인과 개별 인과 관계 가상 탭으로 전환합니다.

1. X축: X축에 표시할 기능을 선택합니다.
2. Y축: Y축에 표시할 기능을 선택합니다.
3. 개별 인과 산점도: 테이블의 점을 산점도로 시각화하여 인과 관계 가상을 분석하고 그 아래의 개별 인과 영향을 보기 위한 데이터 포인트를 선택합니다.
4. 새 처리 값 설정:
   • (숫자): 숫자 기능의 값을 실제 개입으로 변경하는 슬라이더를 표시합니다.
   • (범주): 범주 기능의 값을 선택하기 위한 드롭다운 목록을 표시합니다.

처리 정책

처리 정책 탭을 선택하여 실제 개입을 결정할 수 있도록 하는 보기로 전환하고 특정 결과를 달성하기 위해 적용할 처리가 표시됩니다.

1. 처리 기능 설정: 실제 개입으로 변경할 기능을 선택합니다.

2. 권장 전역 처리 정책: 대상 기능 값을 개선하기 위해 데이터 코호트에 권장하는 개입을 표시합니다. 테이블은 왼쪽에서 오른쪽으로 읽을 수 있으며 데이터 세트의 세분화는 첫 번째 행 다음에 첫 번째 열의 순서입니다. 예를 들어 고용주는 Snapchat이 아니고 프로그래밍 언어는 JavaScript가 아닌 658명의 개인에게 권장하는 처리 정책은 기여한 GitHub 리포지토리의 수를 늘리는 것입니다.

   항상 처리를 적용하는 것에 비해 대체 정책의 평균 이득: 위의 권장 처리 정책과 항상 처리 적용의 결과에서 얻은 대상 기능 값을 평균 이득 가로 막대형 차트에 표시합니다.

   

   권장 개별 처리 정책:

   

3. 권장 처리 기능의 인과 영향을 기준으로 정렬된 상위 k개 데이터 포인트 샘플 표시: 테이블에 표시할 데이터 포인트 수를 선택합니다.

4. 권장 개별 처리 정책 표: 개입을 통해 대상 기능이 가장 많이 개선될 데이터 포인트를 인과 영향 내림차순으로 나열합니다.

다음 단계

• 책임 있는 AI 성과 기록표를 PDF로 내보내기를 사용하여 책임 있는 AI 인사이트를 요약하고 공유합니다.
• 책임 있는 AI 대시보드의 개념 및 기술에 대해 자세히 알아봅니다.
• 샘플 YAML 및 Python Notebook을 살펴보고 YAML 또는 Python을 사용하여 책임 있는 AI 대시보드를 생성합니다.
• 이 대화형 AI 랩 웹 데모를 통해 책임 있는 AI 대시보드의 기능을 살펴봅니다.
• 이 기술 커뮤니티 블로그 게시물에서 책임 있는 AI 대시보드와 성과 기록표를 사용하여 데이터와 모델을 디버그하고 더 나은 의사 결정을 내리는 방법에 대해 자세히 알아봅니다.
• 실제 고객 사례에서 영국 NHS(National Health Service)에서 책임 있는 AI 대시보드와 성과 기록표를 어떻게 사용했는지 알아봅니다.