매핑 데이터 흐름 디버그
매핑 데이터 흐름을 빌드하는 동안 데이터 변환이 어떻게 실행되는지 대화형으로 관찰하여 해당 데이터 변환을 디버그할 수 있습니다. 해당 기능을 사용하려면 먼저, “데이터 흐름 디버그” 기능을 활성화해야 합니다.
디버그를 클릭하면 매핑 데이터 흐름 변환과 상호 작용하는 데 필요한 Spark 클러스터가 프로비저닝됩니다. 디버그를 활성화하면 환경에서 사용하는 데 필요한 Integration Runtime을 선택하라는 메시지가 표시됩니다. AutoResolveIntegrationRuntime을 선택하면 코어 8개가 있는 클러스터가 60분의 TTL(Time to Live) 값으로 제공됩니다.
참고
일반적으로 클러스터가 실행되는 데 5~7분이 걸립니다. 이 모드가 켜져 있고 Spark 클러스터가 실행되면 데이터 흐름을 단계별로 빌드하고 각 변환 단계를 통해 실행되는 데이터를 확인할 수 있습니다.
데이터 미리 보기 탭은 파이프라인의 각 스테이지에서 데이터를 볼 수 있는 디버그 모드에서 사용할 수 있습니다. 각 변환 후 데이터를 볼 수 있습니다. 또한 데이터 미리 보기에서는 데이터의 기술 통계를 검토하는 것과 같이 데이터에 대한 작업을 수행하는 기능 또는 데이터를 수정하는 기능도 제공합니다.
마지막으로, 디버그 설정을 사용하여 데이터 미리 보기 내에서 반환되는 행 수를 제어할 수 있습니다.
참고
반환되는 행 수를 제한할 때는 데이터가 올바른지 확인할 수 있을 정도로 효율적으로 제한하는 것이 좋습니다. 데이터 세트가 클수록 결과를 반환하는 데 더 오래 걸립니다. 또한 디버그 설정을 사용하여 파이프라인 실행 중에 사용해야 하는 매개 변수 값을 지정할 수도 있습니다.