Fabric Data Factory의 Dataflow Gen2는 변환된 데이터를 저장하기 위한 다양한 데이터 대상을 지원합니다. 데이터 원본과 마찬가지로 데이터 대상에는 데이터 무결성을 보장하기 위한 특정 유효성 검사 규칙이 있으며 새로 고침 작업 중에 데이터가 올바르게 기록됩니다. 이 문서에서는 Dataflow Gen2에서 지원하는 데이터 대상에 대한 유효성 검사 규칙을 간략하게 설명합니다.
유효성 검사 작동 방식
Dataflow Gen2에서 쿼리에 대한 데이터 대상을 구성하는 경우 시스템은 유효성 검사를 수행하여 다음을 확인합니다.
- 대상 쿼리가 올바르게 구성되었으며 찾을 수 있습니다.
- 대상 스크립트는 유효한 형식을 반환합니다.
- 대상 쿼리의 데이터 원본 참조가 올바르게 확인됨
- 출력당 하나의 대상 쿼리만 존재합니다.
이러한 유효성 검사는 게시 프로세스 중 및 각 새로 고침 작업이 시작될 때 실행됩니다. 유효성 검사에 실패하면 데이터 흐름이 게시되지 않거나 문제가 해결될 때까지 새로 고침 작업이 차단됩니다.
유효성 검사가 발생하는 경우
데이터 대상의 유효성 검사는 데이터 흐름 수명 주기의 여러 지점에서 발생합니다.
| 단계 | 설명 |
|---|---|
| 작성 | 파워 쿼리 편집기에서 데이터 대상을 구성할 때 기본 유효성 검사가 수행됩니다. |
| 게시 | 전체 유효성 검사는 데이터 흐름을 게시할 때 실행됩니다. 유효성 검사 오류로 인해 게시가 완료되지 않습니다. |
| 새로 고침 | 유효성 검사는 각 새로 고침의 시작 부분에 실행되어 대상이 여전히 유효하고 액세스할 수 있는지 확인합니다. |
데이터 대상에 대한 유효성 검사 규칙 작성
다음 표에서는 Dataflow Gen2의 데이터 대상에 적용되는 제작 유효성 검사 규칙을 나열합니다. 이러한 규칙은 데이터 대상이 올바르게 구성되도록 하는 데 도움이 됩니다.
| 유효성 검사 규칙 | 설명 |
|---|---|
| DestinationQueryNotFound | 대상 쿼리를 찾을 수 없습니다. 이 오류는 대상에 대한 탐색 단계가 포함된 내부 쿼리가 누락되었거나 제거된 경우에 발생합니다. |
| DestinationTransformQueryNotFound | 대상 변환 쿼리를 찾을 수 없습니다. 이 오류는 대상 변환 쿼리가 예상되지만(대상 설정에 정의된 대로) 위치할 수 없는 경우에 발생합니다. 테이블 대상에는 변환 쿼리가 없습니다. |
| DestinationQueryChallenge | 유효성 검사 중에 대상 쿼리에 문제가 발생했습니다. 이는 일반적으로 대상에 연결할 때 인증 또는 권한 부여 문제를 나타냅니다. |
| DestinationQueryException | 유효성 검사 중에 대상 쿼리에 예외가 발생했습니다. 이 오류는 대상 쿼리의 유효성을 검사하는 동안 예기치 않은 오류가 발생했음을 나타냅니다. |
| 대상 쿼리에 지원되지 않는 스크립트가 있습니다 | 대상 쿼리에는 지원되지 않는 스크립트가 포함되어 있습니다. 이 오류는 대상 스크립트가 잘못된 형식(테이블, 이진 또는 null 아님)을 반환하거나 대상 쿼리에서 참조된 여러 데이터 원본 또는 0개의 데이터 원본 또는 잘못된 리소스 종류로 인해 데이터 원본 확인이 실패할 때 발생할 수 있습니다. 알려진 제한 사항은 단일 대상 쿼리에서 여러 리소스 종류를 사용하는 것입니다(예: Lakehouse에서 값을 가져오는 매개 변수를 사용하여 단계 필터링을 포함하는 웨어하우스 대상 쿼리). |
| MultipleDestinationQueries | 하나만 필요한 경우 여러 대상 쿼리가 발견되었습니다. 내부 계약이 대상 배열을 지원하지만 표준 작성 환경에서는 쿼리당 단일 대상만 구성할 수 있기 때문에 이 유효성 검사가 존재합니다. 이 오류는 CI/CD를 통해 직접 데이터 흐름 정의를 편집할 때 발생할 수 있습니다. |
| UnknownError | 일반적으로 네트워크 문제 또는 서비스 오류로 인해 유효성 검사 중에 알 수 없는 오류가 발생했습니다. UI에 표시되지 않는 이 오류는 아무런 표시 없이 실패를 초래합니다. |
유효성 검사 오류 문제 해결
유효성 검사 오류가 발생하면 다음 지침을 사용하여 문제를 해결합니다.
DestinationQueryNotFound 및 DestinationTransformQueryNotFound
이러한 오류는 내부 대상 쿼리가 누락되었음을 나타냅니다. 해결하려면:
- 파워 쿼리 편집기에서 데이터 흐름을 엽니다.
- 영향을 받는 쿼리에서 기존 데이터 대상을 제거합니다.
- 리본 또는 쿼리 설정에서 데이터 대상 추가를 선택하여 데이터 대상 을 다시 구성합니다.
- 데이터 흐름을 다시 게시합니다.
목적지쿼리도전
이 오류는 일반적으로 인증 문제를 나타냅니다. 해결하려면:
- 연결 자격 증명이 여전히 유효한지 확인합니다.
- 대상에 대한 적절한 권한이 있는지 확인합니다.
- 연결을 편집하고 다시 인증해 보세요.
- 서비스 주체를 사용하는 경우 자격 증명이 만료되지 않았는지 확인합니다.
DestinationQueryException (목적지 질의 예외)
이 오류는 예기치 않은 예외가 발생했음을 나타냅니다. 해결하려면:
- 대상 서비스 상태를 확인하여 사용할 수 있는지 확인합니다.
- 대상 테이블 또는 파일 경로가 여전히 있는지 확인합니다.
- 대상 스키마 또는 권한에 대한 최근 변경 내용을 검토합니다.
- 데이터 대상을 제거하고 다시 구성해 봅니다.
대상 쿼리에 지원되지 않는 스크립트가 포함되어 있습니다
이러한 오류는 여러 원인으로 인해 발생할 수 있습니다. 해결하려면:
- 잘못된 반환 형식: 대상 쿼리가 테이블, 이진 또는 null 값을 반환하는지 확인합니다. 함수, 목록 및 기타 형식은 대상으로 지원되지 않습니다.
- 데이터 원본이 0개: 대상 쿼리에 유효한 데이터 원본 참조가 있는지 확인합니다.
- 여러 리소스 종류: 단일 대상 쿼리에서 서로 다른 리소스 종류를 혼합하지 마세요. 예를 들어 Lakehouse에서 값을 가져오는 매개 변수를 사용하여 필터링하는 웨어하우스 대상 쿼리를 사용하지 마세요. 대신 동일한 종류의 리소스를 사용하거나 데이터 흐름을 재구성합니다.
다중 목적지 쿼리
이 오류는 쿼리에 여러 대상 구성이 있을 때 발생하며 CI/CD를 통해 직접 데이터 흐름 정의를 편집할 때 발생할 수 있습니다. 표준 작성 환경에서는 쿼리당 하나의 대상만 허용합니다. 해결하려면:
- 데이터 흐름 정의를 검토하여 여러 대상이 구성된 쿼리를 식별합니다.
- 정의에서 중복 대상 구성을 제거합니다.
- 여러 대상에 데이터를 로드해야 하는 경우 각 대상에 대해 별도의 쿼리를 만듭니다.
알 수 없는 오류
이 오류는 UI에 표시되지 않으므로 자동 새로 고침 실패로 표시될 수 있습니다. 문제점을 해결하려면:
- 추가 오류 세부 정보는 새로 고침 기록을 확인합니다.
- 데이터 대상을 제거하고 다시 구성해 봅니다.
- 문제가 지속되면 데이터 흐름을 다시 만드는 것이 좋습니다.
데이터 대상에 대한 모범 사례
유효성 검사 오류를 방지하고 신뢰할 수 있는 데이터 로드를 보장하려면 다음을 수행합니다.
- 정기적으로 연결 테스트: 대상 연결이 작동하고 자격 증명이 유효한지 주기적으로 확인합니다.
- 관리되는 설정 사용: 가능하면 새 테이블에 대한 자동 설정을 사용하여 Dataflow Gen2에서 매핑을 관리할 수 있도록 합니다.
- 새로 고침 기록 모니터링: 데이터 흐름 새로 고침 기록을 정기적으로 확인하여 문제를 조기에 파악합니다.
- 데이터 흐름 문서화: 문제 해결을 더 쉽게 수행할 대상에 로드되는 쿼리를 추적합니다.