Dataflow Gen2의 데이터 대상에 대한 온-프레미스 데이터 게이트웨이 고려 사항

아티클
03/21/2024

이 문서에서는 Dataflow Gen2에서 데이터 대상 시나리오와 함께 Data Gateway를 사용할 때의 제한 사항 및 고려 사항을 나열하려고 합니다.

평가 시간 제한

게이트웨이 및 데이터 대상 기능을 사용하는 데이터 흐름은 1시간의 평가 또는 새로 고침 시간으로 제한됩니다.

온-프레미스 데이터 게이트웨이 문제 해결 문서의 문서에서 이 제한 사항에 대해 자세히 알아봅니다.

포트 1433의 네트워크 문제

온-프레미스 데이터 게이트웨이에서 Microsoft Fabric Dataflow Gen2를 사용하는 경우 데이터 흐름 새로 고침 프로세스에 문제가 발생할 수 있습니다. 기본 문제는 게이트웨이가 원하는 데이터 대상으로 복사하기 전에 데이터를 읽기 위해 데이터 흐름 준비 Lakehouse에 연결할 수 없는 경우에 발생합니다. 이 문제는 사용 중인 데이터 대상의 형식에 관계없이 발생할 수 있습니다.

전체 데이터 흐름 새로 고침 중에 테이블 새로 고침은 "성공"으로 표시될 수 있지만 작업 섹션은 "실패"로 표시됩니다. 작업에 WriteToDatabaseTableFrom_... 대한 오류 세부 정보는 다음 오류를 나타냅니다.

Mashup Exception Error: Couldn't refresh the entity because of an issue with the mashup document MashupException.Error: Microsoft SQL: A network-related or instance-specific error occurred while establishing a connection to SQL Server. The server was not found or was not accessible. Verify that the instance name is correct and that SQL Server is configured to allow remote connections. (provider: TCP Provider, error: 0 - An attempt was made to access a socket in a way forbidden by its access permissions.) Details: DataSourceKind = Lakehouse;DataSourcePath = Lakehouse;Message = A network-related or instance-specific error occurred while establishing a connection to SQL Server. The server was not found or was not accessible. Verify that the instance name is correct and that SQL Server is configured to allow remote connections. (provider: TCP Provider, error: 0 - An attempt was made to access a socket in a way forbidden by its access permissions.);ErrorCode = -2146232060;Number = 10013

참고 항목

아키텍처 관점에서 데이터 흐름 엔진은 아웃바운드 HTTPS(포트 443) 엔드포인트를 사용하여 Lakehouse에 데이터를 씁니다. 그러나 Lakehouse에서 데이터를 읽으려면 TDS 프로토콜(포트 1433을 통해 TCP)을 사용해야 합니다. 이 프로토콜은 스테이징 레이크하우스에서 데이터 대상으로 데이터를 복사하는 데 사용됩니다. 이는 두 레이크하우스가 동일한 OneLake 인스턴스에 있는 경우에도 데이터 대상 작업이 실패하는 동안 테이블 로드 단계가 성공하는 이유를 설명합니다.

문제 해결

이 문제를 해결하려면 다음 단계를 수행합니다.

데이터 흐름이 데이터 대상으로 구성되어 있는지 확인합니다.
테이블 새로 고침이 "성공"으로 표시되고 활동이 "실패"로 표시되어 데이터 흐름 새로 고침이 실패했는지 확인합니다.
발생한 오류에 대한 정보를 제공하는 작업에 WriteToDatabaseTableFrom_...대한 오류 세부 정보를 검토합니다.

해결 방법: 게이트웨이를 실행하는 서버에서 새 방화벽 규칙 설정

게이트웨이 서버 및/또는 고객의 프록시 서버에 대한 방화벽 규칙을 업데이트하여 게이트웨이 서버에서 다음으로의 아웃바운드 트래픽을 허용해야 합니다.

프로토콜: TCP
엔드포인트: *.datawarehouse.pbidedicated.windows.net, *.datawarehouse.fabric.microsoft.com, *.dfs.fabric.microsoft.com
포트: 1433

참고 항목

특정 시나리오에서 특히 용량이 게이트웨이에 가장 가깝지 않은 지역에 있는 경우 여러 엔드포인트(*cloudapp.azure.com)에 대한 액세스를 허용하도록 방화벽을 구성해야 할 수 있습니다. 이러한 조건에서 발생할 수 있는 리디렉션을 수용하려면 이 조정이 필요합니다. *.cloudapp.azure.com 대상으로 하는 트래픽이 규칙에 의해 가로채지 않는 경우 방화벽에서 데이터 영역에 대한 IP 주소를 허용할 수도 있습니다.

엔드포인트의 범위를 작업 영역의 실제 OneLake 인스턴스로 좁히려면(와일드카드 *.datawarehouse.pbidedicated.windows.net 대신) 패브릭 작업 영역으로 이동하여 세부 정보 보기를 선택하여 해당 URL을 DataflowsStagingLakehouse찾을 수 있습니다. 그런 다음, SQL 연결 문자열 복사하여 붙여넣습니다.

전체 엔드포인트 이름은 다음 예제와 유사합니다.

x6eps4xrq2xudenlfv6naeo3i4-l27nd6wdk4oephe4gz4j7mdzka.datawarehouse.pbidedicated.windows.net

해결 방법: 별도의 수집 및 로드 데이터 흐름에서 데이터 흐름 분할

방화벽 규칙을 업데이트할 수 없는 경우 데이터 흐름을 두 개의 개별 데이터 흐름으로 분할할 수 있습니다. 첫 번째 데이터 흐름은 스테이징 레이크하우스에 데이터를 수집합니다. 두 번째 데이터 흐름은 스테이징 레이크하우스에서 데이터 대상으로 데이터를 로드하는 작업을 담당합니다. 이 해결 방법은 별도의 두 데이터 흐름을 사용해야 하지만 방화벽 규칙을 업데이트할 때까지 임시 솔루션으로 사용할 수 있으므로 이상적이지 않습니다.

이 해결 방법을 구현하려면 다음 단계를 수행합니다.

게이트웨이를 통해 데이터를 수집하는 현재 데이터 흐름에서 데이터 대상을 제거합니다.
데이터 흐름 커넥터를 사용하여 수집 데이터 흐름에 연결하는 새 데이터 흐름을 만듭니다. 이 데이터 흐름은 준비에서 데이터 대상으로 데이터를 수집해야 합니다.
데이터 대상을 이 새 데이터 흐름에 대해 선택한 데이터 대상으로 설정합니다.
필요에 따라 이 새 데이터 흐름에 대한 스테이징을 사용하지 않도록 설정할 수 있습니다. 이렇게 변경하면 데이터가 스테이징 레이크하우스에 다시 복사되지 않고 수집 데이터 흐름에서 데이터 대상으로 직접 데이터를 복사합니다.