Överväganden för lokal datagateway för datamål i Dataflow Gen2

Den här artikeln försöker lista begränsningar och överväganden när du använder Data Gateway med scenarier för datamål i Dataflow Gen2.

Tidsgränser för utvärdering

Dataflöden som använder en gateway och datamålfunktionen är begränsade till en utvärderings- eller uppdateringstid på en timme.

Läs mer om den här begränsningen i artikeln Felsöka den lokala datagatewayen.

Nätverksproblem med port 1433

När du använder Microsoft Fabric Dataflow Gen2 med en lokal datagateway kan det uppstå problem med dataflödesuppdateringsprocessen. Det underliggande problemet uppstår när gatewayen inte kan ansluta till dataflödets mellanlagring i Lakehouse för att kunna läsa data innan den kopieras till önskat datamål. Det här problemet kan inträffa oavsett vilken typ av datamål som används.

Under den övergripande dataflödesuppdateringen kan tabelluppdateringen visas som "Lyckades", men aktivitetsavsnittet visas som "Misslyckades". Felinformationen för aktiviteten WriteToDatabaseTableFrom_... indikerar följande fel:

Mashup Exception Error: Couldn't refresh the entity because of an issue with the mashup document MashupException.Error: Microsoft SQL: A network-related or instance-specific error occurred while establishing a connection to SQL Server. The server was not found or was not accessible. Verify that the instance name is correct and that SQL Server is configured to allow remote connections. (provider: TCP Provider, error: 0 - An attempt was made to access a socket in a way forbidden by its access permissions.) Details: DataSourceKind = Lakehouse;DataSourcePath = Lakehouse;Message = A network-related or instance-specific error occurred while establishing a connection to SQL Server. The server was not found or was not accessible. Verify that the instance name is correct and that SQL Server is configured to allow remote connections. (provider: TCP Provider, error: 0 - An attempt was made to access a socket in a way forbidden by its access permissions.);ErrorCode = -2146232060;Number = 10013

Kommentar

Ur ett arkitekturperspektiv använder dataflödesmotorn en utgående HTTPS-slutpunkt (port 443) för att skriva data till ett Lakehouse. Läsning av data från Lakehouse kräver dock användning av TDS-protokollet (TCP över port 1433). Det här protokollet används för att kopiera data från mellanlagringssjön till datamålet. Detta förklarar varför steget För att läsa in tabeller lyckas medan datamålaktiviteten misslyckas, även när båda lakehouses finns i samma OneLake-instans.

Felsökning

Felsök problemet med hjälp av följande steg:

1. Bekräfta att dataflödet har konfigurerats med ett datamål.

   

2. Kontrollera att dataflödesuppdateringen misslyckas, med tabelluppdatering som "Lyckades" och aktiviteter som visas som "Misslyckades".

   

3. Granska felinformationen för aktiviteten WriteToDatabaseTableFrom_..., som innehåller information om det påträffade felet.

   

Lösning: Ange nya brandväggsregler på servern som kör gatewayen

Brandväggsreglerna på gatewayservern och/eller kundens proxyservrar måste uppdateras för att tillåta utgående trafik från gatewayservern till följande:

• Protokoll: TCP
• Slutpunkter: *.datawarehouse.pbidedicated.windows.net, *.datawarehouse.fabric.microsoft.com, *.dfs.fabric.microsoft.com
• Port: 1433

Kommentar

I vissa scenarier, särskilt när kapaciteten finns i en region som inte är närmast gatewayen, kan det vara nödvändigt att konfigurera brandväggen för att tillåta åtkomst till flera slutpunkter(*cloudapp.azure.com). Den här justeringen krävs för att hantera omdirigeringar som kan inträffa under dessa förhållanden. Om trafiken till *.cloudapp.azure.com inte fångas upp av regeln kan du också tillåta IP-adresserna för din dataregion i brandväggen.

Om du vill begränsa slutpunktens omfattning till den faktiska OneLake-instansen på en arbetsyta (i stället för jokertecknet *.datawarehouse.pbidedicated.windows.net) kan du hitta webbadressen genom att navigera till arbetsytan Infrastruktur, hitta DataflowsStagingLakehouseoch välja Visa information. Kopiera och klistra sedan in SQL-anslutningssträng.

Hela slutpunktsnamnet ser ut ungefär som i följande exempel:

x6eps4xrq2xudenlfv6naeo3i4-l27nd6wdk4oephe4gz4j7mdzka.datawarehouse.pbidedicated.windows.net

Lösning: Dela upp dataflödet i ett separat inmatnings- och inläsningsdataflöde

Om du inte kan uppdatera brandväggsreglerna kan du dela upp dataflödet i två separata dataflöden. Det första dataflödet ansvarar för att mata in data i mellanlagringssjöhuset. Det andra dataflödet ansvarar för att läsa in data från mellanlagringssjöhuset till datamålet. Den här lösningen är inte idealisk eftersom den kräver två separata dataflöden, men den kan användas som en tillfällig lösning tills brandväggsreglerna kan uppdateras.

Följ dessa steg för att implementera den här lösningen:

1. Ta bort datamålet från ditt aktuella dataflöde som matar in data via din gateway.

   

2. Skapa ett nytt dataflöde som använder dataflödesanslutningen för att ansluta till inmatningsdataflödet. Det här dataflödet ansvarar för att mata in data från mellanlagring till datamålet.

   

   

3. Ange datamålet som det datamål du väljer för det nya dataflödet.

   

4. Du kan också inaktivera mellanlagring för det nya dataflödet. Den här ändringen förhindrar att data kopieras till mellanlagringssjön igen och kopierar i stället data direkt från inmatningsdataflödet till datamålet.