Consideraciones sobre la puerta de enlace de datos VNET local para destinos de datos en Dataflow Gen2

En este artículo se enumeran las limitaciones y consideraciones al usar data Gateway con escenarios de destinos de datos en Dataflow Gen2.

Problemas de red con el puerto 1433 al hacer referencia a consultas

Al usar Microsoft Fabric Dataflow Gen2 con una puerta de enlace de datos local, es posible que encuentre problemas con el proceso de actualización del flujo de datos. El problema subyacente se produce cuando la puerta de enlace no puede conectarse en el almacén de lago de datos de almacenamiento provisional del flujo de datos para leer los datos antes de usarlos en la consulta a la que se hace referencia a los datos almacenados provisionalmente. Este problema ya no es un problema si tiene una sola consulta que no hace referencia a datos almacenados provisionalmente y escribe en un destino de datos.

Durante la actualización general del flujo de datos, la actualización de tablas puede mostrarse como "Correcto", pero la sección de actividades se muestra como "Error". Los detalles del error de la actividad WriteToDatabaseTableFrom_... indican el siguiente error:

Mashup Exception Error: Couldn't refresh the entity because of an issue with the mashup document MashupException.Error: Microsoft SQL: A network-related or instance-specific error occurred while establishing a connection to SQL Server. The server was not found or was not accessible. Verify that the instance name is correct and that SQL Server is configured to allow remote connections. (provider: TCP Provider, error: 0 - An attempt was made to access a socket in a way forbidden by its access permissions.) Details: DataSourceKind = Lakehouse;DataSourcePath = Lakehouse;Message = A network-related or instance-specific error occurred while establishing a connection to SQL Server. The server was not found or was not accessible. Verify that the instance name is correct and that SQL Server is configured to allow remote connections. (provider: TCP Provider, error: 0 - An attempt was made to access a socket in a way forbidden by its access permissions.);ErrorCode = -2146232060;Number = 10013

Nota:

Desde una perspectiva arquitectónica, el motor de flujo de datos usa un punto de conexión HTTPS de salida (puerto 443) para escribir datos en una instancia de Lakehouse. Sin embargo, la lectura de datos de Lakehouse requiere el uso del protocolo TDS (TCP a través del puerto 1433). Este protocolo se utiliza para copiar los datos del almacén de lago de datos de almacenamiento provisional a la consulta a la que se hace referencia para su posterior procesamiento. Esto explica por qué la primera consulta tiene éxito, mientras que la consulta que hace referencia a la primera podría fallar, incluso cuando ambas lakehouses están en la misma instancia de OneLake.

Solucionar problemas

Para solucionar el problema, revise los detalles del error de la tabla o actividad que falló, que proporcionan información sobre el error encontrado.

Solución: Establecimiento de nuevas reglas de firewall en el servidor que ejecuta la puerta de enlace

Es necesario actualizar las reglas de firewall en el servidor de la puerta de enlace y/o en los servidores proxy del cliente para permitir el tráfico saliente desde el servidor de puerta de enlace a los puntos de conexión indicados a continuación. Si el firewall no admite caracteres comodín, use las direcciones IP de intervalos IP de Azure y etiquetas de servicio. Deben mantenerse sincronizados cada mes.

• Protocolo: TCP
• Puntos de conexión: *.datawarehouse.pbidedicated.windows.net, *.datawarehouse.fabric.microsoft.com, *.dfs.fabric.microsoft.com
• Puerto:1433

Nota:

En determinados escenarios, especialmente cuando la capacidad se encuentra en una región que no es la más cercana a la puerta de enlace, podría ser necesario configurar el firewall para permitir el acceso a varios puntos de conexión (*cloudapp.azure.com). Este ajuste es necesario para dar cabida a las redirecciones que pueden producirse en estas condiciones. Si el tráfico destinado a *.cloudapp.azure.com no se intercepta mediante la regla, también puedes permitir las direcciones IP de la región de datos en el firewall.

Si quiere restringir el alcance del punto de conexión a la instancia real de OneLake en un área de trabajo (en lugar del comodín *.datawarehouse.pbidedicated.windows.net), esa URL se puede encontrar desplazándose al área de trabajo de Fabric, localizandoDataflowsStagingLakehouse, y seleccionando Ver detalles. A continuación, copie y pegue la cadena de conexión SQL.

El nombre completo del punto de conexión es similar al ejemplo siguiente:

x6eps4xrq2xudenlfv6naeo3i4-l27nd6wdk4oephe4gz4j7mdzka.datawarehouse.pbidedicated.windows.net

Solución alternativa: combinar varias consultas en una o deshabilitar el almacenamiento provisional de las consultas

Si no puede actualizar las reglas de firewall, puede combinar las consultas que se hacen referencia entre sí en una sola consulta o deshabilitar el almacenamiento provisional en todas las consultas a las que se hace referencia. Aunque no es una solución final y podría afectar al rendimiento con transformaciones complejas, pero se puede usar como solución temporal hasta que se puedan actualizar las reglas de firewall.