Opcións de configuración avanzadas en Azure Synapse Link
Azure Synapse Link ofrece múltiples xeitos de escribir e ler os seus datos para axustalos a varios escenarios analíticos. Dependendo do seu escenario analítico, pode escoller unha configuración específica entre as opcións seguintes.
| Escenario | Aplícase a | Opcións de configuración dispoñibles |
|---|---|---|
| Informes operativos | Dataverse táboas, táboas de finanzas e operacións e entidades | Synapse Analytics coa opción Delta lake ofrece mellores veces a consulta resposta especialmente aplicable para consultar grandes cantidades de datos. Máis información: Synapse Link coa opción do lago Delta |
| Informes operativos | Dataverse só táboas | Synapse Link coa opción de configuración "Actualización no lugar" ofrece ficheiros CSV no teu lago de datos que se actualizan case en tempo real Esta é unha opción antiga dispoñible para Dataverse táboas. Esta opción non é compatible con táboas de aplicacións de finanzas e operacións |
| Integración de datos | Dataverse táboas e táboas e entidades de finanzas e operacións | A opción "Só Anexar ofrece ficheiros CSV que conteñen datos incrementais. Podes crear canalizacións que consuman datos incrementais e enche os sistemas posteriores A función de partición de datos especificada polo usuario permite escoller unha estratexia de partición de datos personalizada específicamente para Dataverse táboas. Os datos das táboas financeiras e de operacións son particionados polo sistema en función da estratexia de partición adecuada. Esta opción non está dispoñible para aplicacións de finanzas e operacións |
Nota
Azure Synapse Link for Dataverse antes era coñecido como Exportar a lago de datos. O servizo cambiou o nome a partir de maio de 2021 e seguirá exportando datos a Azure Data Lake Storage así como a Azure Synapse Analytics. A partir de setembro de 2023, Azure Synapse Link tamén che permite escoller datos das aplicacións financeiras e de operacións de Dynamics 365. Non todos os patróns de integración son compatibles con aplicacións de finanzas e operacións. Para obter orientación sobre a transición da función Exportar a lago de datos en aplicacións de finanzas e operacións a Synapse Link, vai á Guía de transición.
Este artigo trata as opcións de configuración avanzadas dispoñibles para Dataverse táboas. Estas opcións non están dispoñibles para aplicacións de finanzas e operacións.
- Actualizacións no lugar fronte a escrituras de só anexo.
- Partición de datos especificada polo usuario.
Actualizacións no lugar fronte a escrituras de só anexo
Ao escribir Dataverse datos da táboa no lago de datos de Azure, en función do valor createdOn , que é a data e a hora en que se creou o rexistro, hai dúas opcións de configuración diferentes para escoller. Son, Actualización no lugar e Anexar só.
A configuración predeterminada (para táboas nas que createdOn está dispoñible) é facer unha actualización local ou unha inserción (actualización ou inserción) dos datos incrementais no destino. Se o cambio é novo e non existe unha fila correspondente no lago, no caso dunha creación, os ficheiros de destino escanéanse e os cambios insírense na partición de ficheiro correspondente no lago. Se o cambio é unha actualización e existe unha fila no lago, o ficheiro correspondente do lago actualízase, no canto de inserilo, cos datos incrementais. Noutras palabras, a configuración predeterminada para todos os cambios CUD (crear, actualizar, eliminar) nas Dataverse táboas, onde createdOn está dispoñible, é facer unha actualización no lugar de destino, en Azure Data Lake.
Podes cambiar o comportamento predeterminado dunha actualización no lugar mediante unha configuración opcional chamada Anexar só. En lugar dunha Actualización no lugar, no modo Engadir só datos incrementais de Dataverse as táboas engádense á partición do ficheiro correspondente no lago. Esta é unha configuración por táboa e está dispoñible como unha caixa de verificación en Avanzado>Mostrar opcións de configuración avanzadas. Para Dataverse táboas con Só Anexar activado, todos os cambios CUD engádense gradualmente aos ficheiros de destino correspondentes no lago. Cando escolles esta opción, a estratexia de partición por defecto é Ano e cando os datos se escriben no lago de datos, divídense anualmente. Só engadir tamén é a configuración predeterminada para Dataverse táboas que non teñen createdOn valor.
Esta táboa describe como se manexan as filas no lago contra eventos CUD para cada unha das opcións de escritura de datos.
| Evento | Actualización en curso | Só anexar |
|---|---|---|
| Crear | A fila insírese no ficheiro de partición e baséase no createdOn valor da fila. |
A fila engádese ao final do ficheiro de partición e baséase no createdOn valor do rexistro. |
| Update | Se a fila existe no ficheiro de partición, entón substituirase ou actualizarase con datos actualizados. Se non existe, insírese no ficheiro. | A fila, xunto coa versión actualizada, engádese ao final do ficheiro de partición. |
| Delete | Se a fila existe no ficheiro de partición, eliminarase do ficheiro. | A fila engádese ao final do ficheiro de partición con IsDelete column = True. |
Nota
Para Dataverse táboas nas que Só engadir está activado, ao eliminar unha fila da orixe non se eliminará nin eliminará a fila do lago. Pola contra, a fila eliminada engádese como unha nova fila no lago e a isDeleted columna defínese como Verdadero.
A lectura sucia (ALLOW_INCONSISTENT_READS) para sen servidor está habilitada para o modo de só engadir. ALLOW_INCONSISTENT_READS significa que o usuario pode ler os ficheiros que se poden modificar constantemente mentres se executa a SELECT consulta. Os resultados serán consistentes e equivalentes á lectura dun instantánea do ficheiro. (Non é equivalente ao illamento da base de datos instantánea debido ao diferente tempo de xeración de instantánea).
Non todos os cambios de CUD se capturarán en só anexar: Synapse Link procesa os cambios nos datos en grupos ou "lotes" antes de publicalos no data lake. Como resultado, se o usuario realiza cambios nun intervalo de tempo curto, non todos os cambios CUD se capturarán no lago de datos.
Aquí ten algúns detalles adicionais sobre cando usar calquera das opcións.
- Actualización no lugar: esta opción é a configuración predeterminada e só recoméndase se quere conectarse directamente aos datos do lago e precisa do estado actual (non do historial nin de cambios incrementais). O ficheiro contén o conxunto de datos completo e pódese utilizar a través de Power BI ou copiando todo o conxunto de datos para canalizacións ETL (Extract, Transfer, Load).
- Engadir só: seleccione esta opción se non se está conectando directamente aos datos do lago e quere copiar os datos de forma incremental a outro destino mediante canalizacións ETL. Esta opción proporciona un historial de cambios para permitir escenarios de IA e ML.
Podes activar Mostrar a configuración avanzada en Avanzado en Azure Synapse Link for Dataverse para personalizar os teus datos estratexia de partición e seleccione opcións para escribir no lago de datos de Azure.
Partición de datos
Cando escribe Dataverse datos da táboa no almacenamento de Azure Data Lake usando Azure Synapse Link, as táboas particionan (en lugar dun único ficheiro) no lago en función do createdOn valor en cada fila da fonte. A estratexia de partición predeterminada é por mes e os datos están particionados en Azure Data Lake cada mes.
En función do volume da táboa de Dataverse e a distribución de datos, pode escoller dividir os seus datos por ano. Con esta opción, cando se escriben Dataverse datos da táboa no lago de datos de Azure, particionaranse anualmente en función do valor createdOn de cada fila da fonte. Para as táboas sen a createdOn columna, as filas de datos divídense nun ficheiro novo cada rexistro 5,000,000. Esta é unha configuración por táboa e está dispoñible como unha caixa de verificación en Avanzado>Mostrar configuración avanzada.
Detalles adicionais con exemplos de como se manexan os datos no lago cunha estratexia de partición anual ou mensual:
