Este artigo ofrece información sobre as preguntas máis frecuentes sobre a exportación de datos de táboa de Microsoft Dataverse a Azure Synapse Analytics e Azure Data Lake.
Podo realizar manualmente tarefas como crear, actualizar, eliminar ou establecer políticas de eliminación automática para ficheiros de datos no almacenamento de Azure conectado?
Os ficheiros de datos non deben ser modificados por un cliente e non deben colocarse ficheiros de clientes nos cartafoles de datos.
Nota
Para soltar datos obsoletos e estancados no lago de datos sen romper o Azure Synapse Link, considere usar a función Consultar e analizar as actualizacións incrementais
Como podo acceder ás relacións da miña táboa?
Para acceder a relacións de varios a moitos, a relación está dispoñible como unha táboa para seleccionar na páxina Engadir táboas para unha nova ligazón e na Xestionar táboas para unha ligazón preexistente.
Nota
Todos os datos de relación están en modo de só Anexo por defecto cando se escriben en formato CSV.
Como podo obter custos estimados antes de engadir Azure Synapse Link?
Azure Synapse Link é unha función gratuíta con Dataverse. A utilización de Azure Synapse Link for Dataverse non incorre en cargos adicionais baixo Dataverse. Non obstante, considere os posibles custos para o servizo Azure:
- Almacenamento de datos en Azure Data Lake Storage Gen2: Prezos de Azure Storage Data Lake Gen2 | Microsoft Azure
- Custo do consumo de datos (como Synapse Workspace): Prezos - Azure Synapse Analytics | Microsoft Azure Para obter información completa de Microsoft Cost Management, vai a: Planificar a xestión dos custos de Azure - Microsoft Cost Management | Microsoft Learn
Que pasa cando engado unha columna?
Cando engades unha nova columna a unha táboa na orixe, tamén se engade ao final do ficheiro no destino na partición do ficheiro correspondente. Aínda que as filas que existían antes da adición da columna non se mostran na nova columna, as filas novas ou actualizadas mostran a columna recentemente engadida.
Que pasa cando elimino unha columna?
Cando eliminas unha columna dunha táboa na orixe, a columna non se elimina do destino. Pola contra, as filas xa non se actualizan e márcanse como nulas mentres se conservan as filas anteriores.
Que pasa se cambio o tipo de datos dunha columna?
Cambiar o tipo de datos dunha columna é un cambio radical e cómpre desvincular e volver vincular.
Que pasa cando elimino unha fila?
A eliminación dunha fila trátase de xeito diferente en función das opcións de escritura de datos que escolla:
- Actualización no lugar con formato CSV: este é o modo predeterminado. Cando elimina unha fila de táboa neste modo, a fila tamén se elimina da partición de datos correspondente en Azure Data Lake. Noutras palabras, os datos elimínanse do destino.
- Só para anexar con formato CSV e actualización incremental do cartafol: neste modo, cando se elimina unha fila da táboa Dataverse , non se elimina de forma definitiva do destino. Pola contra, engádese unha fila e establécese como
isDeleted=Trueno ficheiro na partición de datos correspondente en Azure Data Lake. - Exportar a formato Delta lake: Azure Synapse Link efectúa unha eliminación suave dos datos durante o seguinte ciclo de sincronización delta, seguido dunha eliminación definitiva despois de 30 días.
Por que non vexo unha cabeceira de columna no ficheiro exportado?
Azure Synapse Link segue o Modelo de datos común para facer posible que os datos e o seu significado se compartan entre aplicacións e procesos empresariais como Microsoft Power Apps, Power BI, Dynamics 365 e Azure. En cada cartafol de CDM, os metadatos como un encabezado de columna gárdanse no ficheiro model.json. Máis información: Modelo de datos común e Azure Data Lake Storage Gen2 | Microsoft Learn
Por que o ficheiro Model.json aumenta ou cambia de lonxitude para os tipos de datos e non mantén o que se define en Dataverse?
Model.json mantén a lonxitude da base de datos para o tamaño da columna. Dataverse ten un concepto de lonxitude da base de datos para cada columna. Se creas unha columna cun tamaño de 200 e despois a reduces a 100, Dataverse aínda permite que os teus datos existentes estean presentes en Dataverse. Faino mantendo DBLength a 200 e MaxLength a 100. O que ves en Model.json é DBLength e se o usas para procesos posteriores, nunca proporcionarás menos espazo para as túas Dataverse columnas.
Nota
Os campos de notas defínense como varchar(max) cunha lonxitude máxima predeterminada de 9999.
Que formatos de data e hora se poden esperar en táboas de Dataverse exportadas?
Existen tres formatos de data e hora que se poden esperar nas táboas de Dataverse exportadas.
| Nome da columna | Formato | Tipo de datos | Exemplo |
|---|---|---|---|
| SinkCreatedOn e SinkModifiedOn | M/d/aaaa H:mm:ss tt | datetime | 6/28/2021 4:34:35 PM |
| CreatedOn | aaaa-MM-dd'T'HH:mm:ss.sssssssXXX | datetimeOffset | 2018-05-25T16:21:09.0000000+00:00 |
| Todas as demais columnas | aaaa-MM-dd'T'HH:mm:ss'Z' | datetime | 2021-06-25T16:21:12Z |
Nota
CreatedOn o tipo de datos cambiou de datetime a datetimeOffset o 29/07/2022. Para editar o formato de tipo de datos dunha táboa creada antes do cambio, solte e lea a táboa.
Podes escoller diferentes comportamentos de columna para unha columna de data e hora en Dataverse, que actualiza o formato do tipo de datos. Máis información: Comportamento e formato da columna de data e hora
Por que vexo nomes de ficheiros 1.csv ou 1_001.csv en lugar de nomes de ficheiros particionados de data hora normal para algunhas Dataverse táboas?
Este comportamento espérase cando escolles o modo de exportación de só anexo e tes táboas sen unha columna CreatedOn válida. Os blobs organízanse en ficheiros como 1.csv, 2.csv (empregando particións personalizadas debido á ausencia dunha data de creación válida). Cando calquera partición se aproxime ao 95 % do MaxBlockPerBlobLimit, o sistema xera automaticamente un novo ficheiro, ilustrado aquí como 1_001.csv.
Cando debo usar unha estratexia de partición anual ou mensual?
Para táboas de Dataverse nas que o volume de datos é alto dentro nun ano, recomendámoslle que use particións mensuais. Ao facelo, obtéñense ficheiros máis pequenos e un mellor rendemento. Ademais, se as filas das Dataverse táboas se actualizan con frecuencia, a división en varios ficheiros máis pequenos axuda a mellorar o rendemento no caso de escenarios de actualización no lugar. Delta Lake só está dispoñible con partición anual debido ao seu rendemento superior en comparación co formato CSV.
Que é o modo de só engadir e cal é a diferenza entre o modo de só engadir e de actualización no lugar?
No modo de só anexar, os datos incrementais de Dataverse táboas engádense á partición de ficheiros correspondente no lago. Para obter máis información: Opcións de configuración avanzadas en Azure Synapse Link
Cando uso o modo de só engadir para unha vista histórica dos cambios?
O modo Anexar só é a opción recomendada para escribir datos da táboa de Dataverse no lago, especialmente cando os volumes de datos son elevados dentro dunha partición con datos que cambian frecuentemente. Unha vez máis, esta é unha opción de uso común e altamente recomendable para clientes empresariais. Ademais, pode optar por empregar este modo para escenarios onde a intención é revisar de xeito incremental os cambios de Dataverse e procesar os cambios para os escenarios ETL, AI e ML. O modo Anexar só proporciona un historial de cambios, no canto do último cambio ou actualización no lugar, e activa varias series temporais de escenarios de IA, como a predición ou a análise de previsións baseadas en valores históricos.
Como recupero a fila máis actualizada de cada rexistro e exclúo as filas eliminadas cando exporto datos no modo de só engadir?
No modo de só anexar, debes identificar a versión máis recente do rexistro co mesmo ID mediante VersionNumber e SinkModifiedOn a continuación aplicar isDeleted=0 na última versión.
Por que vexo números de versión duplicados cando exporto datos usando o modo de só engadir?
Para o modo de só anexar, se Azure Synapse Link for Dataverse non recibe un acuse de recibo do lago de datos de Azure de que os datos se comprometeron debido a algún motivo, como atrasos na rede, Azure Synapse Link retentará naqueles escenarios e confirmar os datos de novo. O consumo posterior debería facerse resistente a este escenario filtrando os datos mediante SinkModifiedOn.
Por que vexo diferenzas nas columnas Sinkmodifiedon e Modifiedon?
É de espera. Modifiedon é a data e hora na que se modifica o rexistro en Dataverse; Sinkmodifiedon é a data e a hora na que se modifica o rexistro no data lake.
Que Dataverse táboas non se admiten para a exportación?
Calquera táboa que non teña activado o seguimento de cambios non se admite ademais das seguintes táboas do sistema:
- Adxunto
- Calendario
- Calendarrule
Nota
Podes engadir a táboa de auditoría para exportar usando Azure Synapse Link for Dataverse. Non obstante, a exportación da táboa de auditoría só se admite cos perfís de Delta Lake.
Estou usando a función de exportación a delta lake, podo deter o Apache Spark traballo ou cambiar o tempo de execución?
O traballo de conversión de Delta Lake desenvólvese cando houbo un cambio de datos no intervalo de tempo configurado. Non hai opción para deter ou pausar a Apache Spark agrupación. Non obstante, pode modificar o intervalo de tempo despois da creación da ligazón en Xestionar táboas > Intervalo de tempo avanzado.
Azure Synapse Link Admite columnas de busca?
As columnas de busca están formadas por un ID e un valor. Os valores de busca só cambian na táboa raíz. Para reflectir mellor o valor dunha columna de busca, recomendamos unirse á táboa raíz orixinal para obter o valor máis recente.
Azure Synapse Link Admite columnas calculadas?
En Dataverse, as columnas calculadas gardan só a información da fórmula e o valor real depende da columna da táboa base. Polo tanto, as columnas calculadas só se admiten cando todas as columnas están situadas dentro da mesma táboa exportada.
Que Dataverse táboas usan só o modo de adición por defecto?
Todas as táboas que non teñen un campo createdOn sincronízanse mediante o modo de só engadir de forma predeterminada. Isto inclúe táboas de relacións e a táboa ActivityParty.
Por que vexo a mensaxe de erro: non se pode listar o contido do directorio na ruta?
- Dataverse os datos almacénanse no contedor de almacenamento conectado. Necesitas a función "Colaborador de datos de blob de almacenamento" na conta de almacenamento vinculada para realizar operacións de lectura e consulta a través de Synapse Workspace.
- Se decides exportar datos co formato Delta Lake, o teu ficheiro CSV limparase despois da conversión de Delta Lake. Debe consultar os datos con táboas non_particionadas a través de Synapse Workspace.
Por que vexo a mensaxe de erro: non se pode cargar en bloque porque o ficheiro está incompleto ou non se puido ler (só ficheiro CSV)?
Os datos do Dataverse poden cambiar continuamente a través da creación, actualización e eliminación de transaccións. Este erro é causado porque o ficheiro subxacente se modifica cando le os datos del. Polo tanto, para as táboas con cambios continuos, cambie a canalización de consumo para utilizar os datos instantánea (táboas particionadas) para consumir. Máis información: Resolver problemas do grupo SQL sen servidor
Como podo usar Azure Synapse Link para arquivar datos críticos?
Azure Synapse Link for Dataverse está deseñado para fins de análise. Recomendamos aos clientes que utilicen a retención a longo prazo con fins de arquivo. Máis información: Dataverse descrición xeral da retención de datos a longo prazo
Por que non vexo ningún cambio de datos no data lake cando se eliminaron rexistros en Dataverse?
Para calquera chamada SQL directa para eliminar un rexistro, o Azure Synapse Link for Dataverse servizo non se activa porque non se está a chamar a BPO.Delete. Para obter unha mostra de función, vai a Como limpar o acceso herdado.