Compartir por

Conéctese ás táboas de modelos de datos comúns en Azure Data Lake Storage

  • Artigo

Nota

Azure Active Directory é agora Microsoft Entra ID. Aprender máis

Inxerir datos en Dynamics 365 Customer Insights - Data usando a túa Azure Data Lake Storage conta coas táboas de modelos de datos comúns. A inxestión de datos pode ser completa ou incremental.

Requisitos previos

  • A Azure Data Lake Storage conta debe ter espazo de nomes xerárquico activado. Os datos deben almacenarse nun formato de cartafol xerárquico que defina o cartafol raíz e teña subcartafoles para cada táboa. Os subcartafoles poden ter datos completos ou cartafoles de datos incrementais.

  • Para autenticarse cun Microsoft Entra principal de servizo, asegúrate de que estea configurado no teu inquilino. Para obter máis información, consulta Conectarse a unha Azure Data Lake Storage conta cun Microsoft Entra principal de servizo.

  • O Azure Data Lake Storage que quere conectarse e inxerir datos ten que estar na mesma rexión de Azure que o Dynamics 365 Customer Insights entorno e as subscricións deben estar no mesmo inquilino. Non se admiten conexións a un cartafol de Common Data Model desde un lago de datos nunha rexión de Azure diferente. Para coñecer a rexión de Azure do contorno, vai a Configuración>Sistema>Acerca de en Customer Insights - Data.

  • Os datos almacenados nos servizos en liña pódense almacenar nun lugar diferente do que se procesan ou almacenan os datos. Ao importar ou conectarse a datos almacenados nos servizos en liña, acepta que os datos se poidan transferir.  Obtén máis información no Microsoft Trust Center.

  • O Customer Insights - Data principal de servizo debe estar nun dos seguintes roles para acceder á conta de almacenamento. Para obter máis información, consulta Conceder permisos ao principal do servizo para acceder á conta de almacenamento.

    • Lector de datos do BLOB de almacenamento
    • Propietario dos datos do BLOB de almacenamento
    • Colaborador de datos do BLOB de almacenamento

  • Cando se conecte ao seu almacenamento de Azure mediante a opción Subscrición a Azure , o usuario que configura a conexión orixe de datos necesita polo menos os permisos de Colaborador de datos de blob de almacenamento na conta de almacenamento.

  • Cando se conecte ao seu almacenamento de Azure mediante a opción Recurso de Azure , o usuario que configure a conexión orixe de datos necesita polo menos o permiso para o Microsoft. .Storage/storageAccounts/read acción na conta de almacenamento. Unha función integrada de Azure que inclúe esta acción é a función Reader . Para limitar o acceso só á acción necesaria, cree un rol personalizado de Azure que inclúa só esta acción.

  • Para un rendemento óptimo, o tamaño dunha partición debe ser de 1 GB ou menos e o número de ficheiros de partición nun cartafol non debe superar os 1000.

  • Os datos do almacenamento de Data Lake deben seguir o estándar do modelo de datos común para o almacenamento dos seus datos e ter o manifesto do modelo de datos común para representar o esquema dos ficheiros de datos (*.csv ou *.parquet). O manifesto debe proporcionar os detalles das táboas, como as columnas da táboa e os tipos de datos, así como a localización do ficheiro de datos e o tipo de ficheiro. Para obter máis información, consulte O manifesto do modelo de datos común. Se o manifesto non está presente, os usuarios administradores con acceso de propietario de datos de blob de almacenamento ou de colaborador de datos de blob de almacenamento poden definir o esquema ao inxerir os datos.

    Nota

    Se algún dos campos dos ficheiros .parquet ten o tipo de datos Int96, é posible que os datos non se mostren na páxina Táboas . Recomendamos utilizar tipos de datos estándar, como o formato de marca de tempo de Unix (que representa o tempo como o número de segundos desde o 1 de xaneiro de 1970 á medianoite UTC).

Limitacións

  • Customer Insights - Data non admite columnas de tipo decimal cunha precisión superior a 16.

Conectarse a Azure Data Lake Storage

  1. Vai a fontes de>datos.

  2. Seleccione Engadir un orixe de datos.

  3. Seleccione Táboas de modelos de datos comúns de Azure Data Lake.

    Cadro de diálogo para introducir os detalles de conexión para as táboas de Azure Data Lake con Common Data Model.

  4. Introduce un orixe de datos nome e unha Descrición opcional. O nome faise referencia nos procesos posteriores e non é posible cambialo despois de crear o orixe de datos.

  5. Escolle unha das seguintes opcións para Conectar o teu almacenamento mediante. Para obter máis información, consulta Conectarse a unha Azure Data Lake Storage conta cun Microsoft Entra principal de servizo.

    • Recurso de Azure: introduza o Id do recurso. (private-link.md).
    • Subscrición de Azure: seleccione a Subscrición e, a continuación, o Grupo de recursos e Conta de almacenamento.

    Nota

    Necesitas un dos seguintes roles para o contedor para crear o orixe de datos:

    • Storage Blob Data Reader é suficiente para ler desde unha conta de almacenamento e inxerir os datos a Customer Insights - Data.
    • Se queres editar os ficheiros de manifesto directamente en Customer Insights - Data, é necesario o Colaborador ou o propietario de datos do blob de almacenamento.

    Ter o papel na conta de almacenamento proporcionará o mesmo papel en todos os seus contedores.

  6. Opcionalmente, se queres inxerir datos dunha conta de almacenamento a través dunha ligazón privada de Azure, selecciona Activar ligazón privada. Para obter máis información, consulta Ligazóns privadas.

  7. Escolla o nome do Contedor que contén os datos e o esquema (ficheiro model.json ou manifest.json) desde o que importar os datos e seleccione Seguinte.

    Nota

    Calquera ficheiro model.json ou manifest.json asociado a outra orixe de datos do contorno non aparecerá na lista. Non obstante, o mesmo ficheiro model.json ou manifest.json pode usarse para fontes de datos en múltiples contornos.

  8. Para crear un novo esquema, vai a Crear un novo ficheiro de esquema.

  9. Para utilizar un esquema existente, desprácese ata o cartafol que contén o ficheiro model.json ou manifest.cdm.json. Podes buscar dentro dun directorio para atopar o ficheiro.

  10. Seleccione o ficheiro json e seleccione Seguinte. Móstrase unha lista de táboas dispoñibles.

    Cadro de diálogo dunha lista de táboas para seleccionar

  11. Seleccione as táboas que quere incluír.

    Cadro de diálogo que mostra Requirido para a chave primaria

    Suxestión

    Para editar unha táboa nunha interface de edición JSON, selecciona a táboa e despois Editar o ficheiro de esquema. Fai cambios e selecciona Gardar.

  12. Para as táboas seleccionadas que requiren unha inxestión incremental, Obrigatorio móstrase en Actualización incremental. Para cada unha destas táboas, consulte Configurar unha actualización incremental das fontes de datos de Azure Data Lake.

  13. Para as táboas seleccionadas nas que non se definiu unha chave primaria, Obrigatorio móstrase en Chave principal. Para cada unha destas táboas:

    1. Seleccione Requerido. Móstrase o panel Editar táboa .
    2. Escolla a clave Primaria. A clave principal é un atributo único da táboa. Para que un atributo sexa unha clave primaria válida, non debe incluír valores duplicados, valores perdidos ou valores nulos. Os atributos de tipo de datos de cadea, enteiro e GUID son soportados como claves primarias.
    3. Opcionalmente, cambie o patrón de partición.
    4. Seleccione Pechar para gardar e pechar o panel.

  14. Seleccione o número de Columnas para cada táboa incluída. Móstrase a páxina Xestionar atributos.

    Cadro de diálogo para seleccionar o perfil de datos.

    1. Crea novas columnas, edita ou elimina as existentes. Pode cambiar o nome, o formato de datos ou engadir un tipo semántico.
    2. Para activar a análise e outras capacidades, selecciona Perfil de datos para toda a táboa ou para columnas específicas. De forma predeterminada, non se activa ningunha táboa para o perfil de datos.
    3. Seleccione Feito.

  15. Seleccione Gardar. Ábrese a páxina Fontes de datos que mostra o novo orixe de datos no estado Actualizándose .

    Suxestión

    Existen estados para tarefas e procesos. A maioría dos procesos dependen doutros procesos augas arriba, como fontes de datos e refrescos de perfil de datos.

    Selecciona o estado para abrir o panel de detalles do progreso e ver o progreso das tarefas. Para cancelar o traballo, selecciona Cancelar traballo na parte inferior do panel.

    En cada tarefa, pode seleccionar Ver detalles para obter máis información avanzada, como o tempo de procesamento, a última data de procesamento e os erros e advertencias aplicables asociados á tarefa ou proceso. Seleccione o estado de vista do sistema na parte inferior do panel para ver outros procesos no sistema.

A carga de datos pode levar moito tempo. Despois dunha actualización correcta, os datos inxeridos pódense revisar desde a páxina Táboas .

Crea un novo ficheiro de esquema

  1. Seleccione Crear ficheiro de esquema.

  2. Introduza un nome para o ficheiro e seleccione Gardar.

  3. Seleccione Nova táboa. Móstrase o panel Nova táboa .

  4. Introduza o nome da táboa e escolla a Localización dos ficheiros de datos.

    • Varios ficheiros .csv ou .parquet: navegue ata o cartafol raíz, seleccione o tipo de patrón e introduza a expresión.
    • Ficheiros .csv ou .parquet únicos: busca o ficheiro .csv ou .parquet e selecciónao.

    Cadro de diálogo para crear unha nova táboa coa localización dos ficheiros de datos resaltada.

  5. Seleccione Gardar.

    Cadro de diálogo para definir ou xerar automaticamente atributos.

  6. Seleccione definir os atributos para engadir os atributos manualmente ou seleccione xeralos automaticamente. Para definir os atributos, introduza un nome, seleccione o formato de datos e o tipo semántico opcional. Para os atributos xerados automaticamente:

    1. Despois de xerar automaticamente os atributos, selecciona Revisar atributos. Móstrase a páxina Xestionar atributos.

    2. Asegúrese de que o formato de datos sexa correcto para cada atributo.

    3. Para activar a análise e outras capacidades, selecciona Perfil de datos para toda a táboa ou para columnas específicas. De forma predeterminada, non se activa ningunha táboa para o perfil de datos.

      Cadro de diálogo para seleccionar o perfil de datos.

    4. Seleccione Feito. Móstrase a páxina Seleccionar táboas .

  7. Continúa engadindo táboas e columnas, se é o caso.

  8. Despois de engadir todas as táboas, seleccione Incluír para incluír as táboas na inxestión orixe de datos.

    Cadro de diálogo que mostra Requirido para a chave primaria

  9. Para as táboas seleccionadas que requiren unha inxestión incremental, Obrigatorio móstrase en Actualización incremental. Para cada unha destas táboas, consulte Configurar unha actualización incremental das fontes de datos de Azure Data Lake.

  10. Para as táboas seleccionadas nas que non se definiu unha chave primaria, Obrigatorio móstrase en Chave principal. Para cada unha destas táboas:

    1. Seleccione Requerido. Móstrase o panel Editar táboa .
    2. Escolla a clave Primaria. A clave principal é un atributo único da táboa. Para que un atributo sexa unha clave primaria válida, non debe incluír valores duplicados, valores perdidos ou valores nulos. Os atributos de tipo de datos de cadea, enteiro e GUID son soportados como claves primarias.
    3. Opcionalmente, cambie o patrón de partición.
    4. Seleccione Pechar para gardar e pechar o panel.

  11. Seleccione Gardar. Ábrese a páxina Fontes de datos que mostra o novo orixe de datos no estado Actualizándose .

    Suxestión

    Existen estados para tarefas e procesos. A maioría dos procesos dependen doutros procesos augas arriba, como fontes de datos e refrescos de perfil de datos.

    Selecciona o estado para abrir o panel de detalles do progreso e ver o progreso das tarefas. Para cancelar o traballo, selecciona Cancelar traballo na parte inferior do panel.

    En cada tarefa, pode seleccionar Ver detalles para obter máis información avanzada, como o tempo de procesamento, a última data de procesamento e os erros e advertencias aplicables asociados á tarefa ou proceso. Seleccione o estado de vista do sistema na parte inferior do panel para ver outros procesos no sistema.

A carga de datos pode levar moito tempo. Despois dunha actualización correcta, os datos inxeridos pódense revisar desde a páxina Datos>Táboas .

Edite un Azure Data Lake Storage orixe de datos

Podes actualizar a Conectar coa conta de almacenamento mediante a opción . Para obter máis información, consulta Conectarse a unha Azure Data Lake Storage conta cun Microsoft Entra principal de servizo. Para conectarse a un contedor diferente ao da túa conta de almacenamento ou cambiar o nome da conta, crea unha nova conexión orixe de datos.

  1. Vai a fontes de>datos. Xunto ao orixe de datos que queres actualizar, selecciona Editar.

  2. Cambia calquera das seguintes informacións:

    • Descripción

    • Conecta o teu almacenamento usando e información de conexión. Non podes cambiar a información do contedor ao actualizar a conexión.

      Nota

      Débese asignar un dos seguintes roles á conta de almacenamento ou contedor:

      • Lector de datos do BLOB de almacenamento
      • Propietario dos datos do BLOB de almacenamento
      • Colaborador de datos do BLOB de almacenamento

    • Usa identidades xestionadas para Azure co teu Azure Data Lake Storage ???

    • Activa Private Link se queres inxerir datos dunha conta de almacenamento a través dunha ligazón privada de Azure. Para obter máis información, consulta Ligazóns privadas.

  3. Seleccione Seguinte.

  4. Cambia calquera das seguintes opcións:

    • Navega a un ficheiro model.json ou manifest.json diferente cun conxunto de táboas diferente do contedor.

    • Para engadir táboas adicionais para inxerir, selecciona Nova táboa.

    • Para eliminar as táboas xa seleccionadas se non hai dependencias, seleccione a táboa e Eliminar.

      Importante

      Se hai dependencias do ficheiro model.json ou manifest.json existente e do conxunto de táboas, verá unha mensaxe de erro e non poderá seleccionar outro ficheiro model.json ou manifest.json. Elimine esas dependencias antes de cambiar o ficheiro model.json ou manifest.json ou cree unha nova orixe de datos co ficheiro model.json ou manifest.json que desexe usar para evitar eliminar as dependencias.

    • Para cambiar a localización do ficheiro de datos ou a clave principal, selecciona Editar.

    • Para cambiar os datos de inxestión incremental, consulte Configurar unha actualización incremental para fontes de datos de Azure Data Lake.

    • Cambia só o nome da táboa para que coincida co nome da táboa no ficheiro .json.

      Nota

      Mantén sempre o nome da táboa igual que o nome da táboa no ficheiro model.json ou manifest.json despois da inxestión. Customer Insights - Data valida todos os nomes de táboa co model.json ou manifest.json durante cada actualización do sistema. Se o nome dunha táboa cambia, prodúcese un erro porque Customer Insights - Data non se pode atopar o novo nome da táboa no ficheiro .json. Se se cambiou accidentalmente o nome dunha táboa inxerida, edite o nome da táboa para que coincida co nome do ficheiro .json.

  5. Seleccione Columnas para engadilas ou cambialas ou para activar o perfil de datos. A continuación, seleccione Feito.

  6. SeleccioneGardar para aplicar os cambios e volver á páxina Fontes de datos .

    Suxestión

    Existen estados para tarefas e procesos. A maioría dos procesos dependen doutros procesos augas arriba, como fontes de datos e refrescos de perfil de datos.

    Selecciona o estado para abrir o panel de detalles do progreso e ver o progreso das tarefas. Para cancelar o traballo, selecciona Cancelar traballo na parte inferior do panel.

    En cada tarefa, pode seleccionar Ver detalles para obter máis información avanzada, como o tempo de procesamento, a última data de procesamento e os erros e advertencias aplicables asociados á tarefa ou proceso. Seleccione o estado de vista do sistema na parte inferior do panel para ver outros procesos no sistema.