Creación de una conexión de datos de Event Grid para Azure Data Explorer
En este artículo, aprenderá a ingerir blobs desde la cuenta de almacenamiento en Azure Data Explorer mediante una conexión de datos de Event Grid. Creará una conexión de datos de Event Grid que establece una suscripción de Azure Event Grid. La suscripción de Event Grid enruta los eventos desde la cuenta de almacenamiento a Azure Data Explorer mediante Azure Event Hubs.
Para información general sobre la ingesta en Azure Data Explorer desde Event Grid, consulte Conexión a Event Grid.
Nota:
Para lograr el mejor rendimiento con la conexión de Event Grid, establezca la propiedad de ingesta rawSizeBytes
a través de los metadatos del blob. Para obtener más información, vea propiedades de ingesta.
Requisitos previos
- Suscripción a Azure. Cree una cuenta de Azure gratuita.
- Un clúster y la base de datos de Azure Data Explorer. Cree un clúster y una base de datos.
- Una tabla de destino. Cree una tabla o use una tabla existente.
- Una asignación de ingesta para la tabla.
- Una cuenta de almacenamiento. Una suscripción de notificación de Event Grid se puede establecer en cuentas de Azure Storage para
BlobStorage
,StorageV2
o Data Lake Storage Gen2.
Creación de una conexión de datos de Event Grid
En esta sección, establecerá una conexión entre Event Grid y la tabla de Azure Data Explorer.
En el clúster que creó, seleccione Bases de datos>TestDatabase.
Seleccione Ingesta de datos>Agregar la conexión de datos.
En Aspectos básicos, seleccione el tipo de conexión: Blob Storage y, a continuación, rellene el formulario con la siguiente información:
Configuración Valor sugerido Descripción del campo Nombre de la conexión de datos test-grid-connection Nombre de la conexión que desea crear en Azure Data Explorer. Suscripción de la cuenta de almacenamiento Su Id. de suscripción El identificador de la suscripción en la que reside la cuenta de almacenamiento. Cuenta de almacenamiento gridteststorage1 Nombre de la cuenta de almacenamiento que creó anteriormente. Tipo de evento Blob creado o Blob con el nombre cambiado Tipo de evento que desencadena la ingesta. El evento Blob con el nombre cambiado solo se admite para el almacenamiento de ADLSv2. Para cambiar el nombre de un blob, vaya al blob en Azure Portal, haga clic con el botón derecho en el blob y seleccione Cambiar nombre. Estos son los tipos que se admiten: Microsoft.Storage.BlobCreated o Microsoft.Storage.BlobRenamed. Creación de recursos Automático Defina si desea que Azure Data Explorer cree una suscripción de Event Grid, un espacio de nombres de Event Hubs y una instancia de este automáticamente. Para crear los recursos de forma manual, consulte Creación manual de recursos para la ingesta de Event Grid. Seleccione Configuración del filtro si desea realizar un seguimiento de determinados asuntos. Establezca los filtros para las notificaciones de la manera siguiente:
- El campo prefijo es el prefijo literal del asunto. Como el patrón que se aplica es startswith (comienza por), puede abarcar varios contenedores, carpetas o blobs. No se permiten comodines.
- Para definir un filtro en el contenedor de blobs, el campo debe establecerse de la siguiente manera:
/blobServices/default/containers/[container prefix]
. - Para definir un filtro en un prefijo de blob (o en una carpeta en Azure Data Lake Gen2), el campo debe establecerse de la siguiente manera:
/blobServices/default/containers/[container name]/blobs/[folder/blob prefix]
.
- Para definir un filtro en el contenedor de blobs, el campo debe establecerse de la siguiente manera:
- El campo sufijo es el sufijo literal del blob. No se permiten comodines.
- El campo Distinguir mayúsculas de minúsculas indica si los filtros de prefijos y sufijos distinguen mayúsculas de minúsculas.
- Para más información sobre el filtrado de eventos, consulte Eventos de Blob Storage.
- El campo prefijo es el prefijo literal del asunto. Como el patrón que se aplica es startswith (comienza por), puede abarcar varios contenedores, carpetas o blobs. No se permiten comodines.
Seleccione Siguiente: Propiedades de ingesta.
Rellene el formulario con la siguiente información. Los nombres de tabla y de asignación distinguen mayúsculas de minúsculas:
Propiedades de ingesta:
Configuración Valor sugerido Descripción del campo Permite el enrutamiento de los datos a otras bases de datos (conexión de datos de varias bases de datos) No permitir Activar esta opción si desea invalidar la base de datos de destino predeterminada asociada a la conexión de datos. Para más información acerca del enrutamiento de bases de datos, consulte Enrutamiento de eventos. Nombre de tabla TestTable La tabla que creó en TestDatabase. Formato de datos JSON Los formatos admitidos son Avro, CSV, JSON, MULTILINE JSON, ORC, PARQUET, PSV, SCSV, SOHSV, TSV, TXT, TSVE, APACHEAVRO, RAW y W3CLOG. Las opciones de compresión admitidas son Zip y Gzip. Asignación TestMapping La asignación que creó en TestDatabase, que asigna los datos entrantes a los nombres de columna y los tipos de datos de TestTable. Si no se especifica, se usa una asignación de datos de identidad derivada del esquema de la tabla. Configuración avanzada Mis datos tienen encabezados Ignora los encabezados. Se admite para archivos de tipo *SV. Nota
No es necesario especificar todos los valores de configuración de enrutamiento predeterminados. También se aceptan configuraciones parciales.
Seleccione Siguiente:Revisar y crear.
En *Revisar y crear.
Revise los recursos que se crearon automáticamente y seleccione Crear.
Espere hasta que se complete la implementación. Si se produce un error en la implementación, seleccione Detalles de la operación junto a la fase con errores para más información sobre el motivo del error. Seleccione Volver a implementar para intentar implementar los recursos de nuevo. Puede modificar los parámetros antes de la implementación.
Eliminar una conexión de datos de Event Grid
Para quitar la conexión de Event Grid desde Azure Portal, haga lo siguiente:
- Vaya al clúster. En el menú de la izquierda, seleccione Bases de datos. A continuación, seleccione la base de datos que contiene la tabla de destino.
- En el menú de la izquierda, seleccione Conexiones de datos. A continuación, active la casilla situada junto a la conexión de datos de Event Grid correspondiente.
- En la barra de menús superior, seleccione Eliminar.