Usar Azure Data Lake Storage Gen1 para capturar datos de Event Hubs
Obtenga información sobre cómo usar Azure Data Lake Storage Gen1 para capturar datos recibidos por Azure Event Hubs.
Prerrequisitos
Una suscripción de Azure. Consulte Obtención de una versión de evaluación gratuita.
Una cuenta de Azure Data Lake Storage Gen1. Para instrucciones sobre cómo crear una, consulte la introducción a Azure Data Lake Storage Gen1.
Un espacio de nombres de Event Hubs. Para obtener instrucciones, consulte Creación de un espacio de nombres de Event Hubs. Asegúrese de que la cuenta de Data Lake Storage Gen1 y el espacio de nombres de Event Hubs se encuentran en la misma suscripción de Azure.
Asignar permisos a Event Hubs
En esta sección, creará una carpeta en la cuenta en que quiere capturar los datos de Event Hubs. También asignará permisos a Event Hubs para que pueda escribir datos en una cuenta de Data Lake Storage Gen1.
Abra la cuenta de Data Lake Storage Gen1 en que quiere capturar los datos de Event Hubs y después haga clic en Explorador de datos.
Haga clic en Nueva carpeta y después escriba un nombre para la carpeta en que quiere capturar los datos.
Asigne permisos en la raíz de Data Lake Storage Gen1.
a. Haga clic en Explorador de datos, seleccione la raíz de la cuenta de Data Lake Storage Gen1 y después haga clic en Acceso.
b. En Acceso, haga clic en Agregar, en Seleccionar usuario o grupo y después busque
Microsoft.EventHubs.
Haga clic en Seleccionar.
c. En Asignar permisos, haga clic en Seleccionar permisos. Establezca Permisos en Ejecutar. Establezca Agregar a en Esta carpeta y todos los elementos secundarios. Establezca Agregar como en Una entrada de permiso de acceso y una entrada de permiso predeterminado.
Importante
Al crear una nueva jerarquía de carpetas para capturar datos recibidos por Azure Event Hubs, esta es una manera sencilla de garantizar el acceso a la carpeta de destino. Sin embargo, es posible que la adición de permisos a todos los elementos secundarios de una carpeta de nivel superior con muchos archivos y carpetas secundarios tarde mucho tiempo. Si la carpeta raíz contiene una gran cantidad de archivos y carpetas, es posible que sea más rápido agregar permisos de ejecución para
Microsoft.EventHubsindividualmente a cada carpeta de la ruta a la carpeta de destino final.
Haga clic en OK.
Asigne permisos a la carpeta en la cuenta de Data Lake Storage Gen1 en que quiere capturar los datos.
a. Haga clic en Explorador de datos, seleccione la carpeta de la cuenta de Data Lake Storage Gen1 y después haga clic en Acceso.
b. En Acceso, haga clic en Agregar, en Seleccionar usuario o grupo y después busque
Microsoft.EventHubs.Haga clic en Seleccionar.
c. En Asignar permisos, haga clic en Seleccionar permisos. Establezca Permisos en Leer, escribir y ejecutar. Establezca Agregar a en Esta carpeta y todos los elementos secundarios. Por último, establezca Agregar como en Una entrada de permiso de acceso y una entrada de permiso predeterminado.
Haga clic en OK.
Configurar Event Hubs para capturar datos en Data Lake Storage Gen1
En esta sección, creará un centro de eventos en un espacio de nombres de Event Hubs. También configurará el Centro de eventos para capturar los datos en una cuenta de Azure Data Lake Storage Gen1. En esta sección, se da por supuesto que ya ha creado un espacio de nombres de Event Hubs.
En el panel Introducción del espacio de nombres de Event Hubs, haga clic en + Centro de eventos.
Proporcione los siguientes valores para configurar Event Hubs para capturar datos en Data Lake Storage Gen1.
a. Especifique un nombre para el centro de eventos.
b. Para este tutorial, establezca Recuento de particiones y Retención de mensajes en los valores predeterminados.
c. Establezca Capture en Activado. Establezca la Ventana de tiempo (la frecuencia de captura) y Ajustar tamaño de la ventana (tamaño de los datos que se capturarán).
d. En Capture Provider (Proveedor de Capture), seleccione Azure Data Lake Store y después seleccione la cuenta de Data Lake Storage Gen1 que ha creado anteriormente. En Data Lake Path (Ruta de acceso de Data Lake), escriba el nombre de la carpeta que ha creado en la cuenta de Data Lake Storage Gen1. Basta con proporcionar la ruta de acceso relativa a la carpeta.
e. Deje Formatos de nombre de archivo de Capture de ejemplo en el valor predeterminado. Esta opción rige la estructura de carpetas que se crea en la carpeta de captura.
f. Haga clic en Crear.
Probar la configuración
Ahora puede enviar datos a Azure Event Hubs para probar la solución. Siga las instrucciones de Envío de eventos a Azure Event Hubs. Cuando empiece a enviar los datos, los verá reflejados en Data Lake Storage Gen1 con la estructura de carpetas que ha especificado. Por ejemplo, verá una estructura de carpetas, tal y como se muestra en la siguiente captura de pantalla, en su cuenta de Data Lake Storage Gen1.
Nota
Incluso si no tiene mensajes que lleguen a Event Hubs, este escribe archivos vacíos solo con los encabezados en la cuenta de Data Lake Storage Gen1. Los archivos se escriben en el mismo intervalo de tiempo que ha proporcionado al crear Event Hubs.
Análisis de datos en Data Lake Storage Gen1
Una vez que los datos están en Data Lake Storage Gen1, puede ejecutar trabajos analíticos para procesar y estudiar los datos. Vea USQL Avro Example (Ejemplo de Avro de USQL) sobre cómo hacer esto con Azure Data Lake Analytics.