Partekatu honen bidez:

Filtrado e ingesta en Azure Synapse SQL mediante el editor de código de Stream Analytics sin editor de código

  • Artikulua

En este artículo se describe cómo puede usar el editor sin código para crear fácilmente un trabajo de Stream Analytics. Lee continuamente desde Event Hubs, filtra los datos entrantes y, a continuación, escribe los resultados continuamente en una tabla de Synapse SQL.

Requisitos previos

  • Los recursos de Azure Event Hubs deben ser accesibles públicamente y no puede estar detrás de un firewall o protegidos en una instancia de Azure Virtual Network.
  • Los datos de Event Hubs deben serializarse en formato JSON, CSV o Avro.

Desarrollo de un trabajo de Stream Analytics para filtrar e ingerir datos

Siga estos pasos para desarrollar un trabajo de Stream Analytics para filtrar e ingerir datos en tiempo real en una tabla de Synapse SQL.

  1. En Azure Portal, busque y seleccione su instancia de Azure Event Hubs.

  2. Seleccione Características>Procesar datos y, a continuación, seleccione Iniciar en la tarjeta Filter and ingest to Synapse SQL (Filtrar e ingerir en Synapse SQL).
    Captura de pantalla que muestra las tarjetas de inicio de datos del procesamiento de Event Hubs.

  3. Escriba un nombre para identificar el trabajo de Stream Analytics y seleccione Crear.
    Captura de pantalla que muestra la ventana Nuevo trabajo de Stream Analytics donde se especifica el nombre del trabajo.

  4. Especifique el tipo de serialización de los datos en la ventana de Event Hubs y el Método de autenticación que usará el trabajo para conectarse a Event Hubs. A continuación, seleccione Conectar.
    Captura de pantalla que muestra la configuración de conexión de Event Hubs.

  5. Cuando la conexión se establezca correctamente y tenga flujos de datos que fluyen a su instancia de Event Hubs, verá inmediatamente dos cosas:

    • Campos que están presentes en los datos de entrada. Puede elegir Agregar campo o seleccionar el símbolo de puntos suspensivos junto a un campo para quitar, cambiar el nombre o cambiar su tipo.
      Captura de pantalla que muestra la lista de campos de Event Hubs donde puede quitar, cambiar el nombre o cambiar el tipo de campo.
    • Ejemplo dinámico de datos entrantes en la tabla de Vista previa de los datos en la vista de diagrama. Se actualiza automáticamente de manera periódica. Puede seleccionar Pause streaming preview (Pausar vista previa de streaming) para ver una vista estática de los datos de entrada de ejemplo.
      Captura de pantalla que muestra datos de ejemplo en Vista previa de datos.

  6. En el área Filtro, seleccione un campo para filtrar los datos entrantes con una condición.
    Captura de pantalla que muestra el área Filtro donde puede filtrar los datos entrantes con una condición.

  7. Seleccione la tabla de Synapse SQL para enviar los datos filtrados:

    1. Seleccione la suscripción, la base de datos (nombre del grupo de SQL dedicado) y el método de autenticación en el menú desplegable.
    2. Escriba Nombre de tabla donde se ingerirán los datos filtrados. Seleccione Conectar.
      Captura de pantalla que muestra los detalles de conexión de la tabla de Synapse SQL.

    Nota

    El esquema de esta tabla debe coincidir exactamente con el número y tipo de los campos que genera la versión preliminar del trabajo.

  8. Opcionalmente, seleccione Get static preview/Refresh static preview (Obtener vista previa estática o Actualizar vista previa estática) para ver la vista previa de datos que se ingerirá desde la tabla seleccionada de Synapse SQL de Azure.
    Captura de pantalla que muestra la opción Obtener vista previa estática o Actualizar vista previa estática.

  9. Seleccione Guardar y, a continuación, seleccione Iniciar para iniciar el trabajo de Stream Analytics.
    Captura de pantalla que muestra las opciones de Guardar e Iniciar.

  10. Para iniciar el trabajo, especifique:

    • El número de unidades de streaming (SU) con las que se ejecutan los trabajos. Las SU representan la cantidad de procesos y memoria asignadas al trabajo. Se recomienda empezar con tres y, a continuación, ajustar la cantidad según sea necesario.
    • Control de errores de datos de salida: permite especificar el comportamiento que desea cuando se produce un error en la salida de un trabajo en el destino debido a errores de datos. De manera predeterminada, el trabajo reintenta hasta que la operación de escritura se realiza correctamente. También puede optar por quitar estos eventos de salida.
      Captura de pantalla que muestra las opciones de Iniciar trabajo de Stream Analytics, donde puede cambiar el tiempo de salida, establecer el número de unidades de streaming y seleccionar las opciones de control de errores de los datos de salida.

  11. Después de seleccionar Iniciar, el trabajo comienza a ejecutarse en un máximo de dos minutos y las métricas se abrirán en la sección de pestañas siguiente.

    También puede ver el trabajo en la sección Procesar datos de la pestaña Trabajos de Stream Analytics. Seleccione Abrir métricas para supervisarlo, detenerlo o reiniciarlo, según sea necesario.

    Captura de pantalla de la pestaña Trabajos de Stream Analytics en la que se ve el estado de los trabajos en ejecución.

Consideraciones al usar la característica de replicación geográfica de Event Hubs

Azure Event Hubs lanzó recientemente característica Replicación geográfica en versión preliminar pública. Esta característica es diferente de la característica de Recuperación ante desastres geográfica de Azure Event Hubs.

Cuando el tipo de conmutación por error es Forzado y la coherencia de la replicación es Asincrónico, el trabajo de Stream Analytics no garantiza exactamente una salida una vez en una salida de Azure Event Hubs.

Azure Stream Analytics, como productor con un centro de eventos una salida, podría observar el retraso de la marca de agua en el trabajo durante la duración de la conmutación por error y durante la limitación por Event Hubs en caso de que el retraso de replicación entre principal y secundario alcance el retraso máximo configurado.

Azure Stream Analytics, como consumidor con Event Hubs como entrada, puede observar el retraso de la marca de agua en el trabajo durante la duración de la conmutación por error y podría omitir los datos o buscar datos duplicados una vez completada la conmutación por error.

Debido a estas advertencias, se recomienda reiniciar el trabajo de Stream Analytics con la hora de inicio adecuada justo después de que se complete la conmutación por error de Event Hubs. Además, dado que la característica de replicación geográfica de Event Hubs está en versión preliminar pública, no se recomienda usar este patrón para trabajos de Stream Analytics de producción en este momento. El comportamiento actual de Stream Analytics mejorará antes de que la característica de replicación geográfica de Event Hubs esté disponible con carácter general y se pueda usar en trabajos de producción de Stream Analytics.

Pasos siguientes

Obtenga más información sobre Azure Stream Analytics y cómo supervisar el trabajo que ha creado.