Crear y administrar un entorno de ejecución de integración autohospedado compatible con Kubernetes

Importante

Se retirarán el Catálogo unificado de Microsoft Purview y las funcionalidades clásicas de gobierno de datos de Microsoft Purview (anteriormente Azure Purview). Microsoft está consolidando sus capacidades de gobernanza de datos en Microsoft Fabric. Ya no puede crear cuentas nuevas y las funcionalidades existentes permanecerán en modo de mantenimiento hasta el 12 de noviembre de 2027. Para conocer los plazos de retirada, las instrucciones de transición y los próximos pasos recomendados, consulte el anuncio de retirada de la gobernanza de datos de Microsoft Purview.

En este artículo se explican los detalles de la nueva característica SHIR basada en Kubernetes para Linux, que mejora la infraestructura subyacente para ofrecer varias ventajas:

  • Escalabilidad: capacidad para escalar a cientos de máquinas.
  • Rendimiento: se ha mejorado el rendimiento de las cargas de trabajo de análisis.
  • Seguridad (en contenedor): capacidad de tener seguridad en contenedores en un clúster de Kubernetes, en lugar de hospedar SHIR directamente en una máquina con Windows

En este artículo se explican los detalles para instalar y administrar un entorno de ejecución de integración autohospedado compatible con Kubernetes.

Orígenes de datos compatibles

Para obtener una lista de todos los orígenes compatibles, consulte los orígenes de datos compatibles para cada tabla de Integration Runtime.

Arquitectura

En una vista arquitectónica de alto nivel, cuando se instala un SHIR basado en Kubernetes, varios pods se crean automáticamente en los nodos del clúster de Kubernetes de los usuarios. Esta instalación se puede desencadenar mediante una herramienta de línea de comandos denominada IRCTL (más detalles en las secciones siguientes). IRCTL se conecta al servicio Microsoft Purview para registrar la SHIR y se conecta al clúster de Kubernetes para instalarla. 

Durante la instalación, las imágenes SHIR se descargan de MCR (Microsoft Container Registries) en los pods de SHIR. Una vez realizada la instalación, los pods del clúster de usuarios se conectarán al servicio Microsoft Purview para extraer los trabajos de análisis. A medida que se extrae un trabajo de análisis, puede conectar el origen de datos local de los usuarios para el análisis de datos.

Infografía de la arquitectura de red para el entorno de ejecución de integración autohospedado compatible con Kubernetes.

Requisitos previos

  • Una cuenta de Microsoft Purview que usa soluciones de gobernanza de datos empresariales .

  • Clúster de Kubernetes: debe tener un clúster de Kubernetes basado en Linux existente o preparar uno. Los nodos se pueden identificar mediante el selector de nodos, que sigue la definición del selector de nodos de Kubernetes. Configuración mínima:

    • Tipo de contenedor: Linux
    • Versión de Kubernetes: 1.24.9 o superior
    • Sistema operativo del nodo: sistema operativo basado en Linux que se ejecuta en arquitectura x86
    • Especificación del nodo: CPU mínima de ocho núcleos, memoria de 32 GB y al menos 80 GB de espacio disponible en el disco duro
    • Número de nodos: >=1 (debe corregirse, no habilitar el escalador automático del clúster)
    • Número de pods por nodo: >= 20 (número máximo de pods: recuento de otros pods que no pertenecen a Self-Hosted IR)

    Nota:

    La carpeta /var/irstorage/ de cada nodo está reservada para SHIR. Es legible y grabable en SHIR. Puede obtener los registros que se conservan desde esta carpeta o cargar controladores externos en esta carpeta. Será creado por SHIR si no existe, y no se eliminará después de que se elimine SHIR. Las imágenes de contenedor utilizadas por SHIR son administradas por la recolección de elementos no utilizados de Kubernetes, que SHIR no limpiará. Configure el umbral adecuado para su clúster de Kubernetes.

  • Red del clúster de Kubernetes: el clúster de Kubernetes que tiene debe poder conectarse al punto de conexión enumerado en Requisitos de red.

  • Herramienta de línea de comandos de Integration Runtime: Para administrar el SHIR de Kubernetes de Microsoft Purview localmente, necesita una herramienta de línea de comandos denominada IRCTL. Puede descargar esta herramienta durante el proceso de creación de SHIR. IRCTL es una herramienta de línea de comandos para administrar el SHIR de Microsoft Purview. Para obtener más información, vea la documentación de IRCTL.

  • Contexto de Kubernetes: el contexto de Kubernetes, que contiene información del clúster de Kubernetes y permisos y credenciales de usuario para este clúster, es necesario para comunicarse con el clúster de Kubernetes. Para facilitar la configuración de los permisos del usuario para la administración de SHIR, puede comenzar con el rol de Administración de Kubernetes. Este contexto se genera con la configuración del clúster de Kubernetes y se guarda en un archivo de configuración. Dónde y cómo puede obtener este archivo depende de la configuración del clúster de Kubernetes.
    • Si usa kubeadm init para configurar el clúster de Kubernetes, puede encontrar el archivo de configuración en /etc/Kubernetes/admin.conf.
    • Si usa AKS, puede seguir las instrucciones de AKS para usar el comando Az PowerShell module para obtener las credenciales de este clúster en la máquina local. El contexto se puede combinar con el archivo de configuración directamente $HOME/.kube/config .
    • Si usa otras herramientas para configurar un clúster de Kubernetes, consulte la documentación de Kubernetes.
    • Como tiene el archivo de configuración del contexto de Kubernetes, combínelo con el archivo de configuración, que es $HOME/.kube/config, en la máquina en la que desea ejecutar el comando IRCTL. O bien, también puede establecer el archivo de configuración del contexto de Kubernetes en una variable de entorno denominada KUBECONFIG. Para obtener más información sobre el contexto de Kubernetes, consulte Configuración del acceso a varios clústeres.

Crear entorno de ejecución de integración autohospedado compatible con Kubernetes

Para controlar y administrar una SHIR de Kubernetes, los usuarios pueden descargar una herramienta de línea de comandos denominada IRCTL. A continuación se indican los pasos para crear un entorno de ejecución de integración autohospedado compatible con Kubernetes.

Los pasos le llevan a través de la descarga de IRCTL, pero para obtener enlaces directos, consulte la documentación de IRCTL.

Configuración de un entorno de ejecución de integración autohospedado compatible con Kubernetes

  1. Abra la ventana Entornos de ejecución de integración en el Mapa de datos de Microsoft Purview

    • Si usa el nuevo portal de Microsoft Purview:
      1. Abrir el mapa de datos
      2. Seleccionar administración de origen
      3. Seleccionar entornos de ejecución de integración
    • Si usa el portal de gobierno clásico de Microsoft Purview:
      1. Abrir el mapa de datos
      2. Seleccionar entornos de ejecución de integración
  2. Seleccione el botón + Nuevo

    Captura de pantalla de la ventana entornos de ejecución de integración en el Mapa de datos de Microsoft Purview.

  3. Seleccione Autohospedado y, a continuación, Continuar

    Captura de pantalla de la nueva ventana del entorno de ejecución de integración, con la opción autohospedada seleccionada.

  4. Asigne un nombre al entorno de ejecución y seleccione el botón de alternancia de compatibilidad del servicio de Kubernetes para habilitarlo

    Captura de pantalla de la nueva ventana del entorno de ejecución de integración con el botón de alternancia de Kubernetes habilitado.

  5. Seleccione Crear

  6. Seleccione Obtener clave de registro

    Captura de pantalla de la página Ver entorno de ejecución de integración con el botón Obtener clave de registro resaltado.

  7. Copie el valor de la clave. Necesita para ejecutar comandos en IRCTL más tarde.

    Sugerencia

    Si es necesario, puede regenerar una clave o revocar una clave generada.

  8. Seleccione el vínculo Descargar IRCTL e instalar Integration Runtime para descargar la herramienta IRCTL. (También puede seguir estos pasos para descargar IRCTL directamente).

  9. En la máquina en la que desea ejecutar la línea de comandos de IRCTL, instale IRCTL desde la descarga. IRCTL se conecta a su clúster de Kubernetes por el contexto de la configuración de Kube. Si no se especifica el contexto, IRCTL usa el contexto actual. Puede establecer el contexto de una de estas dos maneras:

    • Ejecute la línea de comandos kubectl y ejecute el siguiente comando para confirmar el contexto actual:

      kubectl config get-contexts – List all contexts configured on the machine
      
      kubectl config current-context – Get the current context name
      
      kubectl config use-context <name of context>
      
    • Ejecute IRCTL y ejecute --context para especificar el contexto en la configuración de Kube

  10. Ejecute la línea de comandos de IRCTL y ejecute este comando con la clave de registro que copió.

    ./irctl create --registration-key <registration key copied from the portal>
    

    Nota:

    Si no se especifica el selector de nodos , usará todos los nodos del clúster de Kubernetes. Para AKS, se recomienda usar la etiqueta del grupo de nodos de AKS como selector de nodos. O puede personalizar diferentes etiquetas para los nodos SHIR.

  11. Verá esta copia impresa:

    [Info] Start to create SHIR with Kubernetes context [your-context]......
    [Info] Environment validation passed!
    [Info] Registering SHIR[example-k8s-shir] for Microsoft Purview Account [yourpurviewaccount]......
    [Info] SHIR Registration done!
    [Info] Provisioning SHIR, it may take about 5-30 minutes......done!
    [Info] SHIR creation succeeded!  
    

    Sugerencia

    Si el progreso de la instalación se interrumpe por Ctrl-C u otras razones, se puede utilizar el siguiente comando para supervisar el progreso de la instalación: ./irctl install status

  12. Una vez completada la instalación, para comprobar el estado actual de la SHIR, ejecute este comando:

    ./irctl describe
    
  13. También puede comprobar el estado de SHIR en el portal Microsoft Purview, en la página Entornos de ejecución de integración .

Configurar un análisis con controladores externos

Al examinar algunos orígenes de datos, debe instalar el controlador correspondiente en la máquina en la que está instalado el SHIR para que Microsoft Purview se conecte con el origen de datos. A continuación se muestra un ejemplo de exploración de Db2. Consulte el artículo del conector correspondiente para conocer los requisitos previos específicos.

Nota:

Los orígenes de datos que necesitan estos controladores externos tienen la información enumerada en sus requisitos previos.

En este ejemplo, vamos a instalar el controlador Db2. Los pasos para otros controladores son similares.

  1. En primer lugar, instale el entorno de ejecución de integración.

  2. Descargue el controlador (cada origen tiene su controlador individual enumerado). Por ejemplo, puede encontrar el controlador de DB2 aquí: Conéctese a Db2 y adminístrelo.

  3. Cargue el controlador en cada nodo del entorno de ejecución de integración. Puede usar un comando como este:

    ./irctl storage upload --source jdbc_sqlj/db2_driver --destination driver/db2
    

    Una confirmación de carga correcta se ve así:

    ========== Context ========== 
    Kubernetes Context             : k8s-shir-test-cluster 
    Purview Account                : test-purview-1 
    Self-hosted Intrgration Runtime: k8s-shir-demo 
    ========== Progress ========== 
    Processing 2/2 nodes... 
    aks-shirpool-27141791-vmss000000: SUCCEEDED 
    aks-shirpool-27141791-vmss000001: SUCCEEDED 
    ========== Results ========== 
    jdbc_sqlj/db2_driver -> /var/irstorage/driver/db2 
    

    Nota:

    Si reemplaza nodos o escala horizontalmente a nodos nuevos, debe cargar el controlador externo de nuevo.

  4. Compruebe los archivos cargados con este comando:

    ./irctl storage list driver/db2
    

    Debería ver una respuesta como esta:

    ========== Context ========== 
    Kubernetes Context             : k8s-shir-test-cluster 
    Purview Account                : test-purview-1 
    Self-hosted Intrgration Runtime: k8s-shir-demo 
    ========== Progress ========== 
    Processing 2/2 nodes... 
    aks-shirpool-27141791-vmss000000: SUCCEEDED 
    aks-shirpool-27141791-vmss000001: SUCCEEDED 
    ========== Results ========== 
    Node: aks-shirpool-27141791-vmss000000 - Succeeded 
    /var/irstorage/driver/db2 
    total 9364 
    drwxr-xr-x    2 root     root          4096 May 15 14:23 . 
    drwxr-xr-x    3 root     root          4096 May 15 14:23 .. 
    -rwxrwxr-x    1 root     root       6568346 May 15 14:23 db2jcc4.jar 
    Node: aks-shirpool-27141791-vmss000001 - Succeeded 
    /var/irstorage/driver/db2 
    total 9364 
    drwxr-xr-x    2 root     root          4096 May 15 14:23 . 
    drwxr-xr-x    3 root     root          4096 May 15 14:23 .. 
    -rwxrwxr-x    1 root     root       6568346 May 15 14:23 db2jcc4.jar 
    
  5. Cree un examen con el valor de DriverLocation con el valor de destino del paso 3.

    Captura de pantalla de la ventana de configuración de análisis, que muestra la ubicación del controlador enumerada como driver/db2.

Alta disponibilidad y escalabilidad

Puede asignar varios nodos del clúster de Kubernetes para que tengan alta disponibilidad mediante el selector de nodos durante la instalación del entorno de ejecución de integración autohospedado compatible con Kubernetes. Las ventajas de tener varios nodos son:

  • Mayor disponibilidad del entorno de ejecución de integración autohospedado para que deje de ser el único punto de error para los análisis.
  • Ejecutar más exámenes simultáneos. Cada nodo puede habilitar muchas ejecuciones de escaneo al mismo tiempo. Puede escalar horizontalmente manualmente los nodos del clúster de Kubernetes si necesita más exámenes simultáneos.
  • Al examinar algunos orígenes, como Azure Blob, Azure Data Lake Storage Gen2 y Azure Files, cada ejecución de examen puede usar varios nodos para aumentar el rendimiento del examen. En el caso de otras fuentes, los exámenes se ejecutan solo en uno de los nodos.

La capacidad del entorno de ejecución de integración autohospedado compatible con Kubernetes se puede actualizar escalando manualmente horizontalmente o dentro de los nodos del clúster de Kubernetes.

Nota:

Debe cargar todos los controladores necesarios para el examen en cada nodo nuevo.

Requisitos de red

Nombre de dominio Puertos de salida Description
Nube pública: <tenantID>-api.purview-service.microsoft.com
Azure Government:<tenantID>-api.purview-service.microsoft.us
China: <tenantID>-api.purview-service.microsoft.cn
443 Necesario para conectarse al servicio Microsoft Purview. Si usa puntos de conexión privados de Microsoft Purview, este punto de conexión está cubierto por el punto de conexión privado de la cuenta.
Nube pública: <purview_account>.purview.azure.com
Azure Government:<purview_account>.purview.azure.us
China: <purview_account>.purview.azure.cn
443 Necesario para conectarse al servicio Microsoft Purview. Si usa puntos de conexión privados de Microsoft Purview, este punto de conexión está cubierto por el punto de conexión privado de la cuenta.
Nube pública: <managed_storage_account>.blob.core.windows.net o <ingestion_storage_account>.*.blob.storage.azure.net
Azure Government: <managed_storage_account>. blob.core.usgovcloudapi.net o<ingestion_storage_account>. blob.core.usgovcloudapi.net
China: <managed_storage_account>.blob.core.chinacloudapi.cno <ingestion_storage_account>.blob.core.chinacloudapi.cn
443 Necesario para conectarse a la cuenta de almacenamiento de blobs de Azure administrada de Microsoft Purview.
Nube pública: <managed_storage_account>.queue.core.windows.net o <ingestion_storage_account>.*.queue.storage.azure.net
Azure Government: <managed_storage_account>. queue.core.usgovcloudapi.net o<ingestion_storage_account>. queue.core.usgovcloudapi.net
China: <managed_storage_account>.queue.core.chinacloudapi.cno <ingestion_storage_account>.queue.core.chinacloudapi.cn
443 Necesario para conectarse a la cuenta de almacenamiento de colas de Azure administrada de Microsoft Purview.
Nube pública: *.compute.governance.azure.com
Azure Government:*.compute.governance.azure.us
China: *.compute.governance.azure.cn
443 Necesario para conectarse al servicio Microsoft Purview. Actualmente, se requiere un carácter comodín, ya que no hay ningún recurso dedicado.
mcr.microsoft.com 443 Necesario para descargar imágenes.
*.data.mcr.microsoft.com 443 Necesario para descargar imágenes.

Nota:

En función de los orígenes que los usuarios quieran examinar, también deben permitir otros dominios y puertos salientes para otros orígenes externos o de Azure.

Versión

Normalmente, publicamos una nueva versión secundaria del entorno de ejecución de integración autohospedado cada mes, que incluye características, mejoras y correcciones de errores.

Cada versión del entorno de ejecución de integración autohospedado expira en un año.

Cómo comprobar la versión actual

Puede comprobar la versión del entorno de ejecución de integración autohospedado de Kubernetes en el portal o con el IRCTL.

Portal

  1. En el portal de Microsoft Purview, vaya al Mapa de datos.
  2. Seleccionar entornos de ejecución de integración
  3. La cuarta columna de la línea de descripción del entorno de ejecución de integración será Versión y puede comprobar la versión allí.

IRCTL (1.1.0 y posteriores)

El comando describe devuelve la versión del entorno de ejecución de integración.

./irctl describe

Actualización automática

A partir de la versión 1.1.0, el entorno de ejecución de integración autohospedado de Kubernetes admite la actualización automática, que está habilitada de forma predeterminada. Esta característica garantiza que el tiempo de ejecución de integración se actualice automáticamente a la versión más reciente administrada por Microsoft aproximadamente una vez al mes.

No participar

Se recomienda mantener habilitada la actualización automática para beneficiarse de las características y mejoras más recientes. Sin embargo, tienes la opción de no participar en la actualización automática mediante IRCTL. La configuración de actualización automática se conserva durante la reinstalación, por lo que no es necesario deshabilitarla con cada instalación.

./irctl config set autoUpdate.enabled false
./irctl config view

Versión de actualización automática vs versión más reciente

Para garantizar la estabilidad, la actualización automática suele estar detrás de la última versión con un retraso de un mes. Microsoft administra la versión de actualización automática.

Si desea actualizar el entorno de ejecución de integración a versiones más recientes, se debe realizar una actualización manual con IRCTL de la versión específica.

Pasos siguientes