Nota:
El acceso a esta página requiere autorización. Puede intentar iniciar sesión o cambiar directorios.
El acceso a esta página requiere autorización. Puede intentar cambiar los directorios.
En este artículo se proporcionan recomendaciones de administración para las organizaciones que ejecutan cargas de trabajo de IA en Azure infraestructura. La administración eficaz de las cargas de trabajo de inteligencia artificial en Azure requiere supervisión continua, prácticas de optimización y una sólida estrategia de copia de seguridad y recuperación. Estas tareas y acciones minimizan el tiempo de inactividad y garantizan la fiabilidad en las operaciones de IA.
Supervisión de infraestructura de IA
Supervisar la infraestructura de IA consiste en realizar el seguimiento y evaluar el rendimiento, el estado y la disponibilidad de todos los componentes de una implementación de IA en la infraestructura de Azure. La supervisión proactiva permite a las organizaciones detectar y resolver posibles problemas antes de que afecten a las operaciones.
Asegúrese de que la supervisión se realice de forma predeterminada. Implemente los agentes de Azure Monitor necesarios para máquinas virtuales y Azure Virtual Machine Scale Sets, incluidos los servidores conectados Azure Arc. Conéctelos al área de trabajo central Log Analytics en la suscripción de administración. Considere la posibilidad de usar alertas de línea base de Azure Monitor (AMBA).
Use el Administrador de actualizaciones de Azure. Puede supervisar el cumplimiento de actualizaciones de Windows y Linux en las máquinas de Azure y locales o en otras plataformas en la nube (conectadas por Azure Arc) desde un único panel de administración. También puede usar Update Manager para realizar actualizaciones en tiempo real o programarlas dentro de una ventana de mantenimiento definida.
Monitorice máquinas virtuales.Monitorice los datos del host de la máquina virtual (host físico) y los datos del invitado de la máquina virtual (sistema operativo y aplicación). Puede también usar VM Insights para hacer más sencilla la integración, acceder a las gráficas de rendimiento predefinidas y usar la asignación de dependencias. Realice un seguimiento de los desalojos de VMs de Spot y los eventos de mantenimiento para gestionar eficazmente las interrupciones. Obtenga más información sobre los eventos programados.
Supervisión de redes.Supervise y diagnostique problemas de red sin iniciar sesión en las máquinas virtuales. Consulte información del rendimiento en tiempo real en los paquetes. Solucione problemas de rendimiento con la herramienta Diagnóstico de rendimiento. Haga un seguimiento de la topología, el estado y las métricas de todos los recursos de red implementados.
Supervisión de almacenamiento. Supervise el rendimiento del almacenamiento, como ssd locales, discos conectados, recursos compartidos de archivos y cuentas de almacenamiento Azure.
Use las funcionalidades de supervisión del orquestador (si procede). Considere la posibilidad de usar las funcionalidades de supervisión integradas de orquestadores, como Azure CycleCloud, Azure Batch y Azure Kubernetes Service (AKS). Siga las instrucciones del orquestador que elija:
Azure CycleCloud o área de trabajo de Azure CycleCloud para Slurm: Realizar un seguimiento de las métricas de CPU, disco y red. Almacene datos de clústeres de Azure CycleCloud en Log Analytics y cree paneles de métricas personalizados. Para obtener más información, consulte Monitoring Azure CycleCloud. Node Health Checks son un conjunto de pruebas automatizadas para garantizar que el hardware de HPC/AI esté en buen estado. Puede ejecutar esta comprobación en Azure CycleCloud como parte de la implementación del clúster o por separado mediante las instrucciones del repositorio de GitHub. Preste especial atención a la matriz de compatibilidad en la documentación. Ejecute donde sea apropiado para asegurarse de identificar cualquier nodo no saludable antes de llevar a cabo sus cargas de trabajo de IA.
Azure Batch: Recopilar métricas de trabajos y tareas, como tareas activas, duración de la tarea, hora de inicio del trabajo, duración, hora de inicio de la tarea. Recopile también métricas de grupo, como nodos inactivos, nodos en ejecución, uso de CPU, E/S de disco. Para obtener más información, consulte supervisión de Azure Batch.
Azure Kubernetes Service. Utilize Azure Monitor para contenedores. Supervise el rendimiento del pod, el estado del nodo y el uso de recursos. Crear alertas y paneles personalizados.
administrar la continuidad empresarial y la recuperación ante desastres
La administración de la continuidad empresarial y la recuperación ante desastres para las aplicaciones de inteligencia artificial en Azure garantiza que las organizaciones puedan recuperarse rápidamente de las interrupciones. Al implementar estrategias como la replicación en tiempo real, la recuperación automatizada y las copias de seguridad periódicas, las organizaciones pueden proteger su infraestructura de IA frente a la pérdida de datos y la inactividad operativa.
Utilice Azure Site Recovery. Site Recovery usa la replicación en tiempo real y la automatización de recuperación para replicar cargas de trabajo entre regiones. Las funcionalidades integradas de la plataforma para cargas de trabajo de máquina virtual cumplen los requisitos bajos de RPO y RTO. Puede usar Site Recovery para ejecutar simulacros de recuperación sin afectar a las cargas de trabajo de producción. También puede usar Azure Policy para habilitar la replicación y auditar la protección de máquinas virtuales.
Usar funcionalidades de orquestador (si procede). Use el orquestador para recuperar nodos de proceso con errores. Por ejemplo, configure Azure Batch para volver a intentar tareas automáticamente si se produce un error.
Programar copias de seguridad. Determine si necesita realizar una copia de seguridad de los cambios incrementales en conjuntos de datos y modelos diaria o semanalmente. Las copias de seguridad también pueden incluir bases de datos o conjuntos de datos completos.
Garantizar el cumplimiento de los datos. Asegúrese de que la estrategia de copia de seguridad cumple con las normativas de protección de datos. Cumpla con los requisitos de residencia de datos y almacene copias de seguridad en ubicaciones geográficas adecuadas.
Crear instantáneas. Puede usar las capacidades de su programador para crear instantáneas. Por ejemplo, CycleCloud puede tomar instantáneas en un momento específico del almacén de datos de la aplicación subyacente como puntos de recuperación.