Puntos de conexión por lotes

Azure Machine Learning permite implementar puntos de conexión y despliegues por lotes para realizar inferencias de larga duración y asincrónicas con modelos y canalizaciones de aprendizaje automático. Al entrenar un modelo o una canalización de Machine Learning, debe implementarlo para que otros usuarios puedan usarlos con nuevos datos de entrada para generar predicciones. Este proceso de generación de predicciones con el modelo o canalización se denomina inferencia.

Los puntos de conexión de Batch reciben punteros a datos y ejecutan trabajos de forma asincrónica para procesar los datos en paralelo en clústeres de proceso. Los endpoints de procesamiento por lotes almacenan los resultados en un almacén de datos para su análisis posterior. Utiliza puntos finales por lotes cuando:

• Tiene modelos o pipelines costosos que requieren más tiempo para ejecutarse.
• Quiere poner en marcha canalizaciones de aprendizaje automático y reutilizar componentes.
• Debe realizar la inferencia en grandes cantidades de datos, distribuidas en varios archivos.
• No existen requisitos de baja latencia.
• Las entradas del modelo se almacenan en una cuenta de almacenamiento o en un recurso de datos de Azure Machine Learning.
• Puede aprovechar la paralelización.

Implementaciones en lote

Una implementación es un conjunto de recursos y procesos necesarios para implementar la funcionalidad que proporciona el punto de conexión. Un punto de conexión puede hospedar varios despliegues, cada uno con su propia configuración, desacoplando la interfaz del punto de conexión de los detalles de implementación. Cuando se invoca un punto de conexión por lotes, enruta automáticamente el cliente a su implementación predeterminada. Esta implementación predeterminada se puede configurar y cambiar en cualquier momento.

Dos tipos de despliegues son posibles en los puntos de conexión por lotes de Azure Machine Learning.

• Implementación de modelos
• Implementación de componentes de canalización

Implementación de modelos

La implementación de modelos permite la operacionalización de la inferencia de modelos a escala, lo que le permite procesar grandes cantidades de datos de forma asincrónica y baja latencia. Azure Machine Learning instrumenta automáticamente la escalabilidad proporcionando paralelización de los procesos de inferencia en varios nodos de un clúster de proceso.

Usa la implementación del modelo cuando:

• Tiene modelos costosos que requieren un tiempo más largo para ejecutar la inferencia.
• Debe realizar la inferencia en grandes cantidades de datos, distribuidas en varios archivos.
• No existen requisitos de baja latencia.
• Puede aprovechar la paralelización.

La principal ventaja de las implementaciones de modelos es que puede usar los mismos recursos que se implementan para la inferencia en tiempo real a los puntos de conexión en línea, pero ahora puede ejecutarlos a escala en lote. Si el modelo requiere preprocesamiento simple o posterior al procesamiento, puede crear un script de puntuación que realice las transformaciones de datos necesarias.

Para crear una implementación de modelos en un punto de conexión por lotes, debe especificar los siguientes elementos:

• Modelo
• Clúster de proceso
• Script de puntuación (opcional para los modelos de MLflow)
• Entorno (opcional para los modelos de MLflow)

Creación de la primera implementación del modelo

Implementación de componentes de canalización

La implementación de componentes de canalización permite la operacionalización de gráficos de procesamiento completos (o canalizaciones) para realizar la inferencia por lotes de una manera baja de latencia y asincrónica.

Use la implementación de componentes de canalización cuando:

• Debe poner en funcionamiento gráficos de proceso completos que se pueden descomponer en varios pasos.
• Debe reutilizar componentes de canalizaciones de entrenamiento en tu canalización de inferencia.
• No existen requisitos de baja latencia.

La principal ventaja de las implementaciones de componentes de canalización es la reutilización de componentes que ya existen en la plataforma y la capacidad de operacionalizar rutinas de inferencia complejas.

Para crear una implementación de componentes de canalización en un punto de conexión por lotes, debe especificar los siguientes elementos:

• Componente de canalización
• Configuración del clúster de proceso

Cree su primer despliegue de componentes de la canalización

Los puntos de conexión de Batch también permiten crear implementaciones de componentes de canalización a partir de un trabajo de canalización existente. Al hacerlo, Azure Machine Learning crea automáticamente un componente de canalización fuera del trabajo. Esto simplifica el uso de estos tipos de implementaciones. Sin embargo, es una buena práctica crear siempre componentes de canalización explícitamente para optimizar tu práctica de MLOps.

Administración de costos

Al invocar un punto de conexión por lotes, se inicia asincrónicamente un trabajo de inferencia por lotes. Azure Machine Learning aprovisiona automáticamente los recursos de proceso cuando se inicia el trabajo y los desasigna automáticamente a medida que se completa el trabajo. De este modo, solo se paga por cómputo cuando se utiliza.

Propina

Al implementar modelos, puede invalidar la configuración de recursos de proceso (como el recuento de instancias) y la configuración avanzada (como el tamaño de lote mínimo, el umbral de error, etc.) para cada trabajo de inferencia por lotes individual. Al aprovechar estas configuraciones específicas, es posible que pueda acelerar la ejecución y reducir el costo.

Los puntos de conexión de Batch también se pueden ejecutar en máquinas virtuales de baja prioridad. Los puntos de conexión de Batch se pueden recuperar automáticamente de máquinas virtuales desasignadas y reanudar el trabajo desde donde se dejó al implementar modelos para la inferencia. Para más información sobre cómo usar máquinas virtuales de prioridad baja para reducir el costo de las cargas de trabajo de inferencia por lotes, consulte Uso de máquinas virtuales de prioridad baja en puntos de conexión por lotes.

Por último, Azure Machine Learning no le cobra por los puntos de conexión por lotes o las implementaciones por lotes por sí mismos, por lo que puede organizar los puntos de conexión e implementaciones como mejor se adapte a su escenario. Los puntos de conexión e implementaciones pueden usar clústeres independientes o compartidos, por lo que puede lograr un control granular sobre qué recursos consumen los trabajos. Use la escala a cero en clústeres para asegurarse de que no se consumen recursos cuando están inactivos.

Simplificar la práctica de MLOps

Los puntos de conexión de Batch pueden controlar varias implementaciones en el mismo punto de conexión, lo que permite cambiar la implementación del punto de conexión sin cambiar la dirección URL que usan los consumidores para invocarlo.

Puede agregar, quitar y actualizar implementaciones sin afectar al propio punto de conexión.

Orígenes de datos flexibles y almacenamiento

Los puntos de conexión de Batch leen y escriben datos directamente desde el almacenamiento. Puede especificar Azure Machine Learning almacenes de datos, Azure Machine Learning recursos de datos o cuentas de almacenamiento como entradas. Para obtener más información sobre las opciones de entrada admitidas y cómo especificarlas, consulte Creación de trabajos y datos de entrada para puntos de conexión por lotes.

Seguridad

Los puntos de conexión de Batch proporcionan todas las funcionalidades necesarias para operar cargas de trabajo de nivel de producción en una configuración empresarial. Admiten redes privadas en áreas de trabajo protegidas y autenticación de Microsoft Entra, ya sea usando un principal de usuario (como una cuenta de usuario) o un principal de servicio (como una identidad administrada o no administrada). Los trabajos generados por un extremo de procesamiento por lotes se ejecutan bajo la identidad del invocador, lo que brinda la flexibilidad de implementar cualquier escenario. Para obtener más información sobre la autorización al usar puntos de conexión por lotes, consulte Cómo autenticarse en puntos de conexión por lotes.

Configurar el aislamiento de red en Batch Endpoints

Contenido relacionado

• Implementación de modelos con puntos de conexión por lotes
• Implementación de canalizaciones con puntos de conexión por lotes
• Implementación de modelos de MLFlow en implementaciones por lotes
• Creación de trabajos y datos de entrada en puntos de conexión por lotes
• Aislamiento de red para puntos de conexión de Batch