Cargas de trabajo de IA en Azure Local

Azure Local aporta Azure funcionalidades de inteligencia artificial directamente a la infraestructura para que pueda procesar datos localmente sin enviarlos a la nube. En este artículo se tratan las cargas de trabajo de inteligencia artificial disponibles en Azure Local y le ayuda a elegir la adecuada para sus necesidades. Cada carga de trabajo se ejecuta en Kubernetes habilitado para Azure Arc, por lo que obtendrá una administración y seguridad coherentes con la nube al tiempo que mantiene el procesamiento de datos local.

Importante

Algunas cargas de trabajo de inteligencia artificial descritas en este artículo se encuentran actualmente en versión preliminar, entre ellas Foundry Local en Azure Local y la recuperación agéntica en Foundry Local. Consulte la documentación de la carga de trabajo vinculada y los Términos Suplementarios de Uso para Vistas Previas de Microsoft Azure para conocer los términos legales que se aplican a las características de Azure que están en beta, vista previa u otra manera no lanzadas aún para disponibilidad general.

Ejecución de la inferencia del modelo de IA en la infraestructura

Foundry Local en Azure Local, actualmente en versión preliminar, lleva la inferencia de IA al entorno de Azure Local. Implemente y ejecute modelos generativos o predictivos desde el catálogo de modelos foundry en un clúster de Kubernetes habilitado para Arc. Puede implementar Foundry Local como una extensión de Azure Arc o mediante Helm.

Foundry Local usa un plano de control basado en el operador para la administración del ciclo de vida del modelo. El operador de inferencia de Kubernetes supervisa el estado del clúster y reconcilia los recursos del modelo, sincroniza los metadatos del catálogo de modelos Foundry e implementa modelos mediante recursos personalizados declarativos (Model y ModelDeployment CRDs). El tráfico de inferencia se expone a través de servicios internos o ingreso, protegido con clave API o validación de tokens de Microsoft Entra ID y TLS.

Capabilities

Foundry Local incluye las funcionalidades principales que necesita para ejecutar la inferencia del modelo de IA en Azure Local.

Capacidad Description
Sincronización del catálogo de modelos Sincronice los metadatos del modelo desde el catálogo de modelos foundry al clúster para poder encontrar e implementar modelos.
Inferencia de CPU y GPU Implemente modelos en nodos habilitados para GPU o solo CPU. Use el motor de ONNX-GenAI predeterminado (CPU o GPU) o el motor vLLM (solo GPU) para escenarios de alto rendimiento.
API compatible con OpenAI Envíe solicitudes a través de /v1/chat/completions para tareas generativas y /v1/predict para tareas predictivas.
Compatibilidad con varios modelos Ejecute varias implementaciones de modelos en un clúster con configuración declarativa.
Implementación de varios nodos Escale la inferencia entre clústeres de Kubernetes de varios nodos para el uso simultáneo y la compatibilidad con modelos de alto parámetro.
Operaciones desconectadas Funcionan en entornos desconectados en los que la conectividad a Internet no está disponible, con un modelo de implementación coherente con escenarios conectados.
Traiga su propio modelo Implemente sus propios modelos junto con los modelos de catálogo para escenarios de inferencia especializados o optimizados.
Seguridad Utiliza claves de API o autenticación de Microsoft Entra ID para el control de acceso, TLS para el cifrado e ingreso para el acceso externo controlado.

Casos de uso

Use Foundry Local cuando necesite la inferencia de IA de baja latencia en la infraestructura local para cargas de trabajo confidenciales o operativas.

  • Ejecute aplicaciones internas de chat y generación de contenido mientras mantiene datos confidenciales en el entorno local.
  • Implemente modelos predictivos para las decisiones de clasificación, puntuación y tiempo real en la planta de fábrica.
  • Administre el modelo de IA que sirve con flujos de trabajo nativos de Kubernetes que se ajusten a las operaciones de plataforma existentes.
  • Escala la inferencia de IA en varios nodos de un clúster de Kubernetes para permitir el acceso simultáneo y usar modelos de mayor tamaño.
  • Ejecute la inferencia de IA en entornos desconectados sin conectividad a Internet.

Para obtener más información, consulte:

Buscar y razonar sobre documentos locales con agentes de IA

La Recuperación agéntica en Foundry Local, actualmente en versión preliminar, es la extensión de Kubernetes habilitada para Azure Arc que constituye el núcleo de la plataforma Agentes y herramientas con Foundry Local. Proporciona una plataforma agentic de generación aumentada por recuperación (RAG) en el edge, que combina una capa de conocimiento (ingesta de documentos, embeddings, búsqueda vectorial) con una capa agentic (agentes de IA, orquestación del conocimiento, servidor MCP) para ofrecer asistentes inteligentes de varios pasos basados en sus datos privados alojados en sus instalaciones.

La plataforma se basa en tres componentes que funcionan conjuntamente:

  • RAG agéntico local - orquestación de agentes de IA con bases de conocimiento, fuentes de conocimiento y un servidor MCP para el razonamiento multietapa sobre tus datos.
  • Orígenes de conocimiento locales : ingesta de datos, inserción y canalización de recuperación que indexa los documentos locales en colecciones que se pueden buscar.
  • Experiencia de chat local : una interfaz de usuario de chat integrada para interactuar con agentes, administrar conversaciones y ver citas. No se requiere ningún front-end personalizado.

Capabilities

La recuperación agenteica en Foundry Local proporciona las funcionalidades principales que necesita para crear experiencias de inteligencia artificial fundamentadas a través de datos locales.

Capacidad Description
RAG agente Los agentes de inteligencia artificial procesan las consultas de usuario mediante el razonamiento sobre instrucciones, la invocación de herramientas y la generación de respuestas basadas en datos locales a través de interacciones de varios pasos.
Orquestación de conocimientos Conecte los agentes a una o varias fuentes de datos a través de bases de conocimiento y fuentes de conocimiento para una recuperación exhaustiva.
Servidor MCP Un servidor integrado de Protocolo de contexto de modelo (MCP) con herramientas de búsqueda, además de compatibilidad para conectarse a servidores MCP externos.
Canalización de ingesta de datos Ingerir, fragmentar, insertar, almacenar y recuperar los documentos e imágenes en una sola canalización integrada.
Modelos de lenguaje local Use un punto de conexión de Foundry Local en Azure Local (recomendado) o traiga su propio modelo con una API de finalización de chat compatible con OpenAI.
Varios tipos de búsqueda Búsqueda híbrida, vectorial, de texto y multimodal híbrida para adaptarse a las necesidades de sus consultas.
Solución de chat local Interfaz de chat integrada para interactuar con agentes, gestionar conversaciones y ver citas con respuestas en tiempo real.
RBAC de Azure Controlar el acceso con la integración de Microsoft Entra y permisos basados en roles.

Casos de uso

Utilice la Recuperación agéntica en Foundry Local cuando necesite buscar, resumir y razonar a partir de contenido privado que deba permanecer en las instalaciones con agentes de IA inteligentes de varios pasos.

  • Consulte documentos normativos y de cumplimiento mediante lenguaje natural para apoyar los flujos de trabajo de permisos, zonificación y revisión ambiental.
  • Ejecute comprobaciones de cumplimiento y flujos de trabajo de asistencia al cliente con datos financieros que deben permanecer en el entorno local.
  • Cree asistentes de solución de problemas para técnicos de planta de fábrica mediante datos operativos y de mantenimiento locales.
  • Implemente un agente que pueda razonar en varios documentos clínicos, mediante bases de conocimiento y herramientas de MCP para correlacionar los registros de pacientes, los resultados del laboratorio y las directrices de tratamiento.
  • Conecte agentes a varios orígenes de datos externos a través de servidores MCP, sin ingerir todos los datos localmente.
  • Resumir y generar materiales de entrenamiento a partir de conjuntos de datos clasificados o confidenciales.

Para obtener más información, consulte:

Análisis de vídeo en directo en el perímetro

Video Indexer de Azure AI habilitado por Azure Arc ejecuta análisis de vídeo en directo en dispositivos perimetrales con procesamiento de baja latencia. Los agentes de vídeo precompilados y personalizados, con tecnología de modelos de lenguaje de visión, controlan tareas como la supervisión de operaciones comerciales, la detección de seguridad y el seguimiento de colas. También puede definir la lógica de detección personalizada mediante lenguaje natural para supervisar objetos o condiciones específicos sin escribir código.

Capabilities

Video Indexer de Azure AI habilitado por Azure Arc proporciona funcionalidades para el análisis de vídeo en directo en la infraestructura perimetral.

Capacidad Description
Análisis de vídeo en directo Analice las fuentes de vídeo en directo en tiempo real con el procesamiento perimetral de baja latencia para la supervisión comercial, seguridad y operativa.
Modelos de IA personalizados Defina la lógica de detección mediante lenguaje natural para supervisar objetos o condiciones específicos sin escribir código.
Agentes de vídeo Implemente agentes de vídeo precompilados y personalizados con tecnología de modelos de lenguaje de visión para automatizar las tareas de supervisión y análisis.
Gobernanza de datos Todos los datos de vídeo permanecen en el entorno local. Solo se envían metadatos del sistema a Microsoft.

Casos de uso

Use Video Indexer de Azure AI habilitados por Azure Arc cuando necesite analizar vídeo en directo localmente para escenarios operativos, de seguridad o de cumplimiento.

  • Supervise las condiciones de la tienda minorista con fuentes de vídeo en directo. Detecte las condiciones de las estanterías, los peligros de seguridad y las longitudes de filas, y después genere resúmenes del fin de turno.
  • Realice el control de calidad y el análisis de seguridad de los trabajadores en los vídeos de la planta de fabricación.
  • Implemente agentes de vídeo personalizados con lógica de detección definida por lenguaje natural para necesidades de supervisión específicas del sitio.

Para obtener más información, consulte:

Funcionamiento de la inteligencia artificial en entornos desconectados y soberanos

Azure Local admite operaciones desconectadas en entornos con conectividad limitada o sin conectividad en la nube. Los clústeres se pueden ejecutar sin conectividad de Azure continua y, a continuación, sincronizar después de que se devuelva la conectividad.

Antes de la implementación de producción, confirme qué cargas de trabajo de IA admiten el modo totalmente desconectado.

Las tres cargas de trabajo de IA procesan datos locales:

  • Foundry Local procesa las solicitudes de inferencia localmente. Los artefactos del modelo se almacenan en tu clúster. Admite operaciones totalmente desconectadas con un modelo de implementación coherente con escenarios conectados.
  • La recuperación agéntica en Foundry Local ejecuta toda la canalización completa de RAG agéntico, incluida la ingesta, la recuperación, la orquestación de agentes y la generación, dentro del perímetro de tu red.
  • Video Indexer procesa todos los vídeos y audio localmente. No se envían datos multimedia a la nube.

Requisitos comunes

Las tres cargas de trabajo de IA requieren:

  • Azure suscripción: se usa para registrar y administrar los recursos.
  • Clúster de Kubernetes habilitado por Azure Arc: se ejecuta en Azure Local y se conecta a Azure a través de Azure Arc.
  • CLI de Azure: se usa para administrar implementaciones y extensiones.
  • Conectividad de red: conectividad saliente a Azure para operaciones del plano de control, facturación y supervisión (excepto durante las operaciones desconectadas).

Antes de la implementación de producción, compruebe los requisitos de red y conectividad de cada carga de trabajo. Cada carga de trabajo tiene sus propios requisitos previos de hardware y software. Consulte la documentación de carga de trabajo individual para obtener más información.

Elección de la carga de trabajo correcta

Use la tabla siguiente para hacer coincidir cada escenario de IA con la carga de trabajo más adecuada en Azure Local. Planee combinar cargas de trabajo cuando el entorno tenga varios datos y necesidades de aplicación.

Si necesitas... Tenga en cuenta que:
Servir modelos de IA para chat, generación o predicción Foundry Local on Azure Local (versión preliminar)
Escalado de la inferencia de IA en varios nodos Foundry Local on Azure Local (versión preliminar)
Creación de un agente inteligente a través de documentos locales con razonamiento de varios pasos Recuperación agéntica en Foundry Local (versión preliminar)
Conexión de agentes de IA a orígenes de datos externos a través de servidores MCP Recuperación agéntica en Foundry Local (versión preliminar)
Análisis de contenido de vídeo o audio en tiempo real o desde archivos Video Indexer de Azure AI habilitado por Azure Arc
Procesamiento de datos confidenciales que no pueden salir del entorno local Cualquiera de las tres, dependiendo del tipo de datos
Funciona completamente sin conexión Foundry Local on Azure Local (versión preliminar)

Contenido relacionado

  • Se actualizó por última vez el