Realice un seguimiento del linaje del servicio y del proveedor del modelo

Unity Catalog captura el linaje de los servicios de modelos y los proveedores externos de modelos (servicios de proveedores de modelos) gestionados mediante Unity Gateway. Puedes hacer un seguimiento de los modelos fundacionales que ofrece cada servicio, de su ruta principal o de respaldo y de los recursos posteriores que consumen los datos de la carga útil. Lineage te permite:

  • Evaluar el impacto antes de retirar un modelo fundacional o un servicio: Identifica los servicios o cargas de trabajo dependientes que se verán afectados antes de retirar un modelo fundacional restringido o sustituir un proveedor de modelos.
  • Realiza un seguimiento de las dependencias entre los datos y los activos de IA: Sigue un servicio desde los modelos fundacionales a los que da servicio hasta la tabla de inferencia en la que registra las cargas útiles, y de ahí a las cargas de trabajo descendentes que consumen los datos de carga útil.

Requisitos

Note

Unity Gateway no es compatible con AWS GovCloud ni en Azure Government.

¿Qué linaje se captura?

Unity Catalog captura las dependencias de un servicio desde su definición: los objetos a los que hace referencia cuando creas o actualizas el servicio. El linaje distingue dos direcciones, consistentes con el linaje de la tabla:

  • Las dependencias aguas arriba son los objetos de los que depende un servicio, como un modelo de fundación servida.
  • Las dependencias aguas abajo son los objetos que dependen de un servicio, como una tabla de inferencia.

La siguiente tabla enumera las relaciones de linaje capturadas para cada tipo de servicio.

Service Ascendente Aguas abajo
Servicio de modelos Los modelos base servidos, etiquetados como PRIMARY o FALLBACK. Un modelo externo servido aparece como su proveedor externo del modelo. La tabla de inferencia que está configurada para registrar las cargas útiles de las solicitudes.
Proveedor externo de modelos (servicio de proveedor de modelos) Ninguna. Los servicios de modelos de evaluación a partir de directivas de protección no se tratan aquí. Cada servicio de modelo está configurado para dirigir al proveedor, y la tabla de inferencia está configurada para registrar las cargas útiles de las solicitudes.

El linaje es recíproco: un modelo fundacional servido muestra el servicio del modelo como consumidor descendente en su propia pestaña Lineage, y una tabla de inferencia muestra el servicio como productor ascendente.

Ver línea de servicio en Catalog Explorer

Para ver el linaje de un servicio de modelo o de un servicio de proveedor de modelos:

  1. En el área de trabajo de Azure Databricks, haga clic en Data icon.Catalog.
  2. Busca o navega por el servicio y luego haz clic en su nombre.
  3. Selecciona la pestaña de Linaje . La pestaña muestra la línea ascendente y descendente del servicio, con las siguientes columnas:
    • Nombre: El nombre del objeto relacionado.
    • Dirección: Ya sea que el objeto esté aguas arriba o aguas abajo del servicio.
    • Tipo: El tipo del objeto relacionado, como Modelo, Servicio proveedor de Modelo o Tabla.
    • Última actividad: cuándo se capturó por última vez la relación de linaje.
  4. Para acotar la lista, introduce un nombre en Línea de Filtro, o filtra por dirección, tipo de objeto, espacio de trabajo y rango de tiempo.

El siguiente ejemplo muestra la pestaña Linaje para el main.ai_lineage_demo.customer_support_endpoint servicio modelo. Los recursos upstream incluyen los modelos fundacionales databricks-claude-opus-4-8 y databricks-kimi-k3-neo, y el servicio del proveedor del modelo anthropic al que da servicio. El activo aguas abajo es la customer_support_endpoint_payload tabla de inferencias que registra sus cargas útiles de solicitud.

Pestaña de linaje para un servicio de modelo, que muestra modelos ascendentes y una tabla de inferencia descendente

Consulta el gráfico de linaje

El gráfico de linaje representa los servicios y sus objetos relacionados como nodos conectados para que puedas explorar visualmente las dependencias de varios saltos.

  1. En la pestaña de Linaje del servicio, haz clic en Ver gráfico de linaje.
  2. Haz clic en el icono de signo de más en un nodo para ampliar sus conexiones.
  3. Para un servicio de modelos, las conexiones con los modelos fundacionales o los servicios del proveedor de modelos a los que da servicio se etiquetan PRIMARY o FALLBACK. Haz clic en un nodo para navegar hasta el objeto o explorar su linaje.

Por defecto, el gráfico muestra el linaje de todos los espacios de trabajo asociados al metastore. Utiliza el filtro de intervalo de tiempo en la barra de herramientas de grafos para distinguir las dependencias activas de las que están obsoletas. Para limitar los resultados al espacio de trabajo actual, selecciona un nodo y luego selecciona Solo este espacio de trabajo en el panel de detalles de Linaje .

El siguiente ejemplo muestra el grafo al que accedió desde el main.ai_lineage_demo.customer_support_endpoint servicio de modelos. El anthropic servicio modelo del proveedor se extiende a tres servicios modelo, de modo que una única vista muestra todos los servicios que un cambio en ese proveedor podría afectar. Antes de desestimar un modelo de fundación o restringir el acceso a un servicio, utiliza el gráfico de linaje para:

  • Encuentra cada servicio afectado en una sola vista: Consulta todos los servicios modelo que sirven a un modelo o proveedor determinado, en lugar de comprobar cada servicio uno por uno.
  • Identifica qué servicios dejarían de funcionar y cuáles sufrirían una degradación: Las etiquetas de borde PRIMARY y FALLBACK indican qué servicios fallan si se elimina un modelo y cuáles recurren a otro, lo que permite priorizar la migración.
  • Contacta con los propietarios adecuados: Cada nodo muestra a su propietario, así sabes a quién notificar. Haz clic en un nodo para abrir el objeto en el Explorador de Catálogos.

Gráfico de linaje que muestra modelos primarios y de respaldo enrutados a través de servicios de modelos a una tabla de inferencia

Como la tabla de inferencia de un servicio tiene su propio linaje, puedes expandirla aguas abajo para seguir hacia dónde fluyen las cargas útiles registradas de peticiones y respuestas. En el siguiente ejemplo, la tabla customer_support_endpoint_payload alimenta la vista payload_analysis y sus consumidores posteriores. Véase la tabla de linaje.

Grafo de linaje que muestra una tabla de inferencia ampliada en sentido descendente hasta una vista y sus consumidores

Limitaciones

El linaje de servicios captura solo las dependencias en la definición de un servicio. Unity Catalog no captura las cargas de trabajo y agentes que llaman a un servicio en tiempo de ejecución, ni los datos a los que acceden a través de él. También se aplican las limitaciones que se aplican a toda la línea de Unity Catalog .

Recursos adicionales