Referencia de la API de MLflow

En esta página se proporciona un índice de las API de MLflow importantes que se usan en las aplicaciones de GenAI, con vínculos directos a la documentación oficial de MLflow.

Las características de MLflow marcadas como "solo Databricks" solo están disponibles en MLflow administrado por Databricks.

Vínculos rápidos

• Todas las API de Python de MLflow
• API de MLflow Core
• Módulo GenAI de MLflow
  • API de seguimiento de MLflow
  • Referencia del conjunto de datos de evaluación
  • Referencia de supervisión de producción
• API de cliente de MLflow
• Entidades de MLflow

Importante

Algunas de las API a las que se hace referencia en esta página se encuentran actualmente en las fases Beta o Experimental . Estas API están sujetas a cambios o eliminación en futuras versiones. Las API experimentales están disponibles para todos los clientes y las API beta están disponibles para la mayoría de los clientes automáticamente. Si no tiene acceso a una API beta y necesita solicitar acceso, póngase en contacto con el representante de soporte técnico de Databricks.

Administración de experimentos

Administre experimentos y ejecuciones de MLflow para realizar el seguimiento del desarrollo de aplicaciones de GenAI:

SDK

• mlflow.search_runs() - Búsqueda y filtrado de ejecuciones por criterios
• mlflow.set_experiment() - Establece el experimento activo de MLflow
• mlflow.start_run() - Iniciar una nueva ejecución de MLflow para el seguimiento

Entidades

• mlflow.entities.Experiment - Experimento de metadatos y configuración
• mlflow.entities.Run - Ejecución de metadatos, métricas y parámetros

Rastreo

Instrumentar y capturar trazas de ejecución de aplicaciones de GenAI:

SDK

• mlflow.delete_trace_tag() - Quitar una etiqueta de una traza
• mlflow.get_current_active_span() - Obtener el intervalo actualmente activo
• mlflow.get_last_active_trace() - Recuperar el seguimiento completado más recientemente
• mlflow.get_last_active_trace_id() - Obtener el identificador del último seguimiento activo
• mlflow.get_trace() - Recuperar un seguimiento por identificador
• mlflow.search_traces() - Búsqueda y filtrado de trazas
• mlflow.set_trace_tag() - Agregar una etiqueta a un seguimiento
• mlflow.start_span() - Iniciar manualmente un nuevo segmento
• mlflow.trace - Decorador para realizar un seguimiento automático de la ejecución de la función
• mlflow.traceName - Administrador de contextos para establecer el nombre de seguimiento
• mlflow.traceOutputs - Administrador de contextos para establecer salidas de seguimiento
• mlflow.tracing - Módulo de seguimiento con funciones de configuración
• mlflow.tracing.disable - Deshabilitar el seguimiento globalmente
• mlflow.tracing.disable_notebook_display() - Deshabilitar la visualización de trazas en cuadernos
• mlflow.tracing.enable - Habilitar el seguimiento globalmente
• mlflow.tracing.enable_notebook_display() - Permitir la visualización de trazas en cuadernos
• mlflow.update_current_trace() - Actualizar metadatos para el seguimiento actual

Entidades

• mlflow.entities.Trace - Seguimiento completo con todos los intervalos y metadatos
• mlflow.entities.TraceData - Seguimiento de datos de ejecución
• mlflow.entities.TraceInfo - Seguimiento de metadatos e información de resumen
• mlflow.entities.Span - Extensión individual dentro de una traza
• mlflow.entities.SpanEvent - Evento que se produce dentro de un intervalo
• mlflow.entities.SpanType - Enumeración de clasificación de tipos de intervalo
• mlflow.entities.Document - Entidad de documento para aplicaciones RAG

Rastreo de integraciones

Instrumentación automática para bibliotecas y marcos de GenAI populares:

• mlflow.anthropic.autolog - Integración de Anthropic Claude
• mlflow.autogen.autolog - Integración de Microsoft AutoGen
• mlflow.bedrock.autolog - Integración de AWS Bedrock
• mlflow.crewai.autolog - Integración de CrewAI
• mlflow.dspy.autolog - Integración de DSPy
• mlflow.gemini.autolog - Integración de Google Gemini
• mlflow.groq.autolog - Integración de Groq
• mlflow.langchain.autolog - Integración de LangChain
• mlflow.litellm.autolog - Integración de LiteLLM
• mlflow.llama_index.autolog - Integración de LlamaIndex
• mlflow.mistral.autolog - Integración de Mistral AI
• mlflow.openai.autolog - Integración de OpenAI

Evaluación y supervisión

SDK de evaluación principal

API principales para la evaluación sin conexión y la supervisión de producción:

• mlflow.genai.evaluate() - Entorno de evaluación para orquestar la evaluación offline con puntuadores y conjuntos de datos
• mlflow.genai.to_predict_fn() - Convertir la salida del modelo en formato de función de predicción estandarizada
• mlflow.genai.Scorer - Clase de puntuación personalizada para la implementación orientada a objetos con administración de estado
• mlflow.genai.scorer() - Decorador de puntuación para la creación y la lógica de evaluación del puntuador

Puntuadores integrados

Puntuadores de evaluación de calidad listos para su uso inmediato:

• mlflow.genai.scorers.Safety - Evaluación de la seguridad del contenido
• mlflow.genai.scorers.Correctness - Evaluación de precisión de respuesta
• mlflow.genai.scorers.RelevanceToQuery - Puntuación de relevancia de la consulta
• mlflow.genai.scorers.Guidelines - Cumplimiento de directrices personalizadas
• mlflow.genai.scorers.ExpectationsGuidelines - Evaluación de directrices con expectativas
• mlflow.genai.scorers.RetrievalGroundedness - Evaluación de la puesta en tierra de RAG
• mlflow.genai.scorers.RetrievalRelevance - Relevancia del contexto recuperado
• mlflow.genai.scorers.RetrievalSufficiency - Evaluación de la suficiencia de contexto

Asistentes de puntuación integrados:

• mlflow.genai.scorers.get_all_scorers() - Recuperar todos los puntuadores integrados

Funciones de juez

Funciones de evaluación basadas en LLM para el uso directo o el ajuste del puntuador:

• mlflow.genai.judges.is_safe() - Evaluación de seguridad
• mlflow.genai.judges.is_correct() - Evaluación de corrección
• mlflow.genai.judges.is_grounded() - Comprobación en tierra
• mlflow.genai.judges.is_context_relevant() - Relevancia del contexto
• mlflow.genai.judges.is_context_sufficient() - Suficiencia de contexto
• mlflow.genai.judges.meets_guidelines() - Evaluación de directrices personalizadas
• mlflow.genai.make_judge() - Crear jueces personalizados

Entidades de salida del juez

• mlflow.genai.judges.CategoricalRating - Enumeración de respuestas del juez clasificadas por categorías
  • mlflow.genai.judges.CategoricalRating.YES - Clasificación positiva
  • mlflow.genai.judges.CategoricalRating.NO - Clasificación negativa
  • mlflow.genai.judges.CategoricalRating.UNKNOWN - Clasificación incierta

SDK para el ciclo de vida del evaluador de monitoreo de producción (solo Databricks)

Importante

Esta característica se encuentra en su versión beta. Los administradores del área de trabajo pueden controlar el acceso a esta característica desde la página Vistas previas . Consulte Administración de versiones preliminares de Azure Databricks.

Administración del ciclo de vida del puntuador para el seguimiento continuo de la calidad en producción:

Métodos de instancia del scorer

• Scorer.register() - Registrar el evaluador personalizado en el servidor
• Scorer.start() - Comenzar la evaluación en línea con muestreo
• Scorer.update() - Modificar la configuración de muestreo
• Scorer.stop() - Detener la evaluación en línea

Funciones del registro de evaluador

• mlflow.genai.scorers.get_scorer() - Recuperación del marcador registrado por nombre
• mlflow.genai.scorers.list_scorers() - Enumerar todos los puntuadores registrados
• mlflow.genai.scorers.delete_scorer() - Eliminar los puntuadores registrados por nombre

Propiedades del puntuador

• Scorer.sample_rate - Frecuencia de muestreo actual (0,0-1,0)
• Scorer.filter_string - Filtro de seguimiento actual

Clases de configuración

• mlflow.genai.ScorerSamplingConfig - Clase de datos de configuración de muestreo

Entidades de evaluación

Estructuras de datos para almacenar los resultados y los comentarios de evaluación:

• mlflow.entities.Assessment - Contenedor de resultados de evaluación
• mlflow.entities.AssessmentError - Detalles del error de evaluación
• mlflow.entities.AssessmentSource - Origen de la evaluación
• mlflow.entities.AssessmentSourceType - Enumeración de tipo de fuente de evaluación
• mlflow.entities.Expectation - Resultado esperado de la verdad fundamental
• mlflow.entities.Feedback - Resultado del puntuador con el valor y la justificación

Conjuntos de datos de evaluación

Cree y administre conjuntos de datos de prueba con versiones para la evaluación sistemática:

SDK

• mlflow.genai.create_dataset() - Creación de un nuevo conjunto de datos de evaluación
• mlflow.genai.delete_dataset() - Eliminación de un conjunto de datos de evaluación
• mlflow.genai.get_dataset() - Recuperación de un conjunto de datos de evaluación existente

Entidades

• mlflow.genai.datasets.EvaluationDataset - Contenedor de datos de prueba versionado
  • merge_records() - Combinar registros de varios orígenes
  • set_profile() - Configuración de los valores de perfil del conjunto de datos
  • to_df() - Conversión del conjunto de datos en DataFrame de Pandas
  • to_evaluation_dataset() - Conversión al formato del conjunto de datos de evaluación

Aplicación de etiquetado y revisión humana (Databricks solamente)

Recopilación de comentarios humanos y revisión de flujos de trabajo para la evaluación sistemática de la calidad:

SDK de sesión de etiquetado

• mlflow.genai.create_labeling_session() - Creación de una nueva sesión de etiquetado
• mlflow.genai.delete_labeling_session() - Eliminar una sesión de etiquetado
• mlflow.genai.get_labeling_session() - Recuperación de la sesión de etiquetado por identificador
• mlflow.genai.get_labeling_sessions() - Enumerar todas las sesiones de etiquetado
• mlflow.genai.get_review_app() - Recuperación de la instancia de la aplicación de revisión

Tipos de esquema de etiqueta

• mlflow.genai.label_schemas.InputCategorical - Tipo de campo de entrada categórico
• mlflow.genai.label_schemas.InputCategoricalList - Entrada categórica de selección múltiple
• mlflow.genai.label_schemas.InputNumeric - Tipo de campo de entrada numérico
• mlflow.genai.label_schemas.InputText - Tipo de campo de entrada de texto
• mlflow.genai.label_schemas.InputTextList - Tipo de campo de entrada de texto múltiple
• mlflow.genai.label_schemas.LabelSchema - Definición del esquema de etiqueta
• mlflow.genai.label_schemas.LabelSchemaType - Enumeración de tipo de esquema
  • mlflow.genai.label_schemas.LabelSchemaType.EXPECTATION - Tipo de esquema de expectativa
  • mlflow.genai.label_schemas.LabelSchemaType.FEEDBACK - Tipo de esquema de comentarios

SDK para esquema de etiquetas

• mlflow.genai.label_schemas.create_label_schema() - Crear un nuevo esquema de etiqueta
• mlflow.genai.label_schemas.delete_label_schema() - Eliminar un esquema de etiqueta existente
• mlflow.genai.label_schemas.get_label_schema() - Recuperar el esquema de etiqueta por nombre

Entidades

• mlflow.genai.Agent - Configuración del agente para revisar las pruebas de aplicaciones

• mlflow.genai.LabelingSession - Administrador de flujos de trabajo de etiquetado humano

  • add_dataset() - Adición de un conjunto de datos de evaluación a la sesión de etiquetado
  • add_traces() - Agregar rastros para la revisión humana
  • set_assigned_users() - Asignar revisores a la sesión
  • sync() - Sincronizar el estado de sesión

• mlflow.genai.ReviewApp - Aplicación de revisión interactiva

  • add_agent() - Agregar agente para pruebas
  • remove_agent() - Quitar agente de la aplicación de revisión

Administración de mensajes

Control de versiones y administración del ciclo de vida de las solicitudes usadas en las aplicaciones de GenAI:

SDK

• mlflow.genai.load_prompt() - Carga de un indicador con versiones desde el Registro
• mlflow.genai.optimize_prompt() - Mejorar automáticamente los mensajes mediante algoritmos de optimización
• mlflow.genai.register_prompt() - Registrar una nueva solicitud en el registro
• mlflow.genai.search_prompts() - Buscar mensajes por nombre o etiquetas
• mlflow.genai.delete_prompt_alias() - Quitar un alias de una versión de indicador de comandos
• mlflow.genai.set_prompt_alias() - Asignar un alias a una versión de un indicador

Entidades

• mlflow.entities.Prompt - Mostrar metadatos e información de versión

Optimización del prompt

Importante

Esta característica se encuentra en su versión beta. Los administradores del área de trabajo pueden controlar el acceso a esta característica desde la página Vistas previas . Consulte Administración de versiones preliminares de Azure Databricks.

Mejora automática de la solicitud mediante algoritmos de optimización controlados por datos:

SDK

• mlflow.genai.optimize.optimize_prompt() - Ejecución del proceso de optimización de prompts

Entidades

• mlflow.genai.optimize.LLMParams - Parámetros de configuración de LLM
• mlflow.genai.optimize.OptimizerConfig - Configuración del algoritmo de optimización
• mlflow.genai.optimize.PromptOptimizationResult - Resultados y métricas de optimización

Seguimiento de versiones de la aplicación

Seguimiento y administración de versiones de aplicaciones de GenAI en producción:

SDK

• mlflow.set_active_model() - Establecimiento del modelo activo para el seguimiento de versiones
• mlflow.clear_active_model() - Borrar el contexto del modelo activo
• mlflow.get_active_model_id() - Obtención del identificador del modelo activo actual
• mlflow.create_external_model() - Registro de una implementación de modelos externos
• mlflow.delete_logged_model_tag() - Quitar una etiqueta del modelo registrado
• mlflow.finalize_logged_model() - Finalización de un modelo registrado
• mlflow.get_logged_model() - Recuperación del modelo registrado por identificador
• mlflow.initialize_logged_model() - Inicialización de un nuevo modelo registrado
• mlflow.last_logged_model() - Obtener el modelo registrado más recientemente
• mlflow.search_logged_models() - Búsqueda de modelos registrados
• mlflow.set_logged_model_tags() - Agregar etiquetas al modelo registrado
• mlflow.log_model_params() - Parámetros de registro de un modelo

Entidades

• mlflow.entities.LoggedModel - Metadatos e información del modelo registrados
• mlflow.entities.LoggedModelStatus - Enumeración de estado del modelo registrado
• mlflow.ActiveModel - Administrador de contexto del modelo activo