Nota:
El acceso a esta página requiere autorización. Puede intentar iniciar sesión o cambiar directorios.
El acceso a esta página requiere autorización. Puede intentar cambiar los directorios.
Un entorno de ajuste en Frontier El ajuste es un contenedor de los recursos que usa un sistema de inteligencia artificial para intentar realizar tareas empresariales y evaluar sus respuestas. Esos recursos incluyen habilidades, criterios de evaluación, mensajes de muestra, fuentes de conocimiento, herramientas, configuración de modelos e historial de ejecución.
Como creador de agentes, puede usar estos bloques de creación para describir una tarea, definir una buena respuesta y comparar cambios. En este artículo se explican los conceptos compartidos en los flujos de trabajo de ajuste, en lugar de los pasos para una tarea o complemento en particular.
Ajuste de entornos
Un entorno de ajuste, también denominado entorno de aprendizaje por refuerzo (RLE), reúne los recursos para un escenario de ajuste. Los recursos tienen diferentes propósitos:
| Recurso | Propósito |
|---|---|
| Habilidades | Describa cómo responde el agente a un tipo de solicitud. |
| Criterios de evaluación | Definir los estándares para evaluar las respuestas de una aptitud. |
| Mensajes de ejemplo | Proporcione ejemplos de solicitudes de evaluación o aprendizaje. |
| Orígenes de conocimiento | Fundamenta las respuestas en tu contenido. |
| Conectores y herramientas | Exponga las acciones que el agente puede realizar. |
| Configuración del modelo | Identificar modelos disponibles para respuestas, evaluación o ajuste. |
| Historial de ejecuciones | El registro recorre el entorno. |
En los comandos de la CLI, un entorno de ajuste se denomina entorno, como en frontier-tuning environments create. La -e opción identifica el entorno en el que actúa un comando.
Enrutamiento de aptitudes y solicitudes
Una aptitud define cómo responde el agente a un tipo de solicitud. Combina:
- Instrucciones que sigue el agente.
- Descripción utilizada para dirigir las solicitudes a la aptitud.
- Criterios de evaluación utilizados para evaluar sus respuestas.
- Referencias de conocimientos opcionales para esa aptitud.
La descripción ayuda al entorno a seleccionar una aptitud coincidente. Las instrucciones describen cómo controlar la solicitud después de seleccionar la habilidad. Las aptitudes se pueden habilitar o deshabilitar para el enrutamiento.
Cuando el control de versiones de aptitudes está disponible, el historial de versiones permite inspeccionar versiones anteriores. La disponibilidad del control de versiones depende de su inquilino.
Criterios de evaluación
Los criterios de evaluación son los estándares utilizados para evaluar las respuestas de una habilidad. Un criterio describe lo que incluye una buena respuesta, como citar una directiva o establecer una fecha límite.
En los comandos CLI y los archivos de habilidades, los criterios de evaluación se denominan rúbricas, como en frontier-tuning rubrics list. Un criterio incluye:
- Un nombre.
- Uno o varios elementos de la lista de comprobación.
- Un nivel de importancia:
critical,high,mediumolow. - Un estado habilitado.
Los criterios conectan sus expectativas con la calificación de respuesta. Dependiendo de la operación, también pueden guiar la selección de respuestas o proporcionar una señal para el ajuste. Estos usos son distintos de las instrucciones que le dicen al agente cómo responder.
Indicaciones de ejemplo y evaluación retenida
Una solicitud de ejemplo es una solicitud de ejemplo que se usa para la evaluación o el ajuste. Un ejemplo pertenece a una aptitud y puede hacer referencia a un archivo, como un documento de SharePoint que la solicitud pide al agente que resuma.
| Etiqueta de muestra | Propósito |
|---|---|
| Evaluación | Evaluar las respuestas con respecto a los criterios de evaluación. |
| Aprendizaje | Proporcione ejemplos para ajustar o refinar las instrucciones de habilidades y los criterios de evaluación. |
La etiqueta describe el uso previsto de la muestra. No confíe solo en la etiqueta para mantener los datos de evaluación separados de los insumos de mejora.
Un conjunto retenido contiene muestras de evaluación que no se usan para la generación, el refinamiento o el entrenamiento. Mantener esas solicitudes separadas lo ayuda a evaluar las respuestas a los ejemplos que no se usaron para realizar la mejora.
Las muestras se califican con los criterios de evaluación de su propia habilidad. Un cambio en esos criterios puede cambiar el significado de las puntuaciones resultantes, incluso cuando las indicaciones siguen siendo las mismas.
Orígenes de conocimiento
Una fuente de conocimiento fundamenta el agente en el contenido. Los orígenes pueden incluir un sitio o un archivo de SharePoint, una carpeta de OneDrive o SharePoint, una conversación de Teams o una reunión.
Las referencias de conocimiento identifican el contenido que debe usar el agente. Son distintas de las instrucciones de habilidades, que describen cómo responder, y de las herramientas, que exponen acciones como buscar o leer contenido.
Conectores y herramientas
Un conector agrupa las herramientas de un servicio, como Outlook, Correo o SharePoint. Una herramienta es una acción expuesta a través de ese conector, como buscar correo o leer un archivo.
La configuración del conector y la habilitación de herramientas individuales son controles diferentes. Algunos tipos de conectores admiten alternancias de herramientas individuales; Los controles disponibles dependen del tipo de conector.
Las herramientas también difieren en los servicios y datos que usan:
| Tipo de herramienta | Comportamiento deseado |
|---|---|
| Herramienta real | Llama al servicio real y usa sus datos. |
| Herramienta virtualizada | Usa el servicio real para lecturas e interceptaciones de escrituras admitidas durante la evaluación y el entrenamiento. |
| Herramienta de prueba | Usa datos deterministas y enlatados como sustituto de una herramienta real. |
Estas distinciones te ayudan a comprender con qué interactúa una carrera. El nombre de tipo por sí solo no establece que se intercepten todas las acciones o que una ejecución no pueda afectar a un servicio.
Los conectores pueden tener etiquetas de fase, como Inferencia, Evaluación y Ajuste, con el ajuste que se muestra en las tablas de la CLI. La selección de la fase es independiente del comportamiento real, virtualizado o simulado de la herramienta.
Modelos y estrategias de inferencia
Un modelo y una estrategia de inferencia describen distintas partes de una ejecución de respuesta. La configuración del modelo: identifique el modelo usado. Una estrategia de inferencia, también denominada arnés, controla cómo una ejecución busca una respuesta.
La CLI agrupa los modelos disponibles por finalidad:
| Lista de modelos | Propósito |
|---|---|
| Modelos para la evaluación | Modelos disponibles para la evaluación con evaluate start, incluidos los modelos que pueden ser solo de evaluación. |
| Modelos para inferencia | Modelos disponibles para respuestas de aptitudes, incluidos los modelos ajustados y su estado habilitado. |
| Modelos para el ajuste | Modelos base disponibles para ajustar con tune start. |
Los modelos de inferencia habilitados se aplican a las respuestas de aptitudes. No asuma que todos los modelos de una lista de evaluación también están disponibles para respuestas o ajustes.
Las estrategias de inferencia varían en la forma en que generan y evalúan las respuestas de los candidatos:
| Estrategia | Enfoque |
|---|---|
Simple |
Ejecuta una sola ejecución. |
BestOfN |
Genera varios candidatos y selecciona el resultado mejor calificado. |
TreeSearch |
Explora los caminos de los candidatos guiados por criterios de evaluación. |
SimpleNoEvaluation |
Ejecuta una sola respuesta sin calificar. |
Las estrategias disponibles dependen de la operación. Por ejemplo, una estrategia disponible para una ejecución no está necesariamente disponible para un trabajo de evaluación.
Ejecuciones, conversaciones y trabajos de mejora
Una ejecución es la ejecución de una consulta a través de un entorno de ajuste. Las ejecuciones que comparten un identificador de conversación forman una conversación de varias intervenciones.
La evaluación, el refinamiento y el ajuste tienen resultados diferentes:
| Operación | Resultado |
|---|---|
| Trabajo de evaluación | Ejecuta muestras y califica las respuestas según los criterios de evaluación. |
| Ejecución de perfeccionamiento | Propone cambios en las instrucciones de habilidades, los criterios de evaluación o ambos, utilizando muestras de capacitación. |
| Trabajo de ajuste | Entrena un modelo ajustado a partir de un modelo base. |
| Sample generation run | Genera indicaciones de ejemplo candidatas para su revisión. |
La aplicación de un refinamiento cambia los artefactos de habilidad; El ajuste produce un modelo. Una evaluación mide las respuestas en lugar de hacer cualquier tipo de cambio.
El comportamiento de revisar y guardar depende de la operación. Una propuesta de refinamiento y una operación de generación no necesariamente usan los mismos pasos de aprobación o persistencia.
Líneas base y calificación de respuestas
Una línea base es una evaluación que se ejecuta antes de un cambio. Compararlo con una evaluación posterior al cambio le ayuda a evaluar el resultado.
Mantenga las muestras, los criterios de evaluación, el modelo y la estrategia iguales para la comparación. Si estas entradas cambian, la diferencia de puntuación no describe solo la mejora que está evaluando.
La calificación de trayectoria evalúa las llamadas a la herramienta de un agente y los pasos intermedios, en lugar de solo su respuesta final. Describe un alcance de calificación diferente, no un nombre separado para cada evaluación.
Participantes, acceso y gobernanza
Un creador crea y mejora un entorno de ajuste. Un experto en la materia (SME) aporta la experiencia que define las tareas, los procedimientos y los criterios de evaluación. Estas descripciones explican las contribuciones de las personas; no son asignaciones de acceso.
Los roles de entorno describen el acceso dentro de Frontier Tuning. Los nombres de roles incluyen Propietario, Colaborador y Usuario. Son distintos de las asignaciones de control de acceso basado en roles (RBAC) de Azure y los roles de directorio de Microsoft Entra.
La gobernanza y las licencias son independientes de los conceptos utilizados para describir y evaluar una tarea. Para obtener información actual sobre los contenedores de SharePoint Embedded, Microsoft Agent 365, las categorías de acceso y costo, consulte la guía de administración de Frontier Tuning.