Nota
L'accés a aquesta pàgina requereix autorització. Podeu provar d'iniciar la sessió o de canviar els directoris.
L'accés a aquesta pàgina requereix autorització. Podeu provar de canviar els directoris.
Una herramienta de Frontier Tuning es una acción que un agente puede realizar en un entorno de ajuste. Algunos ejemplos son buscar en el correo, leer un archivo de SharePoint o buscar un problema. Un conector agrupa herramientas para un servicio. Puede agregar, conectar y configurar herramientas de un conector a la vez.
Como creador de agentes, ten en cuenta los datos que utilizan las herramientas y los cambios que pueden realizar. El comportamiento de la herramienta también varía según la inferencia, la evaluación y el entrenamiento.
Por qué es importante la elección de la herramienta
Un entorno de ajuste usa herramientas en tres fases:
| Fase | Qué sucede |
|---|---|
| inferencia. | El agente o el modelo optimizado controla las solicitudes, por ejemplo, en el chat. |
| Evaluación. | El agente completa tareas de ejemplo y las respuestas se evalúan en función de los criterios de evaluación. |
| Formación. | El modelo llama a las herramientas a medida que aprende a completar las tareas. |
El modelo aprende a trabajar con las herramientas que encuentra durante el entrenamiento, incluidos sus nombres, entradas, resultados y errores. Las diferencias en esos detalles de la herramienta en la inferencia pueden afectar el comportamiento del modelo.
El entrenamiento también puede llamar a herramientas con mucha más frecuencia que la inferencia. La capacidad de servicio y el efecto de los cambios realizados por las herramientas son importantes al elegir un conector.
Herramientas reales, virtualizadas y ficticias
El tipo de herramienta determina si las llamadas usan servicios reales y cómo se comportan las escrituras:
| Tipo de herramienta | Datos y comportamiento |
|---|---|
| Herramienta real. | Llama al servicio real y usa sus datos, por ejemplo, Outlook, Mail o SharePoint. |
| Herramienta virtualizada. | Lee datos de servicio reales, pero intercepta escrituras durante la evaluación y el entrenamiento. Las lecturas después de una escritura interceptada devuelven los datos actualizados, aunque el resultado puede diferir de lo que devolvería el servicio real. |
| Herramienta de simulacros. | Usa sus propios datos proporcionados por Microsoft en lugar de llamar a sus servicios o usar sus datos. |
Una operación de lectura recupera información. Una operación de escritura crea, cambia o elimina algo, como enviar un mensaje o actualizar un registro.
La CLI v1 actual puede notificar el tipo de una herramienta como Mock o Live. Un conector puede contener tipos mixtos, y un tipo omitido significa desconocido. Estos metadatos no establecen la autorización, las llamadas a herramientas correctas o la ausencia de efectos secundarios.
Elija las herramientas para cada etapa
Utilice herramientas reales de inferencia para su escenario empresarial. Para la evaluación y el aprendizaje, considere si el servicio puede controlar la carga, si el uso de los datos cumple los requisitos de privacidad y si las operaciones tienen efectos secundarios. Por ejemplo, leer un mensaje puede marcarlo como leído.
El comportamiento de la herramienta difiere según la etapa. La tabla siguiente no es una lista de conectores compatibles.
| Comportamiento de la herramienta | de inferencia | Evaluación y formación |
|---|---|---|
| Herramientas reales con soporte de virtualización. | Llama al servicio real, incluidas las operaciones de escritura. | Lee datos reales e intercepta las escrituras admitidas. |
| Herramientas reales restringidas a la evaluación y capacitación de solo lectura. | Llama al servicio real, incluidas las operaciones de escritura. | Ejecuta herramientas marcadas como de solo lectura. Las llamadas para escribir herramientas, incluidas las herramientas sin la marca de solo lectura, fallan. |
| Herramientas de prueba proporcionadas por Microsoft. | No se trata en este artículo. | Usa los datos ficticios suministrados para el escenario de ejemplo. |
Para la evaluación o el entrenamiento con herramientas ficticias, elija tareas, muestras y criterios de evaluación que se ajusten a los datos proporcionados. Los resultados de un escenario ficticio no establecen el rendimiento con los datos empresariales.
Ciclo de vida de la conexión del conector
La detección, la habilitación de conectores y herramientas, la autorización, la selección de fase y la verificación en tiempo de ejecución sirven para diferentes propósitos:
| Actividad | Propósito |
|---|---|
| Descubrir un conector. | Identifique los conectores disponibles para su espacio empresarial, entorno y acceso compartido. |
| Habilitar un conector. | Habilite sus herramientas para el uso, sujeto a la configuración de herramientas individuales y a la directiva del catálogo. |
| Habilitar una herramienta individual. | Cambie la configuración de una herramienta en un conector de entorno compatible. Tanto el conector como la herramienta deben estar habilitados. |
| Autoriza una conexión. | Conéctese al servicio cuando el conector requiera inicio de sesión. Iniciar sesión solo en el sitio web del servicio no conecta el conector. |
| Compruebe el conector. | Revise las etiquetas guardadas de habilitación, estado de inicio de sesión, herramientas y fase. Estas no son evidencia de una llamada de herramienta exitosa. |
| Elija las etapas. | Seleccione etiquetas para todo el conector: Inference, Evaluationy Finetuning. |
| Comprobar una llamada de herramienta. | Inspeccione el seguimiento de ejecución y el resultado de la herramienta seleccionada, no solo una respuesta de chat completada. |
En la CLI v1 actual, una actualización de etiqueta reemplaza la selección anterior. Ninguna selección almacenada se establece de forma predeterminada en las tres fases; Una selección explícitamente vacía excluye el conector de catálogo de los tres. Una actualización guardada aún no es necesariamente eficaz para todas las carreras: espere cinco minutos antes de iniciar una nueva tarea de entrenamiento. Los trabajos en ejecución mantienen su configuración de conector inicial.
Cuando un flujo de conexión proporciona un vínculo de inicio de sesión, ábralo en el explorador normal y autorice el acceso allí. Si un explorador incrustado en otra aplicación no puede conectarse, use su explorador normal en su lugar.
Los orígenes de MCP personalizados directos fuera del catálogo del conector no aparecen en la detección del catálogo ni en los detalles del conector en la CLI v1 actual. Si se trata de un host personalizado ya configurado, compruebe la accesibilidad, la autenticación y el comportamiento del servicio después de los reinicios y con la carga esperada. Los seguimientos de ejecución y los registros de host proporcionan evidencia de sus llamadas a herramientas.
Herramientas de prueba y entornos de ejemplo
Microsoft proporciona conectores ficticios con sus propios datos. En la CLI v1 actual, los simulacros de catálogo propiedad del servicio utilizan los mismos comandos de descubrimiento, inspección y habilitación que otros conectores de catálogo. Los conectores ficticios no requieren el inicio de sesión en un servicio real.
La primera habilitación guarda un paquete ficticio para el entorno. La deshabilitación mantiene el paquete guardado y la configuración; La eliminación quita el registro y la configuración del entorno, no el paquete guardado. Eliminar un registro no es confirmación de que se borraron los datos de prueba o de que se restableció el simulacro.
Un entorno de optimización de ejemplo puede incluir aptitudes, criterios de evaluación, muestras y datos ficticios para un escenario. Su contenido dependerá de la plantilla que elija. Para explorar el flujo de trabajo, consulta Probar el ajuste de Frontier con un entorno de ajuste de ejemplo.
Compruebe la preparación y comience poco a poco
Antes de la evaluación o capacitación, revise estas condiciones:
- Las herramientas y los datos seleccionados se ajustan a las tareas y los criterios de evaluación.
- El servicio puede controlar la carga esperada de llamadas a herramientas.
- El uso de datos de servicios reales cumple con sus requisitos de privacidad.
- Las operaciones de lectura y escritura tienen los efectos secundarios esperados para la fase seleccionada.
La configuración guardada y un connected estado de inicio de sesión no prueban la capacidad de llamada en tiempo de ejecución. La comprobación de calidad v1 actual puntúa los recursos creados e inicia o se une a una ejecución de servicio; su informe no es una prueba de que una herramienta seleccionada pueda ejecutarse correctamente y la CLI no calcula su costo. Antes de ejecuciones más grandes, use una ejecución corta autorizada e inofensiva e inspeccione el seguimiento y el resultado de la herramienta prevista.
Comience con una pequeña evaluación e inspeccione los resultados en busca de llamadas a herramientas fallidas antes de ejecutar evaluaciones o capacitación más grandes. Las limitaciones y los tiempos de espera pueden afectar a las puntuaciones de evaluación y a lo que aprende el modelo.
Limitaciones
La configuración del conector y las restricciones de datos ficticios se aplican en diferentes niveles:
- Las etiquetas de fase se aplican a todo el conector del catálogo, incluidas sus herramientas e instancias, sujeto a la directiva y habilitación del catálogo. Las etiquetas no restringen los enlaces de prueba hospedados ni las herramientas integradas, por lo que las etiquetas por sí solas no hacen que una ejecución sea solo simulada.
- La CLI v1 actual admite alternancia de herramientas individuales para los conectores de entorno compatibles, no acciones individuales dentro de orígenes integrados. Al habilitar una herramienta, no se habilita un conector deshabilitado.
- Los conmutadores de conector completo no se admiten para los conectores administrados a través de la configuración de instancias.
- La CLI v1 actual no proporciona creación o generación de solicitudes personalizadas. La compatibilidad para reemplazar los datos ficticios proporcionados por Microsoft sigue sin confirmarse.