Nota:
El acceso a esta página requiere autorización. Puede intentar iniciar sesión o cambiar directorios.
El acceso a esta página requiere autorización. Puede intentar cambiar los directorios.
Un flujo de ajuste en Frontier Tuning es un flujo de trabajo opcional para investigar una mejora en la búsqueda de inferencias, artefactos de habilidades o pesos de modelos. Como creador de agentes, usted elige el mecanismo que coincida con la brecha en su evidencia de evaluación y compare sus resultados con sus requisitos.
Rápido, Ligero y Profundo describen diferentes opciones de mejora, no una progresión obligatoria o comandos únicos. Una edición de instrucciones directas, una prueba independiente o un trabajo de aprendizaje solicitado directamente también pueden adaptarse a su objetivo. Si el comportamiento actual cumple con sus requisitos, detenerse sin un cambio es un resultado válido.
Comparar flujos de ajuste
Los flujos difieren en lo que cambian y la evidencia que respalda la decisión.
| Flujo y destino | Qué cambia | ¿Qué permanece fijo para la prueba? | Cuándo considerarlo y evidencia útil |
|---|---|---|---|
| Rápido: búsqueda de inferencias. | La estrategia utilizada para buscar una respuesta. | Instrucciones de habilidades, modelo y criterios de evaluación establecidos. | Las respuestas alternativas podrían ayudar; Compare estrategias en los mismos casos. |
| Luz: refinamiento de artefactos. | Instrucciones, criterios de evaluación o ambos. | Cambio de modelo y otros controles fuera del artefacto elegido. | Las instrucciones o calificaciones necesitan revisión; Utilice muestras de desarrollo revisadas e inspeccione el resultado propuesto. |
| Profundo: adaptación del modelo. | Pesos del modelo a través del ajuste fino. | Instrucciones, criterios, muestras y estrategia en la comparación de modelos. | Revisó los insumos de capacitación elegibles para apoyar la adaptación; Compare el modelo sintonizado con su modelo base en cajas con sujeto. |
Elija entre evidencia de evaluación
La brecha observada determina la mejora a investigar, en lugar del tamaño o el nombre de un flujo.
| Evidencia | Mejora para investigar |
|---|---|
| Faltan instrucciones o un procedimiento malentendido. | Refine las instrucciones o edítelas directamente. |
| Calificaciones incorrectas o poco claras. | Revise los criterios de evaluación. |
| Un beneficio plausible de las respuestas alternativas. | Comparar estrategias de inferencia. |
| Datos de entrenamiento adecuados y un objetivo de calidad específico para cada tarea. | Ajuste fino del modelo de prueba. |
| Falta acceso, datos o capacidad de herramienta. | Investigue la brecha operativa antes de atribuir el error a la calidad de la respuesta. |
| El comportamiento actual cumple los requisitos. | Manténgalo sin cambios. |
Una falla de acceso o herramienta no es lo mismo que una respuesta inadecuada. El entrenamiento de modelos no sustituye a la solución de la falta de acceso, datos o funcionalidades.
Rápido: búsqueda de inferencias
Pruebas rápidas si una estrategia diferente ayuda sin cambiar las instrucciones o el peso del modelo de entrenamiento.
Simple ejecuta una sola ejecución; BestOfN selecciona entre las respuestas de los candidatos; TreeSearch explora alternativas.
Establecer y revisar criterios de evaluación antes de la comparación de estrategias. La generación de criterios se guarda inmediatamente después de la autorización para generar; no es una propuesta no salva. Inspeccione los criterios guardados antes de usarlos para puntuar las respuestas.
Probar una solicitud individual puede proporcionar evidencia exploratoria sin muestras guardadas. Eso es distinto de una evaluación basada en muestras, que necesita muestras seleccionadas. Compare un modelo entre estrategias, o una estrategia entre modelos, en lugar de cambiar ambos y atribuir la diferencia a uno.
Luz: refinamiento de artefactos
Light propone cambios en las instrucciones, los criterios de evaluación o ambos de las muestras de capacitación elegibles revisadas. Las instrucciones guían la respuesta; Los criterios definen cómo se evalúa. Un refinamiento solo de instrucción no revisa también los criterios.
Revise toda la ejecución completada y el modo elegido antes de la aplicación. La aplicación guarda el resultado de toda la ejecución, no las sugerencias seleccionadas individualmente. El refinamiento de los criterios reemplaza todo el conjunto de criterios. Después, inspeccione las instrucciones y criterios guardados.
Este refinamiento revisado difiere de la generación de criterios de guardado inmediato. Cuando los criterios cambian, los puntajes medidos bajo el conjunto anterior no son directamente comparables: evalúe tanto la línea de base como el candidato bajo el conjunto revisado.
Profundo: adaptación del modelo
Deep ajusta un modelo base mediante entradas de entrenamiento elegibles revisadas. Aplique los cambios previstos de instrucciones, criterios y muestras antes del entrenamiento. Los artefactos revisados y estables respaldan un experimento interpretable; no implican que debas completar la Luz primero.
Mantenga los casos de validación final y sus derivados fuera de las entradas de generación, refinamiento y entrenamiento. Las etiquetas de muestra por sí solas no exigen esa separación.
El éxito del trabajo de capacitación por sí solo no establece la preparación para la producción. En la referencia pública v1 inspeccionada, la preparación de la evaluación requiere la finalización del trabajo y la finalización correcta de la fase de implementación del modelo. Readiness no publica el resultado para los usuarios. Las ediciones posteriores de artefactos no vuelven a entrenar un modelo ya producido.
Calidad, costo y latencia
Compare la calidad medida con la latencia y el consumo, no con un beneficio asumido.
BestOfN y TreeSearch puede usar más tokens y tiempo sin mejorar la calidad. Las ejecuciones de refinamiento, el entrenamiento, la evaluación, el tráfico en tiempo de ejecución y la disponibilidad del modelo, cuando corresponda, tienen supuestos de planificación diferentes.
Los criterios más grandes pueden tardar más en calificarse. Los totales del token de evaluación pueden incluir la calificación y la orquestación: no son uso solo del modelo de destino, consumo de todo el entorno o moneda. Notificar la latencia para la operación y los casos medidos, no como una promesa de tiempo de respuesta universal. El uso faltante no se mide, no es gratuito.
Comparaciones justas
Una comparación útil solo cambia la variable que está probando.
- Mantenga fijas las indicaciones, instrucciones, criterios y calificadores, estado de la fuente y la herramienta, ID y contenido de muestra, modelo / versión, opciones de estrategia y condiciones de repetición excepto para esa variable. Desviar el registro o controles no disponibles.
- Compare la base
Simplecon tunedSimplepara probar el cambio de modelo. Comparar conSimplela búsqueda ajustadaTreeSearcha la prueba. Estas comparaciones no establecen todas las interacciones modelo/estrategia. - Reserve las cajas finales intactas para la medición final; La evidencia del desarrollo utilizada para elegir mejoras no es evidencia final.
- Registre los id. exactos de trabajo y el contenido de cada ejecución. Inspeccione los resultados reales, las fallas de las herramientas y la cobertura calificada junto con los puntajes; La finalización del trabajo no establece la calificación completa.