Compartir a través de


Solución de problemas con el modelo Q&A del experto en optimización de Copilot

En este artículo se describen algunos de los problemas más comunes con el experto en Microsoft 365 Copilot Tuning Q&A task fine-tuning y cómo solucionarlos.

Nota:

Copilot Tuning está disponible actualmente para la Versión preliminar de Access temprana (EAP). Para más información sobre los requisitos y cómo inscribirse, consulte la guía de administración.

Obtengo un permiso o un error de acceso al conectarme a mi origen de contenido

Un error de acceso o permiso denegado suele significar que la cuenta no tiene los derechos para ese origen de datos. Asegúrese de que tiene los permisos adecuados para el repositorio de contenido. Por ejemplo, si va a agregar un sitio de SharePoint, confirme con el administrador de SharePoint que su cuenta (o un grupo al que pertenece) tiene acceso a ese sitio o biblioteca de documentos. Si el proceso de optimización usa un grupo de seguridad para el control de acceso, asegúrese de que el grupo de seguridad correcto está configurado y de que la cuenta de usuario se incluye en él antes de volver a intentar la operación.

He creado un modelo Q&A optimizado, pero no aparece cuando intento agregarlo a mi agente de Copilot.

Si el modelo recién entrenado no aparece en la lista desplegable de selección al configurar el agente declarativo, es posible que tenga un problema de permisos. El modelo está asociado a un grupo de seguridad o una directiva de acceso, y es posible que su cuenta no esté incluida. Asegúrese de que el grupo de seguridad usado durante la creación del modelo incluya su cuenta (o la cuenta de la persona que crea el agente). Es posible que tenga que pedir al administrador de TI que le agregue a ese grupo o volver a crear el modelo con un grupo del que forma parte. Cuando se fijan los permisos, el modelo optimizado debe aparecer para la selección.

Al hacer clic en "Preparar datos para el entrenamiento", no aparece ninguna interfaz o datos de etiquetado

Algunos escenarios de ajuste preciso no requieren el etiquetado manual de datos. En la canalización Q&A fine-tuning, si el sistema no presenta ningún dato para etiquetar después de la preparación, significa que el paso se omite automáticamente para el escenario. En otras palabras, no todas las recetas requieren una fase de etiquetado. Puede continuar con el paso siguiente del proceso. (Si esperaba un paso de etiquetado pero no lo ha hecho, es posible que el sistema haya determinado que no hay nada que etiquetar, lo que es normal para ciertas tareas de Q&A).

La fase de procesamiento de datos tarda mucho tiempo

La fase de preparación o entrenamiento de los datos puede tardar bastante tiempo, en función del tamaño del contenido. Es normal que esta fase tarde varias horas, especialmente si proporcionó una colección de documentos de gran tamaño. Debe recibir una notificación (por ejemplo, un correo electrónico) cuando se complete el procesamiento. Si aún no ha recibido una notificación, tenga paciencia, lo que probablemente significa que el proceso todavía se está ejecutando. Si han pasado más de unas horas, compruebe su carpeta de correo no deseado o correo no deseado para asegurarse de que la notificación no se hafile mal. También puede actualizar o volver a visitar manualmente la página de ajuste. Cuando finalice el procesamiento, el estado del sitio indica que los datos están listos o que el siguiente paso está disponible.

No he recibir una notificación por correo electrónico de que mi procesamiento de datos ha finalizado

Compruebe de forma doble el correo no deseado o la carpeta de correo no deseado para obtener un mensaje sobre el proceso de ajuste preciso que se ha completado. A veces, las notificaciones automatizadas se pueden filtrar. Si no encuentra un correo electrónico, no se preocupe: no necesita el correo electrónico para continuar. Volver a la interfaz de ajuste preciso y compruebe el estado del modelo allí. Si se completa el paso de preparación, la interfaz mostrará que los datos están listos para el siguiente paso (por ejemplo, listos para evaluación o listos para entrenar). En ese momento, puede continuar con el flujo de trabajo de ajuste, incluso sin el correo electrónico.

El proceso de ajuste preciso se ha detenido o ha producido un error (con o sin estado de error)

Si se produce un error o se bloquea el proceso de entrenamiento o ajuste sin un mensaje de error claro, es posible que el sistema no haya proporcionado comentarios. El sistema actual tiene un control de errores limitado, por lo que en ocasiones podría simplemente detenerse sin un código de error o una explicación específicos.

Para solucionar problemas:

  1. Reintentar el proceso: en algunos casos, volver a ejecutar el proceso de ajuste o reiniciar desde el último paso puede resolver un problema transitorio.
  2. Asegúrese de que las configuraciones se establecen correctamente e inténtelo de nuevo.
  3. Comprobar si hay problemas conocidos: vea si se ha registrado o mostrado algún mensaje de error. Si encuentra un código de error, siga las instrucciones asociadas a ese código de error. La documentación o los foros pueden tener información adicional para errores específicos.

Póngase en contacto con el soporte técnico si el problema persiste.

Mi conjunto de datos de evaluación (prueba) volvió a estar vacío, o veo 0 Q&pares A generados para la evaluación

Un archivo de evaluación vacío normalmente indica que el sistema no pudo generar ningún ejemplo de Q&A a partir del contenido. Una razón común es que la colección de contenido que proporcionó era demasiado pequeña o no tenía datos utilizables. El modelo no tenía suficiente material para crear ejemplos de Q&A.

Para solucionar esto:

  1. Compruebe el contenido del origen de conocimiento: compruebe que los documentos o orígenes de datos seleccionados contienen la información que espera. Si el repositorio de contenido estaba vacío o demasiado limitado, agregue documentos más relevantes y vuelva a ejecutar el proceso de ajuste.
  2. Vuelva a ejecutar el proceso: después de asegurarse de que el contenido está en su lugar, vuelva a intentar preparar los datos o ajustar el paso. Esta vez, podría generar un conjunto de pares Q&A para su evaluación.
  3. Si todavía está vacío, busque ayuda: si sigue teniendo una evaluación vacía o un conjunto de entrenamiento vacío, podría haber un problema subyacente. Póngase en contacto con el soporte técnico para obtener ayuda. Es posible que comprueben si alguna regla de filtrado o errores ha provocado que se descarten los datos. En raras ocasiones, el filtrado estricto o que todo el contenido esté fuera del ámbito puede dar lugar a que no haya datos; el soporte técnico puede ayudar a identificar si eso ocurrió.

El entrenamiento del modelo finalizó, pero las respuestas que ofrece parecen extrañas o irrelevantes ("raras")

Si el Q optimizado&las respuestas de un modelo no tienen sentido o parecen no estar relacionadas con su dominio, el culpable suele ser la calidad o cantidad de los datos de entrenamiento. Un modelo solo puede funcionar tan bien como los datos en los que se entrenó. Estos son los pasos para solucionar problemas de una salida de modelo "extraña" o de baja calidad:

  1. Asegúrese de que haya suficientes datos de entrenamiento: compruebe que el origen de conocimiento que proporcionó tenga suficiente contenido útil. Si la colección de contenido era muy pequeña o vacía, es posible que el modelo se haya entrenado básicamente en nada, lo que da como resultado un modelo "vainilla" o sin sentido[1]. Asegúrese de incluir suficientes documentos o pares Q&A que cubran el tema que espera que controle el modelo.
  2. Proporcionar datos pertinentes: si las respuestas del modelo están fuera del tema, es posible que algunos de los documentos de entrenamiento no coincidan con el dominio previsto. Por ejemplo, si va a crear un bot de Q&A financiero, pero el contenido que se ha alimentado en era principalmente genérico o no relacionado, el modelo no tendrá los conocimientos adecuados. Perfeccione el contenido para que sea más relevante para las preguntas esperadas.
  3. Volver a entrenar después de las mejoras: después de agregar más o mejores datos, vuelva a ejecutar el proceso de ajuste. La mejora del conjunto de datos a menudo conduce a una mejora directa en la calidad de las respuestas.

Si ha hecho lo anterior y las respuestas del modelo siguen siendo incorrectas o incoherentes, considere la posibilidad de ponerse en contacto con el soporte técnico. Podría haber un problema de caso perimetral con la propia canalización de ajuste. Sin embargo, en la mayoría de los casos, reforzar los datos de entrenamiento (o ajustar las instrucciones de la tarea) debe mejorar considerablemente las respuestas del modelo.

Las respuestas de evaluación del modelo se veían bien, pero las respuestas del agente no son buenas

Este es un comportamiento conocido. El modelo optimizado podría funcionar bien en la evaluación aislada, pero el comportamiento del agente implementado puede diferir si la configuración del agente no supera por completo los matices del modelo. En concreto, es posible que el agente necesite instrucciones adicionales para usar el modelo de forma eficaz. Para resolver esto:

  1. Comparación de las salidas de evaluación frente a agente: identifique lo que falta o es diferente. Por ejemplo, quizás las respuestas de evaluación tenían un tono amable y empático que le gustaba, pero las respuestas del agente se sienten más genéricas o tesas.
  2. Ajustar las instrucciones del agente: en el generador de agentes, agregue o refine las instrucciones del sistema o las indicaciones del agente. Refuerce las cualidades que desea que haya visto en la fase de evaluación. Por ejemplo, agregue las instrucciones "Responder en un tono empático" o "Incluir los pasos detallados si está disponible".
  3. Prueba de nuevo: después de actualizar las instrucciones, pruebe el agente con las mismas preguntas. Las respuestas deben alinearse más estrechamente con el comportamiento esperado del modelo optimizado. Esta optimización iterativa del agente a veces es necesaria para obtener los mejores resultados. El modelo optimizado proporciona el conocimiento y las instrucciones del agente dan forma a cómo se expresa ese conocimiento.

Las respuestas de mi agente Q&A siguen sin ser las que esperaba.

Si encuentra que la calidad general de la respuesta no es satisfactoria, es posible que tenga que refinar aún más la configuración de ajuste. Tenga en cuenta estos pasos:

  1. Mejorar o aumentar los datos de entrenamiento: asegúrese de que el conjunto de datos utilizado para el ajuste de precisión es de alta calidad, relevante y completo para el dominio de preguntas. Si es posible, agregue más ejemplos o documentos que cubran el ámbito de las consultas que espera. Un conjunto de datos más completo puede mejorar significativamente la precisión del modelo.
  2. Refinar la configuración inicial: durante la configuración del modelo, es probable que haya proporcionado algunas instrucciones iniciales o que haya rellenado un formulario (a veces denominado cuestionario sobre el dominio y la tarea). Vuelva a visitar esas entradas. Edite o refine la descripción y la configuración de la tarea para guiar mejor el modelo. Por ejemplo, si se da cuenta de que el modelo responde a un nivel demasiado alto, asegúrese de que las instrucciones especifican la profundidad o el contexto deseados.
  3. Proporcione ejemplos claros: si el sistema lo permite, proporcione un ejemplo de Q&pares A o instrucciones adicionales. Algunos procesos de optimización le permiten revisar o etiquetar los datos. Use esa oportunidad para enseñar al modelo el aspecto de las respuestas correctas.
  4. Iteración y prueba: el ajuste preciso suele ser un proceso iterativo. Después de realizar cambios, vuelva a entrenar (o entrene parcialmente si se admite) y, a continuación, vuelva a probar el agente Q&A. Gradualmente, puede converger en un mejor rendimiento. Recuerde que las preguntas abiertas o extremadamente complejas siempre pueden ser complicadas, pero el objetivo es conseguir que la mayoría de las consultas esperadas respondan bien.

Algunas respuestas de la Q&A Copilot no tienen citas

En la versión actual del sistema, no todas las respuestas incluirán una cita, aunque esté sacando información del contenido. La canalización Q&A fine-tuning funciona con la recuperación: cuando la respuesta procede directamente de documentos recuperados (mediante el componente de recuperación RAG), el sistema mostrará vínculos de cita. Sin embargo, si la respuesta procede de los propios conocimientos del modelo optimizado (por ejemplo, algo que aprendió durante el entrenamiento que no es una cita directa de un documento), podría responder sin adjuntar una cita de origen. Este comportamiento es normal.

La presencia de citas suele ser una buena señal de que la respuesta usó los documentos que proporcionó en tiempo de ejecución. La falta de cita no significa necesariamente que la respuesta sea incorrecta; podría significar que la respuesta se generó a partir del conocimiento interno del modelo o que la pregunta no requería recuperar un documento.

Si cree que una respuesta debe tener una cita (por ejemplo, parece estar citando un documento que proporcionó), pero no se muestra ninguna cita, compruebe que los orígenes de conocimiento se conectaron correctamente durante la ejecución del agente. Es posible que el agente responda desde el modelo optimizado en lugar del documento real.

Tenga en cuenta que una respuesta sin cita no es inusual en algunos casos. Siempre puede comprobar la información crítica mediante la búsqueda manual del contenido de origen y, si siente que falta una cita o es incorrecta, use los mecanismos de comentarios de la herramienta para informar a los desarrolladores (por ejemplo, mediante la notificación de una respuesta incorrecta).

Si necesita soporte técnico o quiere proporcionar comentarios, consulte Preguntas más frecuentes sobre la optimización de Copilot.