Etiquetado de las expresiones en Azure AI Foundry

Después de compilar un esquema para la tarea de ajuste fino, añades expresiones de entrenamiento a tu proyecto. Las expresiones deben ser similares a las que usan los usuarios cuando interactúan con el proyecto. Al agregar una expresión, debe asignar la intención a la que pertenece. Una vez agregada la expresión, etiquete las palabras que están dentro de ella y que desea extraer como entidades.

El etiquetado de datos es un paso fundamental en el ciclo de vida de desarrollo entrenado de Reconocimiento del lenguaje conversacional (CLU). Estos datos se usan en el paso siguiente al entrenar el modelo para que el modelo pueda aprender de los datos etiquetados. Si ya ha etiquetado expresiones, puede importarlas directamente en el proyecto, si los datos siguen el formato de datos aceptado. Para más información sobre la importación de datos etiquetados, consulte Creación de una tarea de ajuste preciso de CLU. Los datos etiquetados informan al modelo sobre cómo interpretar texto y se usan para el entrenamiento y la evaluación.

Sugerencia

Use la opción Implementación rápida para implementar el enrutamiento de intenciones CLU personalizado, que funciona con su propia implementación de modelos de lenguaje grande sin agregar ni etiquetar ningún dato de entrenamiento.

Requisitos previos

• Un proyecto creado correctamente.

Para obtener más información, consulte el ciclo de vida de desarrollo de CLU.

Directrices de etiquetado de datos

Después de compilar el esquema y crear el proyecto, debe etiquetar los datos. Etiquetar los datos es importante para que el modelo sepa qué oraciones y palabras están asociadas a las intenciones y entidades del proyecto. Dedique tiempo a etiquetar las expresiones para introducir y refinar los datos que se usan en el entrenamiento de los modelos.

A medida que agregue expresiones, con sus respectivas etiquetas, tenga en cuenta lo siguiente:

• Los modelos de aprendizaje automático se generalizan en función de los ejemplos etiquetados que proporcione. Cuantos más ejemplos proporcione, más puntos de datos tiene el modelo para mejorar las generalizaciones.

• La precisión, la coherencia y la integridad de los datos etiquetados son factores clave para determinar el rendimiento del modelo:

  • Etiquetar con precisión: Siempre etiquete cada intención y cada entidad a su tipo correcto. Incluya solo lo que desea clasificar y extraer. Evite datos innecesarios en las etiquetas.
  • Etiquetar de forma coherente: La misma entidad debe tener la misma etiqueta en todas las expresiones.
  • Etiquetar completamente: Proporcione expresiones variadas para cada intención. Etiquete todas las instancias de la entidad en todas las expresiones.

Expresiones de etiqueta claramente

• Asegúrese de que los conceptos a los que hacen referencia las entidades están bien definidos y separables. Compruebe si puede determinar fácilmente las diferencias de forma confiable. Si no es posible, esta falta de distinción podría indicar dificultad para el componente aprendido.

• Asegúrese de que algún aspecto de los datos puede proporcionar una señal de diferencias cuando hay una similitud entre entidades.

  Por ejemplo, si creó un modelo para reservar vuelos, un usuario podría usar una expresión como "Quiero un vuelo de Boston a Seattle." Se espera que la ciudad de origen yciudad de destino sean similares. Una señal para diferenciar ciudad de origen podría ser que la palabra de a menudo precede a ella.

• Asegúrese de etiquetar todas las instancias de cada entidad en los datos de entrenamiento y pruebas. Un enfoque consiste en usar la función de búsqueda para buscar todas las instancias de una palabra o frase en los datos para comprobar si están etiquetadas correctamente.

• Asegúrese de etiquetar los datos de prueba para las entidades sin componentes aprendidos y también para las entidades con ellos. Esta práctica ayuda a garantizar que las métricas de evaluación sean precisas.

• En el caso de los proyectos multilingües, agregar expresiones en otros lenguajes aumenta el rendimiento del modelo en estos lenguajes. Evite duplicar los datos en todos los idiomas que quiera admitir. Por ejemplo, para mejorar el rendimiento de un bot de calender con los usuarios, un desarrollador podría agregar ejemplos principalmente en inglés y algunos en español o francés. Podría agregar expresiones como las siguientes:

  • "Establezca una reunión con Matt y Kevinmañana a las 12 p. m." (Inglés)
  • "Responder como provisional a la reunión de actualización semanal ". (Inglés)
  • "Cancelar mi próxima reunión." (Español)

Etiqueta tus expresiones

Realice los pasos siguientes para etiquetar las expresiones:

1. Vaya a la página del proyecto en Azure AI Foundry.

2. En el panel izquierdo, seleccione Administrar datos. En esta página, puede agregar sus expresiones y etiquetarlas. También puede cargar las expresiones directamente seleccionando Cargar archivo de expresión en el menú superior. Asegúrese de seguir el formato aceptado.

3. Con las pestañas superiores, puede cambiar la vista a Conjunto de entrenamiento o Conjunto de pruebas. Obtenga más información sobre los conjuntos de entrenamiento y pruebas y su utilización para el entrenamiento y la evaluación de modelos.

   

   Sugerencia

   Si tiene previsto usar Dividir automáticamente el conjunto de pruebas del conjunto de entrenamiento, agregue todas las expresiones al conjunto de entrenamiento.

4. En el menú desplegable Seleccionar intención, seleccione una de las intenciones, el idioma de la expresión (para proyectos multilingües) y la propia expresión. Presione la tecla Entrar en el cuadro de texto de la expresión y agregue la expresión.

5. Tiene dos opciones para etiquetar entidades en una expresión:

   Opción	Descripción
   Etiquetar mediante un pincel	Seleccione el icono de pincel situado junto a una entidad en el panel de la derecha y, a continuación, resalte el texto de la expresión que desea etiquetar.
   Etiquetar mediante el menú insertado	Resalte la palabra que desea etiquetar como una entidad y aparecerá un menú. Seleccione la entidad con la que desea etiquetar estas palabras.

6. En el panel de la derecha, en la pestaña Etiquetas , puede encontrar todos los tipos de entidad del proyecto y el recuento de instancias etiquetadas por cada uno.

7. En la pestaña Distribución , puede ver la distribución entre conjuntos de entrenamiento y pruebas. Tiene estas opciones para ver:

   • Total de instancias por entidad etiquetada: Puede ver el recuento de todas las instancias etiquetadas de una entidad específica.
   • Expresiones únicas por entidad etiquetada: Cada expresión se cuenta si contiene al menos una instancia etiquetada de esta entidad.
   • Expresiones por intención: Puede ver el recuento de expresiones por intención.

   

Nota

Los componentes list, regex y precompilados no se muestran en la página de etiquetado de datos. Todas las etiquetas aquí se aplican solo al componente aprendido.

Para quitar una etiqueta:

1. Desde tu enunciado, selecciona la entidad de la que deseas quitar una etiqueta.
2. Desplácese por el menú que aparece y seleccione Quitar etiqueta.

Para eliminar una entidad:

1. Seleccione el icono de cubo de elementos no utilizados situado junto a la entidad que desea editar en el panel de la derecha.
2. Seleccione Eliminar para confirmar.

Sugerir expresiones con Azure OpenAI

En CLU, use Azure OpenAI para sugerir expresiones que se agreguen al proyecto mediante modelos de lenguaje generativo. Se recomienda usar un recurso de Azure AI Foundry mientras usa CLU para que no sea necesario conectar varios recursos.

Para usar el recurso de Fundición de IA de Azure, debe proporcionar el recurso de Fundición de IA de Azure con acceso elevado. Para ello, acceda a Azure Portal. En el recurso de Azure AI, proporcione acceso como usuario de Cognitive Services a sí mismo. Este paso garantiza que todas las partes del recurso se comuniquen correctamente.

Conéctate a recursos separados de Lenguaje y Azure OpenAI

En primer lugar, deberá obtener acceso y crear un recurso en Azure OpenAI. A continuación, cree una conexión al recurso de Azure OpenAI dentro del mismo proyecto de Azure AI Foundry en el centro de administración del panel izquierdo de la página Azure AI Foundry. A continuación, debe crear una implementación para los modelos de Azure OpenAI dentro del recurso de Azure OpenAI conectado. Para crear un nuevo recurso, siga los pasos descritos en Creación e implementación de un recurso de Azure OpenAI en Azure AI Foundry Models.

Antes de empezar, la función de expresiones sugeridas solo está disponible si el recurso de idioma está en las siguientes ubicaciones.

• Este de EE. UU.
• Centro-sur de EE. UU.
• Oeste de Europa

En la página Etiquetado de datos :

1. Seleccione Sugerir expresiones. Se abre un panel a la derecha y se le pide que seleccione el recurso y la implementación de Azure OpenAI.

2. Después de seleccionar un recurso de Azure OpenAI, seleccione Conectar para que el recurso de idioma tenga acceso directo al recurso de Azure OpenAI. Asigna el rol Usuario de Cognitive Services al recurso de idioma de su recurso de Azure OpenAI. Ahora el recurso de idioma actual tiene acceso a Azure OpenAI. Si se produce un error en la conexión, siga estos pasos para agregar manualmente el rol correcto al recurso de Azure OpenAI.

3. Una vez conectado el recurso, seleccione la implementación. El modelo que se recomienda para la implementación de Azure OpenAI es gpt-35-turbo-instruct.

4. Seleccione la intención para la que desea obtener sugerencias. Asegúrese de que la intención seleccionada tiene al menos cinco expresiones guardadas que se habilitarán para las sugerencias de expresiones. Las sugerencias proporcionadas por Azure OpenAI se basan en las expresiones más recientes que agregó para esa intención específica.

5. Seleccione Generar expresiones.

   Las expresiones sugeridas aparecen con una línea de puntos alrededor de ellas y la nota Generada por IA. Esas sugerencias deben ser aceptadas o rechazadas. Aceptar una sugerencia lo agrega al proyecto, como si lo hubiera agregado usted mismo. Rechazar una sugerencia la elimina por completo. Solo las expresiones aceptadas forman parte del proyecto y se usan para el entrenamiento o las pruebas.

   Para aceptar o rechazar, seleccione la marca de verificación verde o los botones de cancelación roja junto a cada expresión. También puede usar Aceptar todo y Rechazar todo en la barra de herramientas.

   

El uso de esta característica conlleva un cargo a su recurso de Azure OpenAI por un número equivalente de tokens a las expresiones sugeridas que se generan. Para más información sobre los precios de Azure OpenAI, consulte Precios del servicio Azure OpenAI.

Agregar las configuraciones necesarias al recurso de Azure OpenAI

Habilite la administración de identidades para el recurso de Lenguaje mediante las siguientes opciones.

Azure Portal

El recurso de idioma debe tener administración de identidades. Para habilitarlo mediante Azure Portal:

1. Ir al Recurso de idiomas.
2. En el panel izquierdo, en la sección Administración de recursos , seleccione Identidad.
3. En la pestaña Sistema asignado, establezca el estado en Activado.

Language Studio

El recurso de idioma debe tener administración de identidades. Para habilitarlo mediante Language Studio:

1. Seleccione el icono de configuración en la esquina superior derecha de la pantalla.
2. Seleccione Recursos.
3. Seleccione la casilla Identidad administrada para el recurso de idioma.

Después de habilitar la identidad administrada, asigne el rol Cognitive Services User a su recurso de Azure OpenAI mediante la identidad administrada de su recurso de lenguaje.

1. Inicie sesión en Azure Portal y vaya al recurso de Azure OpenAI.

2. Seleccione la pestaña Control de acceso (IAM).

3. Seleccione Agregar>Agregar asignación de rol.

4. Seleccione Roles de función de trabajo y seleccione Siguiente.

5. Seleccione Usuario de Cognitive Services en la lista de roles y seleccione Siguiente.

6. Seleccione Asignar acceso a: Identidad administrada y elija Seleccionar miembros.

7. En Identidad administrada, seleccione Idioma.

8. Busque el recurso y selecciónelo. A continuación, seleccione Siguiente y complete el proceso.

9. Revise los detalles y seleccione Revisar y asignar.

   

Después de unos minutos, actualice Azure AI Foundry y pueda conectarse correctamente a Azure OpenAI.

Contenido relacionado

• Entrena tu modelo de comprensión del lenguaje conversacional