Implementación de vectorización integrada mediante modelos de Azure AI Studio

Importante

Esta característica se encuentra en versión preliminar pública en los Términos de uso complementarios. La API de REST 2024-05-01-versión preliminar admite esta característica.

En este artículo, aprenderá a acceder a los modelos de inserción en el catálogo de modelos de Azure AI Studio para conversiones de vectores durante la indexación y en consultas de Azure AI Search.

El flujo de trabajo incluye los pasos de implementación del modelo. El catálogo de modelos incluye la inserción de modelos de Azure OpenAI, Cohere, Facebook y OpenAI. La implementación de un modelo se factura por la estructura de facturación de cada proveedor.

Una vez implementado el modelo, puede usarlo para la vectorización integrada durante la indexación o con el vectorizador de AI Studio para consultas.

Implementación de un modelo de inserción desde el catálogo de modelos de Azure AI Studio

1. Abra la catálogo de modelos de Azure AI Studio.

2. Aplique un filtro para mostrar solo los modelos de inserción. En Tareas de inferencia, seleccione inserciones:

   

3. Seleccione el modelo con el que desea vectorizar el contenido. A continuación, seleccione Implementar y elija una opción de implementación.

   

4. Rellene los detalles solicitados. Seleccione o crear un proyecto de IAy, a continuación, seleccione Implementar. Los detalles de implementación varían en función del modelo que seleccione.

5. Espere a que el modelo finalice la implementación mediante la supervisión del estado de aprovisionamiento. Debe cambiar de "Aprovisionamiento" a "Actualización" a "Correcto". Es posible que tenga que seleccionar Actualizar cada pocos minutos para ver la actualización de estado.

6. Copie los campos URL, clave principal y Id. de modelo y anótelos para más adelante. Necesita estos valores para la definición del vectorizador en un índice de búsqueda y para el conjunto de aptitudes que llama a los puntos de conexión del modelo durante la indexación.

   Opcionalmente, puede cambiar el punto de conexión para usar autenticación de token en lugar de autenticación de clave. Si habilita la autenticación de tokens, solo tiene que copiar la dirección URL y el identificador de modelo, así como tomar nota de la región en la que se implementa el modelo.

   

7. Ahora puede configurar un índice de búsqueda e indexador para usar el modelo implementado.

   • Para usar el modelo durante la indexación, consulte pasos para habilitar la vectorización integrada. Asegúrese de usar la aptitud Azure Machine Learning (AML) y no la aptitud AzureOpenAIEmbedding. En la sección siguiente se describe la configuración de aptitudes.

   • Para usar el modelo como vectorizador en el momento de la consulta, consulte Configuración de un vectorizador. Asegúrese de usar la vectorizador del catálogo de modelos de Azure AI Studio para este paso.

Cargas de aptitudes de AML de ejemplo

Al implementar modelos de inserción desde el catálogo de modelos de Azure AI Studio se conecta a ellos mediante la aptitudes de AML en Azure AI Search para cargas de trabajo de indexación.

En esta sección se describen las asignaciones de índice y definición de aptitudes de AML. Incluye cargas de ejemplo que ya están configuradas para trabajar con sus puntos de conexión implementados correspondientes. Para obtener más detalles técnicos sobre cómo funcionan estas cargas, lea sobre el contexto de aptitud y el lenguaje de anotación de entrada.

Entrada de texto para la API de "Inferencia"

Esta carga útil de aptitudes de AML funciona con los siguientes modelos de AI Studio:

• OpenAI-CLIP-Image-Text-Embeddings-vit-base-patch32
• OpenAI-CLIP-Image-Text-Embeddings-ViT-Large-Patch14-336

Se supone que está fragmentando el contenido mediante la aptitud División de texto y que el texto que se va a vectorizar está en la ruta de acceso /document/pages/*. Si el texto procede de una ruta de acceso diferente, actualice todas las referencias a la ruta de acceso /document/pages/* en consecuencia.

El URI y la clave se generan al implementar el modelo desde el catálogo. Para más información sobre estos valores, consulte Implementación de modelos de lenguaje grande con Azure AI Studio.

{
  "@odata.type": "#Microsoft.Skills.Custom.AmlSkill",
  "context": "/document/pages/*",
  "uri": "<YOUR_MODEL_URL_HERE>",
  "key": "<YOUR_MODEL_KEY_HERE>",
  "inputs": [
    {
      "name": "input_data",
      "sourceContext": "/document/pages/*",
      "inputs": [
        {
          "name": "columns",
          "source": "=['image', 'text']"
        },
        {
          "name": "index",
          "source": "=[0]"
        },
        {
          "name": "data",
          "source": "=[['', $(/document/pages/*)]]"
        }
      ]
    }
  ],
  "outputs": [
    {
      "name": "text_features"
    }
  ]
}

Entrada de imagen para la API "Inferencia"

Esta carga útil de aptitudes de AML funciona con los siguientes modelos de AI Studio:

• OpenAI-CLIP-Image-Text-Embeddings-vit-base-patch32
• OpenAI-CLIP-Image-Text-Embeddings-ViT-Large-Patch14-336
• Facebook-DinoV2-Image-Embeddings-ViT-Base
• Facebook-DinoV2-Image-Embeddings-ViT-Giant

Se supone que las imágenes proceden de la ruta de acceso de /document/normalized_images/* que se crea habilitando integrada en la extracción de imágenes. Si sus imágenes proceden de una ruta de acceso diferente o están almacenadas como URL, actualice todas las referencias a la ruta de acceso /document/normalized_images/* en consecuencia.

El URI y la clave se generan al implementar el modelo desde el catálogo. Para más información sobre estos valores, consulte Implementación de modelos de lenguaje grande con Azure AI Studio.

{
  "@odata.type": "#Microsoft.Skills.Custom.AmlSkill",
  "context": "/document/normalized_images/*",
  "uri": "<YOUR_MODEL_URL_HERE>",
  "key": "<YOUR_MODEL_HERE>",
  "inputs": [
    {
      "name": "input_data",
      "sourceContext": "/document/normalized_images/*",
      "inputs": [
        {
          "name": "columns",
          "source": "=['image', 'text']"
        },
        {
          "name": "index",
          "source": "=[0]"
        },
        {
          "name": "data",
          "source": "=[[$(/document/normalized_images/*/data), '']]"
        }
      ]
    }
  ],
  "outputs": [
    {
      "name": "image_features"
    }
  ]
}

Cohere

Esta carga útil de aptitudes de AML funciona con los siguientes modelos de AI Studio:

• Cohere-embed-v3-english
• Cohere-embed-v3-multilingual

Se supone que está fragmentando el contenido mediante SplitSkill y, por lo tanto, el texto que se va a vectorizar está en la ruta de acceso de /document/pages/*. Si el texto procede de una ruta de acceso diferente, actualice todas las referencias a la ruta de acceso /document/pages/* en consecuencia.

Debe agregar la ruta de acceso /v1/embed al final de la dirección URL que copió de la implementación de AI Studio. También puede cambiar los valores de las entradas de input_type, truncate y embedding_types para ajustar mejor el caso de uso. Para obtener más información sobre las opciones disponibles, revise la referencia de la API de inserción de Cohere.

El URI y la clave se generan al implementar el modelo desde el catálogo. Para más información sobre estos valores, consulte Implementación de modelos de inserción de Cohere con Azure AI Studio.

Tenga en cuenta que esta integración no admite URI de imagen en este momento.

{
  "@odata.type": "#Microsoft.Skills.Custom.AmlSkill",
  "context": "/document/pages/*",
  "uri": "<YOUR_MODEL_URL_HERE>/v1/embed",
  "key": "<YOUR_MODEL_KEY_HERE>",
  "inputs": [
    {
      "name": "texts",
      "source": "=[$(/document/pages/*)]"
    },
    {
      "name": "input_type",
      "source": "='search_document'"
    },
    {
      "name": "truncate",
      "source": "='NONE'"
    },
    {
      "name": "embedding_types",
      "source": "=['float']"
    }
  ],
  "outputs": [
    {
      "name": "embeddings",
      "targetName": "aml_vector_data"
    }
  ]
}

Además, la salida del modelo Cohere no es la matriz de inserciones directamente, sino un objeto JSON que lo contiene. Debe seleccionarla adecuadamente al asignarla a la definición de índice a través de indexProjections o outputFieldMappings. Este es un ejemplo de carga indexProjections que le permitiría implementar esta asignación.

Si ha seleccionado un tipo diferente embedding_types en la definición de su habilidad, deberá cambiar float en la ruta de acceso de source por el tipo adecuado que haya seleccionado en su lugar.

"indexProjections": {
  "selectors": [
    {
      "targetIndexName": "<YOUR_TARGET_INDEX_NAME_HERE>",
      "parentKeyFieldName": "ParentKey", // Change this to the name of the field in your index definition where the parent key will be stored
      "sourceContext": "/document/pages/*",
      "mappings": [
        {
          "name": "aml_vector", // Change this to the name of the field in your index definition where the Cohere embedding will be stored
          "source": "/document/pages/*/aml_vector_data/float/0"
        }
      ]
    }
  ],
  "parameters": {}
}

Carga del vectorizador de AI Studio de ejemplo

El vectorizador de AI Studio, a diferencia de la aptitud AML, se adapta a trabajar solo con los modelos de inserción que se pueden implementar a través del catálogo de modelos de AI Studio. La principal diferencia es que no tiene que preocuparse por la carga de solicitud y respuesta, pero tiene que proporcionar, modelNameque corresponde al "Id. de modelo" que copió después de implementar el modelo en AI Studio.

Esta es una carga de ejemplo de cómo configuraría el vectorizador en la definición de índice según las propiedades copiadas de AI Studio.

En el caso de los modelos de Cohere, NO debe agregar la ruta de acceso /v1/embed al final de la dirección URL como hizo con la aptitud.

"vectorizers": [
    {
        "name": "<YOUR_VECTORIZER_NAME_HERE>",
        "kind": "aml",
        "amlParameters": {
            "uri": "<YOUR_URL_HERE>",
            "key": "<YOUR_PRIMARY_KEY_HERE>",
            "modelName": "<YOUR_MODEL_ID_HERE>"
        },
    }
]

Conexión mediante la autenticación de tokens

Si no puede usar la autenticación basada en claves, en su lugar puede configurar la conexión de vectorizador de AML y AI Studio para autenticación de tokens a través del control de acceso basado en rol en Azure. El servicio de búsqueda debe tener un sistema o una identidad administrada asignada por el usuarioy la identidad debe tener permisos de propietario o colaborador para el área de trabajo del proyecto de AML. A continuación, puede quitar el campo de clave de la definición de la aptitud y el vectorizador, reemplazándolo por el campo resourceId. Si el proyecto de AML y el servicio de búsqueda están en regiones diferentes, proporcione también el campo región.

"uri": "<YOUR_URL_HERE>",
"resourceId": "subscriptions/<YOUR_SUBSCRIPTION_ID_HERE>/resourceGroups/<YOUR_RESOURCE_GROUP_NAME_HERE>/providers/Microsoft.MachineLearningServices/workspaces/<YOUR_AML_WORKSPACE_NAME_HERE>/onlineendpoints/<YOUR_AML_ENDPOINT_NAME_HERE>",
"region": "westus", // Only need if AML project lives in different region from search service

Pasos siguientes

• Configuración de un vectorizador en un índice de búsqueda
• Configurar proyecciones de índice en un conjunto de aptitudes
• Aptitud de AML
• Vectorizador de Azure AI Studio
• Contexto de aptitud y lenguaje de anotación de entradas