Compartir a través de

Aptitud de inserción de azure AI Vision multiinstalación

  • Artículo

Importante

Esta característica se encuentra en versión preliminar pública en los Términos de uso complementarios. La API REST 2024-05-01-versión preliminar admite esta característica.

La aptitud de inserciones multimodales de Azure AI Vision usa la API de Azure AI Visionde inserciones multimodales para generar inserciones para la entrada de imagen o texto.

La aptitud solo se admite en los servicios de búsqueda ubicados en una región que admita las API de inserción de Azure AI Vision Multimodal. Revise la disponibilidad de la región para las inscrusciones multimodales. Los datos se procesan en la ubicación geográfica en la que se implementa el modelo.

Nota:

Esta aptitud está enlazada a los servicios de Azure AI y necesita un recurso facturable para las transacciones que superan los 20 documentos por indexador al día. La ejecución de aptitudes integradas se carga al actual precio de pago por uso de los servicios de Azure AI.

Además, la extracción de imágenes se puede facturar mediante Azure AI Search.

@odata.type

Microsoft.Skills.Vision.VectorizeSkill

Límites de datos

Los límites de entrada de la aptitud se pueden encontrar en la documentación de Azure AI Vision para imágenes y texto, respectivamente. Considere la posibilidad de usar la aptitud división de texto si necesita fragmentación de datos para las entradas de texto.

Parámetros de la aptitud

Los parámetros distinguen mayúsculas de minúsculas.

Entradas Descripción
modelVersion (Obligatorio) La versión del modelo que se va a pasar a la API de inserciones multimodales de Azure AI Vision para generar inserciones. Es importante que todas las inserciones almacenadas en un campo de índice determinado se generen con el mismo modelVersion. Para obtener información sobre la compatibilidad de versiones para este modelo, consulte insafurcar inseciones replicadas.

Entradas de la aptitud

Entrada Descripción
text El texto de entrada que se va a vectorizar. Si usa la fragmentación de datos, el origen podría ser /document/pages/*.
image Tipo complejo. Actualmente solo funciona con el campo "/document/normalized_images", generado por el indexador de blobs de Azure cuando imageAction se establece en un valor distinto de none.
url Dirección URL para descargar la imagen que se va a vectorizar.
queryString Cadena de consulta de la dirección URL para descargar la imagen que se va a vectorizar. Útil si almacena la dirección URL y el token de SAS en rutas de acceso independientes.

Solo se puede configurar una de text, image o url/queryString para una sola instancia de la aptitud. Si desea vectorizar imágenes y texto dentro del mismo conjunto de aptitudes, incluya dos instancias de esta aptitud en la definición del conjunto de aptitudes, una para cada tipo de entrada que quiera usar.

Salidas de la aptitud

Salida Descripción
vector Salida que inserta una matriz de floats para el texto o la imagen de entrada.

Definición de ejemplo

Para la entrada de texto, considere un registro que tenga los siguientes campos:

{
    "content": "Microsoft released Windows 10."
}

A continuación, la definición de la aptitud podría tener este aspecto:

{ 
    "@odata.type": "#Microsoft.Skills.Vision.VectorizeSkill", 
    "context": "/document", 
    "modelVersion": "2023-04-15", 
    "inputs": [ 
        { 
            "name": "text", 
            "source": "/document/content" 
        } 
    ], 
    "outputs": [ 
        { 
            "name": "vector"
        } 
    ] 
}

Para la entrada de imagen, la definición de aptitud podría tener este aspecto:

{
    "@odata.type": "#Microsoft.Skills.Vision.VectorizeSkill",
    "context": "/document/normalized_images/*",
    "modelVersion": "2023-04-15", 
    "inputs": [
        {
            "name": "image",
            "source": "/document/normalized_images/*"
        }
    ],
    "outputs": [
        {
            "name": "vector"
        }
    ]
}

Si desea vectorizar imágenes directamente desde el origen de datos de Blob Storage, la definición de aptitud podría tener este aspecto:

{
    "@odata.type": "#Microsoft.Skills.Vision.VectorizeSkill",
    "context": "/document",
    "modelVersion": "2023-04-15", 
    "inputs": [
        {
            "name": "url",
            "source": "/document/metadata_storage_path"
        },
        {
            "name": "queryString",
            "source": "/document/metadata_storage_sas_token"
        }
    ],
    "outputs": [
        {
            "name": "vector"
        }
    ]
}

Salida de muestra

Para el texto de entrada especificado, se genera una salida de inserción vectorizada.

{
  "vector": [
        0.018990106880664825,
        -0.0073809814639389515,
        .... 
        0.021276434883475304,
      ]
}

La salida reside en la memoria. Para enviar esta salida a un campo del índice de búsqueda, debe definir un valor outputFieldMapping que asigne la salida de inserción vectorizada (que es una matriz) a un campo de vector. Suponiendo que la salida de la aptitud reside en el nodo vector del documento y content_vector es el campo del índice de búsqueda, el outputFieldMapping en el indexador debe ser similar al siguiente:

  "outputFieldMappings": [
    {
      "sourceFieldName": "/document/vector/*",
      "targetFieldName": "content_vector"
    }
  ]

Para las incrustaciones de imágenes de asignación al índice, deberá usar la característica proyecciones de índice. La carga de indexProjections podría tener un aspecto similar al siguiente:

"indexProjections": {
    "selectors": [
        {
            "targetIndexName": "myTargetIndex",
            "parentKeyFieldName": "ParentKey",
            "sourceContext": "/document/normalized_images/*",
            "mappings": [
                {
                    "name": "content_vector",
                    "source": "/document/normalized_images/*/vector"
                }
            ]
        }
    ]
}

Consulte también