Créer un magasin vectoriel

Dans la Recherche Azure AI, un magasin de vecteurs a un schéma d’index qui définit des champs vectoriels et non vectoriels, une configuration vectorielle pour les algorithmes qui créent l’espace d’incorporation et les paramètres sur les définitions de champ vectoriel utilisées dans les requêtes de requête. L’API Créer un index crée le magasin de vecteurs.

Procédez comme suit pour indexer les données vectorielles :

• Définissez un schéma avec une ou plusieurs configurations vectorielles spécifiant des algorithmes d’indexation et de recherche.
• Ajoutez un ou plusieurs champs vectoriels.
• Chargez des données prévectorisées en tant qu’étape distincte ou utilisez la vectorisation intégrée (préversion) pour la segmentation et l’encodage des données pendant l’indexation.

Cet article s’applique à la préversion générale de la Recherche vectorielle, qui suppose que votre code d’application appelle des ressources externes pour le segmentation et l’encodage.

Remarque

Vous cherchez de l’aide sur la migration à partir de 2023-07-01-preview ? Consultez Mettre à niveau les API REST.

Prérequis

• La Recherche Azure AI, dans n’importe quelle région et sur n’importe quel niveau. La plupart des services existants prennent en charge la recherche vectorielle. Pour les services créés avant janvier 2019, un petit sous-ensemble ne prend pas en charge la recherche vectorielle. Si un index contenant des champs vectoriels ne parvient pas à être créé ou mis à jour, il s’agit d’un indicateur. Dans ce cas, un nouveau service doit être créé.

• Incorporations de vecteurs préexistantes dans vos documents sources. Recherche Azure AI ne génère pas de vecteurs dans la version en disponibilité générale des API REST et des Kits de développement logiciel (SDK) Azure. Nous recommandons les modèles d'intégration Azure OpenAI, mais vous pouvez utiliser n'importe quel modèle pour la vectorisation. Pour plus d’informations, consultez Générer une implémentation.

• Vous devez connaître la limite des dimensions du modèle utilisé pour créer les incorporations et la façon dont la similarité est calculée. Dans Azure OpenAI, pour text-embedding-ada-002, la longueur du vecteur numérique est 1536. La similarité est calculée en utilisant cosine. Les valeurs valides sont comprises entre 2 et 3 072 dimensions.

• Vous devez être familiarisé avec la création d'un index. Le schéma doit inclure un champ pour la clé de document, d’autres champs que vous souhaitez rechercher ou filtrer, ainsi que d’autres configurations pour les comportements nécessaires lors de l’indexation et des requêtes.

Préparer des documents pour l’indexation

Avant l’indexation, vous devez assembler un document qui comprend des champs de données vectorielles et non vectorielles. La structure du document doit être conforme au schéma de l'index.

Vérifiez que vos documents sont les suivants :

1. Fournissez un champ ou une propriété de métadonnées qui identifie de manière unique chaque document. Tous les index de recherche nécessitent une clé de document. Pour répondre aux exigences de clé de document, un document source doit avoir un champ ou une propriété qui peut l’identifier de manière unique dans l’index. Ce champ source doit être mappé à un champ d’index de type Edm.String et key=true dans l’index de recherche.

2. Fournir des données vectorielles (un tableau de nombres à virgule flottante en simple précision) dans les champs source.

   Les champs vectoriels contiennent des données numériques générées par des modèles incorporés, une incorporation par champ. Nous recommandons les modèles d'intégration dans Azure OpenAI, tels que text-embedding-ada-002 pour les documents textuels ou l’API REST Recherche d'images pour les images. Seuls les champs vectoriels de niveau supérieur d’index sont pris en charge : les sous-champs Vecteur ne sont actuellement pas pris en charge.

3. Fournissez d’autres champs avec du contenu alphanumérique lisible par l’homme pour la réponse à la requête et pour les scénarios de requête hybrides qui incluent la recherche en texte intégral ou le classement sémantique dans la même requête.

Votre index de recherche doit inclure des champs et du contenu pour tous les scénarios de requête que vous souhaitez prendre en charge. Supposons que vous souhaitez rechercher ou filtrer les noms de produits, les versions, les métadonnées ou les adresses. Dans ce cas, la recherche de similarité n’est pas particulièrement utile. La recherche par mot clé, la recherche géographique ou les filtres seraient un meilleur choix. Un index de recherche qui comprend une collection complète de données vectorielles et non vectorielles offre une flexibilité maximale pour la construction des requêtes et la composition de la réponse.

Un bref exemple d’une charge utile de documents qui comprend des champs vectoriels et non vectoriels est présenté dans la section charge des données vectorielles de cet article.

Ajouter une configuration de recherche vectorielle

Une configuration vectorielle spécifie l'algorithme de recherche vectorielle et les paramètres utilisés lors de l'indexation pour créer les informations sur les "voisins les plus proches" parmi les nœuds du vecteur :

• Hierarchical Navigable Small Worlds (HNSW)
• Exhaustive KNN

Si vous choisissez HNSW sur un champ, vous pouvez opter pour un KNN exhaustif au moment de la requête. Mais l’autre direction ne fonctionnera pas : si vous choisissez exhaustive, vous ne pouvez pas demander ultérieurement la recherche HNSW, car les structures de données supplémentaires qui activent la recherche approximative n’existent pas.

Vous cherchez de l’aide pour migrer de la préversion vers la version stable ? Pour les étapes à suivre, consultez Mettre à niveau les API REST.

2023-11-01

La version de l’API REST 2023-11-01 prend en charge une configuration vectorielle ayant :

• Algorithmes vectorSearch, plus proches voisins hnsw et exhaustiveKnn, avec des paramètres pour l’indexation et le scoring.
• vectorProfiles pour de multiples combinaisons de configurations d'algorithmes.

Veillez à avoir une stratégie pour vectoriser votre contenu. La version stable ne fournit pas de vectoriseurs pour l’incorporation intégrée.

1. Utilisez l’API Créer ou mettre à jour l’index pour créer l’index.

2. Ajoutez une section vectorSearch dans l’index qui spécifie les algorithmes de recherche utilisés pour créer l’espace d’incorporation.

    "vectorSearch": {
        "algorithms": [
            {
                "name": "my-hnsw-config-1",
                "kind": "hnsw",
                "hnswParameters": {
                    "m": 4,
                    "efConstruction": 400,
                    "efSearch": 500,
                    "metric": "cosine"
                }
            },
            {
                "name": "my-hnsw-config-2",
                "kind": "hnsw",
                "hnswParameters": {
                    "m": 8,
                    "efConstruction": 800,
                    "efSearch": 800,
                    "metric": "cosine"
                }
            },
            {
                "name": "my-eknn-config",
                "kind": "exhaustiveKnn",
                "exhaustiveKnnParameters": {
                    "metric": "cosine"
                }
            }
   
        ],
        "profiles": [
          {
            "name": "my-default-vector-profile",
            "algorithm": "my-hnsw-config-2"
          }
        ]
    }
   

   Points essentiels :

   • Nom de la configuration. Le nom doit être unique dans l'index.
   • profiles ajouter une couche d’abstraction pour accueillir des définitions plus riches. Un profil est défini dans vectorSearch, puis référencé par nom sur chaque champ vectoriel.
   • "hnsw" et "exhaustiveKnn" sont les algorithmes de voisins les plus proches (ANN) approximatifs utilisés pour organiser le contenu vectoriel pendant l’indexation.
   • "m" (nombre de liens bidirectionnels) par défaut est 4. La fourchette est comprise entre 4 et 10. Les valeurs inférieures doivent retourner moins de bruit dans les résultats.
   • "efConstruction" la valeur par défaut est 400. La plage est comprise entre 100 et 1,000. Il s’agit du nombre de voisins les plus proches utilisés lors de l’indexation.
   • "efSearch" la valeur par défaut est 500. La plage est comprise entre 100 et 1,000. C'est le nombre de voisins les plus proches utilisés lors de la recherche.
   • "metric" doit être « cosinus » si vous utilisez Azure OpenAI, sinon utilisez la métrique de similarité associée au modèle d’incorporation que vous utilisez. Les valeurs prises en charge sont les suivantes : cosine, dotProduct, euclidean.

2023-10-01-préversion

La version de l’API REST 2023-10-01-préversion prend en charge la vectorisation interne externe et . Cette section suppose une stratégie de vectorisation externe. Cette API prend en charge :

• Algorithmes vectorSearch, plus proches voisins hnsw et exhaustiveKnn, avec des paramètres pour l’indexation et le scoring.
• vectorProfiles pour de multiples combinaisons de configurations d'algorithmes.

1. Utiliser l’API REST Créer ou mettre à jour un aperçu de l'index pour créer l'index.

2. Ajoutez une section vectorSearch dans l’index qui spécifie les algorithmes de recherche utilisés pour créer l’espace d’incorporation.

    "vectorSearch": {
        "algorithms": [
            {
                "name": "my-hnsw-config-1",
                "kind": "hnsw",
                "hnswParameters": {
                    "m": 4,
                    "efConstruction": 400,
                    "efSearch": 500,
                    "metric": "cosine"
                }
            },
            {
                "name": "my-hnsw-config-2",
                "kind": "hnsw",
                "hnswParameters": {
                    "m": 8,
                    "efConstruction": 800,
                    "efSearch": 800,
                    "metric": "cosine"
                }
            },
            {
                "name": "my-eknn-config",
                "kind": "exhaustiveKnn",
                "exhaustiveKnnParameters": {
                    "metric": "cosine"
                }
            }
   
        ],
        "profiles": [
          {
            "name": "my-default-vector-profile",
            "algorithm": "my-hnsw-config-2"
          }
        ]
    }
   

   Points essentiels :

   • Nom de la configuration. Le nom doit être unique dans l'index.
   • profiles sont nouveaux dans cette préversion. Ils ajoutent une couche d'abstraction permettant d'intégrer des définitions plus riches. Un profil est défini dans vectorSearch, puis comme une propriété de chaque champ de vecteurs.
   • hnsw et "exhaustiveKnn" sont les algorithmes de voisins les plus proches (ANN) approximatifs utilisés pour organiser le contenu vectoriel pendant l’indexation.
   • m (nombre de liens bidirectionnels) par défaut est 4. La fourchette est comprise entre 4 et 10. Les valeurs inférieures doivent retourner moins de bruit dans les résultats.
   • efConstruction la valeur par défaut est 400. La plage est comprise entre 100 et 1,000. Il s’agit du nombre de voisins les plus proches utilisés lors de l’indexation.
   • efSearch la valeur par défaut est 500. La plage est comprise entre 100 et 1,000. C'est le nombre de voisins les plus proches utilisés lors de la recherche.
   • metric doit être « cosinus » si vous utilisez Azure OpenAI, sinon utilisez la métrique de similarité associée au modèle d’incorporation que vous utilisez. Les valeurs prises en charge sont les suivantes : cosine, dotProduct, euclidean.

2023-07-01-préversion

La version de l’API REST 2023-07-01-préversion était la première version de l’API REST pour prendre en charge les scénarios vectoriels. Cette version a :

• vectorSearch pour spécifier l’algorithme HNSW.
• hnsw algorithme du plus proche voisin pour l'indexation du contenu vectoriel

1. Utilisez l'API REST Créer ou mettre à jour un index pour créer l'index.

2. Ajoutez une section vectorSearch dans l’index qui spécifie les algorithmes de recherche utilisés pour créer l’espace d’incorporation.

    "vectorSearch": {
        "algorithmConfigurations": [
            {
                "name": "vectorConfig",
                "kind": "hnsw",
                "hnswParameters": {
                    "m": 4,
                    "efConstruction": 400,
                    "efSearch": 500,
                    "metric": "cosine"
                }
            }
        ]
    }
   

   Points essentiels :

   • Nom de la configuration. Le nom doit être unique dans l'index.
   • hnsw est l’algorithme de proximité des voisins les plus proches (ANN) utilisé pour créer le graphique de proximité pendant l’indexation. Seul l’HNSW (Hierarchical Navigable Small World) est pris en charge dans cette version de l’API.
   • m (nombre de liens bidirectionnels) par défaut est 4. La fourchette est comprise entre 4 et 10. Les valeurs inférieures doivent retourner moins de bruit dans les résultats.
   • efConstruction la valeur par défaut est 400. La plage est comprise entre 100 et 1,000. Il s’agit du nombre de voisins les plus proches utilisés lors de l’indexation.
   • efSearch la valeur par défaut est 500. La plage est comprise entre 100 et 1,000. C'est le nombre de voisins les plus proches utilisés lors de la recherche.
   • metric doit être « cosinus » si vous utilisez Azure OpenAI, sinon utilisez la métrique de similarité associée au modèle d’incorporation que vous utilisez. Les valeurs prises en charge sont les suivantes : cosine, dotProduct, euclidean.

.NET

• Utilisez le package Azure.Search.Documents pour les scénarios vectoriels.

• Pour obtenir des exemples de code .NET, consultez le dépôt GitHub azure-search-vector.

Python

• Utilisez le package Azure.Search.Documents pour les scénarios vectoriels.

• Pour obtenir des exemples de code Python, consultez le dépôt GitHub azure-search-vector.

JavaScript

• Utilisez le paquet @azure/search-documents 12.0.0-beta.2 pour les scénarios vectoriels.

• Pour obtenir des exemples de code JavaScript, consultez le dépôt GitHub azure-search-vector.

Ajouter un champ vectoriel à la collection de champs

La collection de champs doit inclure un champ pour la clé de document, les champs vectoriels et tous les autres champs dont vous avez besoin pour les scénarios de recherche hybride.

Les champs vectoriels sont de type Collection(Edm.Single) et des valeurs à virgule flottante simple précision. Un champ de ce type a également une propriété dimensions et spécifie une configuration vectorielle.

2023-11-01

Utilisez cette version si vous souhaitez des fonctionnalités généralement disponibles uniquement.

1. Utilisez l’index Créer ou mettre à jour pour créer l’index.

2. Définissez un champ vectoriel avec les attributs suivants. Vous pouvez stocker un incorporation généré par champ. Pour chaque champ vectoriel :

   • type doit être Collection(Edm.Single).
   • dimensions retourne le nombre de dimensions dans le modèle d’incorporation. Pour text-embedding-ada-002, c'est 1536.
   • vectorSearchProfile est le nom d’un profil défini ailleurs dans l’index.
   • searchable doit être true.
   • retrievable peut avoir la valeur « true » ou « false ». True retourne les vecteurs bruts (1536 d’entre eux) sous forme de texte brut et consomme de l’espace de stockage. Définissez la valeur true si vous transmettez un résultat vectoriel à une application en aval.
   • filterable, facetable, sortable doit être false.

3. Si vous souhaitez appeler le préfiltrage ou le post-filtrage sur la requête vectorielle , ajoutez des champs non vectoriels filtrables à la collection, tels que « titre » avec filterable défini sur true.

4. Ajoutez d’autres champs qui définissent la substance et la structure du contenu textuel que vous indexez. Au minimum, vous avez besoin d'une clé de document.

   Vous devez également ajouter des champs utiles à la requête ou à la réponse. L’exemple suivant montre des champs vectoriels pour le titre et le contenu (« titleVector », « contentVector ») équivalents aux vecteurs. Il fournit également des champs pour le contenu textuel équivalent (« titre », « contenu ») utile pour le tri, le filtrage et la lecture dans un résultat de recherche.

   L'exemple suivant montre la collection de champs :

   PUT https://my-search-service.search.windows.net/indexes/my-index?api-version=2023-11-01&allowIndexDowntime=true
   Content-Type: application/json
   api-key: {{admin-api-key}}
   {
       "name": "{{index-name}}",
       "fields": [
           {
               "name": "id",
               "type": "Edm.String",
               "key": true,
               "filterable": true
           },
           {
               "name": "title",
               "type": "Edm.String",
               "searchable": true,
               "filterable": true,
               "sortable": true,
               "retrievable": true
           },
           {
               "name": "titleVector",
               "type": "Collection(Edm.Single)",
               "searchable": true,
               "retrievable": true,
               "dimensions": 1536,
               "vectorSearchProfile": "my-default-vector-profile"
           },
           {
               "name": "content",
               "type": "Edm.String",
               "searchable": true,
               "retrievable": true
           },
           {
               "name": "contentVector",
               "type": "Collection(Edm.Single)",
               "searchable": true,
               "retrievable": true,
               "dimensions": 1536,
               "vectorSearchProfile": "my-default-vector-profile"
           }
       ],
       "vectorSearch": {
           "algorithms": [
               {
                   "name": "my-hnsw-config-1",
                   "kind": "hnsw",
                   "hnswParameters": {
                       "m": 4,
                       "efConstruction": 400,
                       "efSearch": 500,
                       "metric": "cosine"
                   }
               }
           ],
           "profiles": [
               {
                   "name": "my-default-vector-profile",
                   "algorithm": "my-hnsw-config-1"
               }
           ]
       }
   }
   

2023-10-01-préversion

Dans l’exemple d’API REST suivant, « titre » et « contenu » contiennent du contenu textuel utilisé dans la recherche en texte intégral et le classement sémantique, tandis que « titleVector » et « contentVector » contiennent des données vectorielles.

1. Utiliser l’API REST Créer ou mettre à jour un aperçu de l'index pour créer l'index.

2. Ajouter des champs vectoriels à la collection de champs. Vous pouvez enregistrer un encart généré par champ de document. Pour chaque champ vectoriel :

   • type doit être Collection(Edm.Single).
   • dimensions retourne le nombre de dimensions dans le modèle d’incorporation. Pour text-embedding-ada-002, c'est 1536.
   • vectorSearchProfile est le nom d’un profil défini ailleurs dans l’index.
   • searchable doit être true.
   • retrievable peut avoir la valeur « true » ou « false ». True retourne les vecteurs bruts (1536 d’entre eux) sous forme de texte brut et consomme de l’espace de stockage. Définissez la valeur true si vous transmettez un résultat vectoriel à une application en aval.
   • filterable, facetable, sortable doit être false.

3. Si vous souhaitez appeler le préfiltrage ou le postfiltrage sur [vector query](vector-search-how-to-query.md), ajoutez des champs non vectoriels filtrables à la collection, tels que "« titre » avec filterable défini sur true

4. Ajoutez d’autres champs qui définissent la substance et la structure du contenu textuel que vous indexez. Au minimum, vous avez besoin d'une clé de document.

   Vous devez également ajouter des champs utiles à la requête ou à la réponse. L’exemple suivant montre des champs vectoriels pour le titre et le contenu (« titleVector », « contentVector ») équivalents aux vecteurs. Il fournit également des champs pour le contenu textuel équivalent (« titre », « contenu ») utile pour le tri, le filtrage et la lecture dans un résultat de recherche.

   L'exemple suivant montre la collection de champs :

   PUT https://my-search-service.search.windows.net/indexes/my-index?api-version=2023-10-01-Preview&allowIndexDowntime=true
   Content-Type: application/json
   api-key: {{admin-api-key}}
   {
       "name": "{{index-name}}",
       "fields": [
           {
               "name": "id",
               "type": "Edm.String",
               "key": true,
               "filterable": true
           },
           {
               "name": "title",
               "type": "Edm.String",
               "searchable": true,
               "filterable": true,
               "sortable": true,
               "retrievable": true
           },
           {
               "name": "titleVector",
               "type": "Collection(Edm.Single)",
               "searchable": true,
               "retrievable": true,
               "dimensions": 1536,
               "vectorSearchProfile": "my-default-vector-profile"
           },
           {
               "name": "content",
               "type": "Edm.String",
               "searchable": true,
               "retrievable": true
           },
           {
               "name": "contentVector",
               "type": "Collection(Edm.Single)",
               "searchable": true,
               "retrievable": true,
               "dimensions": 1536,
               "vectorSearchProfile": "my-default-vector-profile"
           }
       ],
       "vectorSearch": {
           "algorithms": [
               {
                   "name": "my-hnsw-config-1",
                   "kind": "hnsw",
                   "hnswParameters": {
                       "m": 4,
                       "efConstruction": 400,
                       "efSearch": 500,
                       "metric": "cosine"
                   }
               }
           ],
           "profiles": [
               {
                   "name": "my-default-vector-profile",
                   "algorithm": "my-hnsw-config-1"
               }
           ]
       }
   }
   

2023-07-01-préversion

Important

Les définitions de champ vectoriel pour cette version sont obsolètes dans les versions ultérieures. Nous vous recommandons de migrer vers 2023-11-01 ou 2023-10-01-préversion. Changez vectorSearchConfiguration en vectorSearchProfile.

La version de l’API REST 2023-07-01-préversion était la première version de l’API REST pour prendre en charge les scénarios vectoriels.

Dans l’exemple d’API REST suivant, « titre » et « contenu » contiennent du contenu textuel utilisé dans la recherche en texte intégral et le classement sémantique, tandis que « titleVector » et « contentVector » contiennent des données vectorielles.

1. Utiliser l’API REST Créer ou mettre à jour un aperçu de l'index pour créer l'index.

2. Ajouter des champs vectoriels à la collection de champs. Vous pouvez enregistrer un encart généré par champ de document. Pour chaque champ vectoriel :

   • Attribuer le type de données Collection(Edm.Single).
   • Indiquez le nom de la configuration de l’algorithme de recherche vectorielle.
   • Indiquer le nombre de dimensions générées par le modèle d'intégration.
   • Définir des attributs :
     • « pouvant faire l’objet d’une recherche » doit être « true ».
     • « récupérable » défini sur « true » vous permet d’afficher les vecteurs bruts (par exemple, en tant qu’étape de vérification), mais cela augmente le stockage. Définissez la valeur « false » si vous n’avez pas besoin de retourner des vecteurs bruts. Vous n'avez pas besoin de renvoyer des vecteurs pour une requête, mais si vous transmettez un résultat vectoriel à une application en aval, mettez « pouvant faire l’objet d’une recherche » sur « true ».
     • Les attributs « filtrable », « table à facettes » et « triable » doivent être « false ». Ne définissez pas ces comportements sur « true », car ces comportements ne s’appliquent pas dans le contexte des champs vectoriels et la requête échoue.

3. Ajoutez d’autres champs qui définissent la substance et la structure du contenu textuel que vous indexez. Au minimum, vous avez besoin d'une clé de document.

   Vous devez également ajouter des champs utiles à la requête ou à la réponse. L’exemple suivant montre des champs vectoriels pour le titre et le contenu (« titleVector », « contentVector ») équivalents aux vecteurs. Il fournit également des champs pour le contenu textuel équivalent (« titre », « contenu ») utile pour le tri, le filtrage et la lecture dans un résultat de recherche.

   Une définition d’index avec les éléments décrits ressemble à ceci :

   PUT https://my-search-service.search.windows.net/indexes/my-index?api-version=2023-07-01-Preview&allowIndexDowntime=true
   Content-Type: application/json
   api-key: {{admin-api-key}}
   {
       "name": "{{index-name}}",
       "fields": [
           {
               "name": "id",
               "type": "Edm.String",
               "key": true,
               "filterable": true
           },
           {
               "name": "title",
               "type": "Edm.String",
               "searchable": true,
               "filterable": true,
               "sortable": true,
               "retrievable": true
           },
           {
               "name": "titleVector",
               "type": "Collection(Edm.Single)",
               "searchable": true,
               "retrievable": true,
               "dimensions": 1536,
               "vectorSearchConfiguration": "vectorConfig"
           },
           {
               "name": "content",
               "type": "Edm.String",
               "searchable": true,
               "retrievable": true
           },
           {
               "name": "contentVector",
               "type": "Collection(Edm.Single)",
               "searchable": true,
               "retrievable": true,
               "dimensions": 1536,
               "vectorSearchConfiguration": "vectorConfig"
           }
       ],
       "vectorSearch": {
           "algorithmConfigurations": [
               {
                   "name": "vectorConfig",
                   "kind": "hnsw",
                   "hnswParameters": {
                       "m": 4,
                       "efConstruction": 400,
                       "efSearch": 500,
                       "metric": "cosine"
                   }
               }
           ]
       }
   }
   

Azure portal

Le Portail Azure prend en charge les comportements 2023-10-01-préversion.

Utilisez le concepteur d’index dans le Portail Azure pour ajouter des définitions de champs vectoriels. Si l’index n’a pas de configuration vectorielle, vous êtes invité à en créer un lorsque vous ajoutez votre premier champ vectoriel à l’index.

Bien que vous puissiez ajouter un champ à un index, il n'existe pas de portail (assistant d'importation de données) permettant de le charger avec des données vectorielles. Utilisez plutôt les API REST ou un SDK pour l’importation de données.

1. Connectez-vous au Portail Azure et ouvrez la page de votre service de recherche dans un navigateur.

2. Dans le volet de navigation de gauche, sélectionnez Gestion de la recherche>Index.

3. Sélectionnez + Ajouter un d’index et donnez un nom à l’index.

4. Sélectionnez Ajouter un champ :

   

   Points essentiels :

   • Nommez le champ (aucun espace).
   • Choisir le type Collection(Edm.Single).
   • Sélectionnez « Récupérable » si vous souhaitez que la requête retourne les données vectorielles dans les résultats de recherche. Si vous avez d’autres champs avec du contenu lisible par l’homme que vous pouvez retourner en tant que proxy pour la correspondance, vous devez définir « Récupérable » sur false pour économiser de l’espace.
   • « Pouvant faire l’objet d’une recherche » est obligatoire pour un champ vectoriel et ne peut pas être modifié.
   • « Dimensions » est la longueur du vecteur retourné par le modèle. Définissez cette valeur pour spécifier 1536 pour text-embedding-ada-002, où le texte d’entrée que vous fournissez est décrit numériquement à l’aide de 1536 dimensions.

5. Sélectionnez ou créez une configuration vectorielle utilisée pour la recherche de similarité. Si l’index n’a pas de configuration vectorielle, vous devez sélectionner Créer.

   

   Points essentiels :

   • Nommez la configuration. Le nom doit être unique dans l'index.
   • « hnsw » est l'algorithme ANN (Approximate Nearest Neighbors) utilisé pour créer le graphe de proximité lors de l'indexation. Seul l’HNSW (Hierarchical Navigable Small World) est pris en charge dans cette version de l’API.
   • « Nombre de liens bidirectionnels » : 4 par défaut. La fourchette est comprise entre 4 et 10. Les valeurs inférieures doivent retourner moins de bruit dans les résultats.
   • La valeur par défaut « efConstruction » est 400. La plage est comprise entre 100 et 1,000. Il s’agit du nombre de voisins les plus proches utilisés lors de l’indexation.
   • La valeur de efSearch par défaut est 500. La plage est comprise entre 100 et 1,000. C'est le nombre de voisins les plus proches utilisés lors de la recherche.
   • « Métrique de similarité » doit être « cosinus » si vous utilisez Azure OpenAI, sinon utilisez la métrique de similarité associée au modèle d'intégration que vous utilisez. Les valeurs prises en charge sont les suivantes : cosine, dotProduct, euclidean.

   Si vous êtes familiarisé avec les paramètres HNSW, vous vous demandez peut-être comment définir le nombre "k" de voisins les plus proches à retourner dans le résultat. Dans Recherche Azure AI, cette valeur est définie sur la demande de requête .

6. Sélectionnez Enregistrer pour enregistrer la configuration du vecteur et la définition du champ.

.NET

• Utilisez le package Azure.Search.Documents pour les scénarios vectoriels.

• Pour obtenir des exemples de code .NET, consultez le dépôt GitHub azure-search-vector.

Python

• Utilisez le paquet Azure.Search.Documents /11.4.0b8 pour les scénarios vectoriels.

• Pour obtenir des exemples de code Python, consultez le dépôt GitHub azure-search-vector.

JavaScript

• Utilisez le paquet @azure/search-documents 12.0.0-beta.2 pour les scénarios vectoriels.

• Pour obtenir des exemples de code JavaScript, consultez le dépôt GitHub azure-search-vector.

Charger des données vectorielles pour l’indexation

Le contenu que vous fournissez pour l'indexation doit être conforme au schéma de l'index et inclure une chaîne de valeur unique pour la clé du document. Les données prévectorisées sont chargées dans un ou plusieurs champs vectoriels, qui peuvent coexister avec d’autres champs contenant du contenu alphanumérique.

Vous pouvez utiliser méthodologies push ou pull pour l’ingestion de données.

API Push

Utilisez Index Documents (2023-11-01), Index documents (2023-10-01-préversion), ou le Ajouter, Mettre à jour ou Supprimer des documents (2023-07-01-préversion) pour envoyer (push) des documents contenant des données vectorielles.

POST https://{{search-service-name}}.search.windows.net/indexes/{{index-name}}/docs/index?api-version=2023-11-01
Content-Type: application/json
api-key: {{admin-api-key}}
{
    "value": [
        {
            "id": "1",
            "title": "Azure App Service",
            "content": "Azure App Service is a fully managed platform for building, deploying, and scaling web apps. You can host web apps, mobile app backends, and RESTful APIs. It supports a variety of programming languages and frameworks, such as .NET, Java, Node.js, Python, and PHP. The service offers built-in auto-scaling and load balancing capabilities. It also provides integration with other Azure services, such as Azure DevOps, GitHub, and Bitbucket.",
            "category": "Web",
            "titleVector": [
                -0.02250031754374504,
                 . . . 
                        ],
            "contentVector": [
                -0.024740582332015038,
                 . . .
            ],
            "@search.action": "upload"
        },
        {
            "id": "2",
            "title": "Azure Functions",
            "content": "Azure Functions is a serverless compute service that enables you to run code on-demand without having to manage infrastructure. It allows you to build and deploy event-driven applications that automatically scale with your workload. Functions support various languages, including C#, F#, Node.js, Python, and Java. It offers a variety of triggers and bindings to integrate with other Azure services and external services. You only pay for the compute time you consume.",
            "category": "Compute",
            "titleVector": [
                -0.020159931853413582,
                . . .
            ],
            "contentVector": [
                -0.02780858241021633,
                 . . .
            ],
            "@search.action": "upload"
        }
        . . .
    ]
}

API Pull (indexeurs)

Les indexeurs peuvent récupérer et indexer des champs vectoriels dans des documents sources, en supposant qu’un schéma d’index répond aux exigences de champ vectoriel et à l’API REST en préversion.

Les sources de données fournissent les vecteurs au format pris en charge par la source de données (comme les chaînes au format JSON). L’indexeur suppose que les champs tapés comme Collection(Edm.Single) contiennent des vecteurs et indexent ce contenu en tant qu’index vectoriels.

• Aucune modification du comportement de mappage de champ ou de la détection des modifications pour les vecteurs. Les comportements d’indexation de texte s’appliquent également aux vecteurs.

• Si les données vectorielles sont sources dans des fichiers, nous recommandons une parsingMode non définie comme json, jsonLinesou csv en fonction de la forme des données.

• Pour les sources de données, indexeurs d’objets blob Azure et les indexeurs Azure Cosmos DB for NoSQL avec l’une des mentions ci-dessus ont été testés et confirmés pour fonctionner.

  Azure SQL ne permet pas de stocker une collection en mode natif en tant que colonne SQL unique. Une solution de contournement n’a pas été identifiée pour l’instant.

• Les dimensions de tous les vecteurs de la source de données doivent être identiques et correspondre à leur définition d’index pour le champ auquel ils sont mappés. L’indexeur lève une erreur sur tous les documents qui ne correspondent pas.

Vérifiez le contenu vectoriel de votre index

À des fins de validation, vous pouvez interroger l’index à l’aide de l’Explorateur de recherche dans le Portail Azure ou d’un appel d’API REST. Étant donné qu’Azure AI Search ne peut pas convertir un vecteur en texte lisible par l’homme, essayez de renvoyer des champs du même document qui fournissent des preuves de la correspondance. Par exemple, si la requête vectorielle cible le champ « titleVector », vous pouvez sélectionner « titre » pour les résultats de la recherche.

Les champs doivent être attribués comme « récupérables » pour être inclus dans les résultats.

Azure portal

Utilisez l’Explorateur de recherche pour interroger l’index. L’Explorateur de recherche a deux vues : vue requête (par défaut) et vue JSON.

• Utiliser la vue JSON pour les requêtes vectorielles, collage dans une définition JSON de la requête vectorielle que vous souhaitez exécuter.

• Utilisez la vue Requête par défaut pour une confirmation rapide que l’index contient des vecteurs. L’affichage de requête est destiné à la recherche en texte intégral. Bien que vous ne puissiez pas l’utiliser pour les requêtes vectorielles, vous pouvez envoyer une recherche vide (search=*) pour rechercher du contenu. Le contenu de tous les champs, y compris les champs vectoriels, est retourné sous forme de texte brut.

REST API

L’exemple d’API REST suivant est une requête vectorielle, mais il ne renvoie que des champs non vectoriels (titre, contenu, catégorie). Seuls les champs marqués comme « récupérables » peuvent être renvoyés dans les résultats de la recherche.

POST https://my-search-service.search.windows.net/indexes/my-index/docs/search?api-version=2023-11-01
Content-Type: application/json
api-key: {{admin-api-key}}
{
    "vector": {
        "value": [
            -0.009154141,
            0.018708462,
            . . . 
            -0.02178128,
            -0.00086512347
        ],
        "fields": "contentVector",
        "k": 5
    },
    "select": "title, content, category"
}

Mettre à jour un magasin vectoriel

Pour mettre à jour un magasin vectoriel, modifiez le schéma et, si nécessaire, rechargez les documents pour remplir de nouveaux champs. Les API pour les mises à jour de schéma incluent Create or Update Index (REST), CreateOrUpdateIndex dans le SDK Azure pour .NET, create_or_update_index dans le SDK Azure pour Python et des méthodes similaires dans d’autres SDK Azure.

L’aide standard pour la mise à jour d’un index est disponible dans Supprimer et régénérer un index.

Les points clés sont les suivants :

• La suppression et la régénération sont souvent requises pour les mises à jour et la suppression de champs existants.

• Toutefois, vous pouvez mettre à jour un schéma existant avec les modifications suivantes, sans aucune régénération requise :

  • Ajouter de nouveaux champs à une collection de champs.
  • Ajouter de nouvelles configurations vectorielles (affectées à de nouveaux champs, mais pas à des champs existants déjà vectorisés).
  • Modifier « retrievable » (les valeurs sont true ou false) sur un champ existant. Les champs vectoriels doivent pouvoir faire l’objet d’une recherche et être récupérables. Toutefois, si vous souhaitez désactiver l’accès à un champ vectoriel dans des situations où la suppression et la régénération ne sont pas réalisables, vous pouvez définir retrievable sur false.

Étapes suivantes

À l’étape suivante, nous vous recommandons d' données de vecteur de requête dans un index de recherche.

Les exemples de code du dépôt azure-search-vector illustrent des workflows de bout en bout qui incluent la définition de schéma, la vectorisation, l’indexation et les requêtes.

Le code de démonstration est disponible en Python, C# et JavaScript.