Magasins de vecteurs pour la recherche de fichiers

Les objets de magasin de vecteurs donnent à l’outil de recherche de fichiers la possibilité de rechercher vos fichiers. L’ajout d’un fichier à un stockage vectoriel apporte au modèle Foundry de l’agent des connaissances supplémentaires au-delà de ses données d’apprentissage. Le service analyse, segmente, intègre et indexe le fichier afin que l’outil puisse exécuter à la fois la recherche par mots-clés et la recherche sémantique.

Les magasins de vecteurs peuvent être associés à la fois aux assistants et aux conversations. Actuellement, vous pouvez associer au maximum un magasin de vecteurs à un agent et un magasin de vecteurs à une conversation. Pour obtenir une vue d’ensemble conceptuelle des conversations, consultez les composants d’exécution de l’agent.

Dans l’expérience des développeurs des agents actuels, la génération de réponses utilise des réponses et des conversations. Certains SDK et exemples plus anciens utilisent le terme run. Si vous voyez les deux termes, considérez l'exécution comme une génération de réponse. Pour obtenir des conseils sur la migration, consultez Comment migrer vers le nouveau service d’agent.

Pour obtenir la liste des limites pour la recherche vectorielle (par exemple, la taille maximale autorisée des fichiers), consultez l’article sur les quotas et les limites .

Conditions préalables

Limites principales et valeurs par défaut

Les magasins de vecteurs sont souvent le premier endroit où les workflows de récupération échouent en production, il est donc utile de connaître les valeurs par défaut et les limites strictes.

  • Fichiers par magasin de vecteurs : chaque magasin de vecteurs peut contenir jusqu’à 10 000 fichiers.
  • Pièces jointes : vous pouvez attacher au plus un magasin vectoriel à un agent et au plus un magasin vectoriel à une conversation.
  • Paramètres de récupération par défaut (recherche de fichiers) :
    • Taille de bloc : 800 jetons
    • Chevauchement des segments : 400 jetons
    • Modèle d’incorporation : text-embedding-3-large à 256 dimensions
    • Nombre maximal de blocs ajoutés au contexte : 20

Pour connaître les limites de taille de fichier et de jeton, consultez les quotas et les limites.

Concepts clés

Terme Sens
Base de données vectorielle Conteneur de contenu de fichier pouvant faire l’objet d’une recherche (blocs et incorporations) utilisé par l’outil de recherche de fichiers.
Ingestion Processus asynchrone qui analyse, segmente, intègre et indexe un fichier pour la recherche.
Préparation Indique si l’ingestion est terminée et si le magasin vectoriel est accessible pour la recherche.
Politique d'expiration Stratégie de cycle de vie qui fait expirer un stockage de vecteurs après une période d’inactivité.

La recherche de fichiers applique les meilleures pratiques de récupération pour aider votre agent à trouver le contenu approprié à partir de vos fichiers. En fonction de la requête et de vos données, l’outil peut :

  • Réécrire des requêtes utilisateur pour améliorer la récupération.
  • Décomposez les requêtes complexes en plusieurs recherches.
  • Exécutez des recherches de mots clés et sémantiques dans les magasins de vecteurs d'agents et de conversations.
  • Reclassez les résultats avant de les ajouter au contexte du modèle.

Pour les paramètres de récupération par défaut actuels (taille et chevauchement de segments, modèle d’incorporation et nombre maximal de blocs ajoutés au contexte), voir Fonctionnement.

Où se trouvent vos données (configuration de base ou d’agent standard)

Là où se trouvent les fichiers et les ressources de recherche dépend de la configuration de votre agent :

  • configuration de l’agent Basic : la recherche de fichiers utilise le stockage géré par Microsoft et les ressources de recherche.
  • Configuration de l’agentStandard : la recherche de fichiers utilise les ressources Stockage Blob Azure et Recherche Azure AI que vous connectez lors de l’installation, de sorte que vos fichiers restent dans votre stockage.

Pour configurer votre environnement, consultez configuration de l’environnement agent. Pour plus d’informations, consultez Dépendances sur la configuration de l’agent.

Vérifiez la préparation du stockage vectoriel avant de créer des réponses

Vérifiez que tous les fichiers d’un magasin vectoriel sont entièrement traités avant de créer une réponse. Cette étape garantit que toutes les données de votre magasin vectoriel peuvent faire l’objet d’une recherche.

Pour vérifier la disponibilité, utilisez les fonctions de sondage du SDK (par exemple, create-and-poll et upload-and-poll) ou interrogez l’objet du magasin vectoriel jusqu’à ce que son état soit terminé. Pour obtenir des exemples de code, consultez l’outil de recherche de fichiers pour les agents.

Pendant l'ingestion, un stockage de vecteurs peut être dans le statut in_progress. Une fois l’ingestion terminée, l’état passe à terminé.

En solution de repli, la génération de réponse inclut une attente maximale de 60 secondes lorsque le stockage vectoriel de la conversation contient des fichiers qui sont encore en cours de traitement. Cette période d'attente de secours ne s'applique pas au magasin de vecteurs de l'agent.

Liste de contrôle du flux de travail de bout en bout

Utilisez cette liste de contrôle pour valider un flux de travail de stockage vectoriel depuis l'ingestion jusqu'à la gestion du cycle de vie.

  1. Déterminez si vous utilisez la configuration de l’agent de base ou celle de l’agent standard, en fonction de l'emplacement où vous souhaitez que vos fichiers et vos ressources de recherche se trouvent. Consultez l’emplacement de vie de vos données (configuration de base et d’agent standard).
  2. Chargez vos fichiers et créez un magasin de vecteurs. Pour obtenir un exemple pas à pas, consultez Charger des fichiers et les ajouter à un magasin vectoriel.
  3. Attendez la fin de l’ingestion avant de générer des réponses. Utilisez les helpers d’interrogation du Kit de développement logiciel (SDK) ou interrogez le magasin vectoriel jusqu’à ce que son état soit terminé et qu’aucun fichier ne reste dans in_progress. Consultez Vérification de la préparation du magasin de vecteurs avant de générer des réponses.
  4. Joignez le stockage vectoriel à l’agent ou à la conversation que vous utilisez pour la recherche de fichiers. Gardez à l'esprit les limites des pièces jointes. Consultez les magasins Vector.
  5. Créez une réponse qui utilise la recherche de fichiers et vérifiez que l’outil récupère à partir des sources attendues. Consultez Créer une réponse avec la recherche de fichiers et vérifier les résultats.
  6. Gérer le cycle de vie : supprimez les fichiers dont vous n’avez plus besoin et planifiez les stratégies d’expiration (en particulier pour les magasins vectoriels créés par les assistances de conversation). Consultez Magasins vectoriels et Les magasins de vecteurs de conversation ont des stratégies d’expiration par défaut.

Ajouter des fichiers et gérer des magasins de vecteurs

L’ajout de fichiers aux magasins vectoriels est une opération asynchrone. Pour garantir l'achèvement de l'ingestion, utilisez les assistants de création et de sondage dans les SDK officiels. Si vous n’utilisez pas de Kit de développement logiciel (SDK), interrogez le magasin vectoriel tant que son état n’est pas terminé et qu’aucun fichier ne reste dans in_progress.

Les fichiers peuvent également être ajoutés à un magasin de vecteurs après sa création en créant des fichiers de magasin de vecteurs. Vous pouvez également ajouter plusieurs fichiers à un magasin vectoriel en créant des lots allant jusqu’à 500 fichiers.

Lorsque vous chargez un fichier pour créer un magasin de vecteurs, le système est automatiquement :

  1. Segmente votre contenu en éléments gérables.
  2. Convertit chaque bloc en vecteurs à haute dimension à l’aide de modèles incorporés.
  3. Stocke ces vecteurs dans un index de recherche optimisé.
  4. Crée des associations entre les vecteurs et votre contenu d’origine.

Supprimer des fichiers des magasins vectoriels

Vous pouvez supprimer des fichiers d’un magasin de vecteurs de deux façons différentes :

  • Supprimez l'objet de fichier de stockage de vecteurs.
  • Supprimez l’objet de fichier sous-jacent. Cela supprime le fichier de toutes les configurations de stockage vectoriel sur tous les agents et conversations de votre organisation.

Gérer le cycle de vie avec des stratégies d’expiration

Les stratégies d’expiration vous aident à gérer le cycle de vie du stockage vectoriel. Vous pouvez définir ces stratégies lors de la création ou de la mise à jour de l’objet de magasin de vecteurs.

Les magasins de vecteurs de conversation ont des stratégies d’expiration par défaut

Les magasins vectoriels créés à l’aide d’assistances de conversation ont une stratégie d’expiration par défaut de sept jours après leur dernière activité (définie comme la dernière fois que le magasin vectoriel a été utilisé pendant la génération de réponse).

Lorsqu’un magasin vectoriel expire, la génération de réponse pour cette conversation échoue. Pour résoudre le problème, recréez un nouveau magasin de vecteurs avec les mêmes fichiers et rattachez-le à la conversation. Pour plus d’informations, consultez Les magasins de vecteurs de conversation ont des stratégies d’expiration par défaut.

Types de fichiers et limites de clés pris en charge

Pour connaître les exigences de liste et d’encodage des types de fichiers pris en charge, consultez Types de fichiers pris en charge.

Limites clés à garder à l’esprit :

  • Vous pouvez associer au maximum un magasin de vecteurs à un agent et un magasin de vecteurs à une conversation.
  • La taille de fichier et les limites de jeton varient selon la fonctionnalité. Consultez quotas et limites.

Dépannage

  • Votre magasin vectoriel n’est pas encore consultable : attendez la fin de l’ingestion. Utilisez les outils d'interrogation SDK ou interrogez le store vectoriel jusqu’à ce que son état soit terminé.
  • La génération de réponse échoue après quelques jours : votre magasin de vecteurs de conversation a peut-être expiré. Recréez un nouveau magasin de vecteurs avec les mêmes fichiers et retachez-le.
  • Un fichier a disparu de plusieurs agents ou conversations : vous avez peut-être supprimé l’objet de fichier sous-jacent, ce qui supprime le fichier de toutes les configurations de magasin de vecteurs au sein de votre organisation.
  • Échec des chargements ou de l’ingestion : vérifiez la taille du fichier et les limites de jeton dans quotas et limites.

Étapes suivantes

  • Last updated on