Magasins vectoriels dans Azure Machine Learning (préversion)

Important

Cette fonctionnalité est actuellement disponible en préversion publique. Cette préversion est fournie sans contrat de niveau de service et n’est pas recommandée pour les charges de travail de production. Certaines fonctionnalités peuvent être limitées ou non prises en charge.

Pour plus d’informations, consultez Conditions d’Utilisation Supplémentaires relatives aux Évaluations Microsoft Azure.

Cet article conceptuel vous aide à utiliser un index vectoriel dans Azure Machine Learning pour effectuer la génération augmentée de récupération (RAG). Un index vectoriel stocke des incorporations, qui sont des représentations numériques de concepts (données) convertis en séquences de nombres, qui permettent aux LLMs de comprendre les relations entre ces concepts. La création de magasins vectoriels vous permet de connecter vos données à un modèle de langage volumineux (LLM) comme GPT-4 et de récupérer les données efficacement.

Azure Machine Learning prend en charge deux types de magasins vectoriels qui contiennent vos données supplémentaires utilisées dans un flux de travail RAG :

• Faiss est une bibliothèque open source qui fournit un magasin local basé sur des fichiers. L’index vectoriel est stocké dans le compte de stockage de votre espace de travail Azure Machine Learning. Étant donné qu’il est stocké localement, les coûts sont minimes, ce qui le rend idéal pour le développement et le test.

• La recherche Azure AI (anciennement Recherche cognitive) est une ressource Azure qui prend en charge la récupération d’informations sur vos données vectorielles et textuelles stockées dans les index de recherche. Un flux rapide peut créer, remplir et interroger vos données vectorielles stockées dans la recherche Azure AI.

Choisir un magasin vectoriel

Vous pouvez utiliser l’un ou l’autre magasin dans le flux d’invite. Par conséquent, lequel devez-vous utiliser ?

Faiss est une bibliothèque open source que vous téléchargez et utilisez un composant de votre solution. Cette bibliothèque peut être le meilleur point de départ si vous disposez de données vectorielles uniquement. Quelques points clés sur l’utilisation de Faiss :

• Stockage local, sans frais de création d’un index (coût de stockage uniquement).

• Vous pouvez générer et interroger un index en mémoire.

• Vous pouvez partager des copies pour une utilisation individuelle. Si vous souhaitez héberger l’index d’une application, vous devez le configurer.

• Faiss effectue des mises à l’échelle avec l’index de chargement de calcul sous-jacent.

La recherche Azure AI est une ressource PaaS dédiée que vous créez dans un abonnement Azure. Un service de recherche unique peut héberger un grand nombre d’index, qui peuvent être interrogés et utilisés dans un modèle RAG. Quelques points clés sur l’utilisation de la recherche Azure AI pour votre magasin de vecteurs :

• Prend en charge les exigences métier au niveau de l’entreprise en matière de mise à l’échelle, de sécurité et de disponibilité.

• Prend en charge la récupération d’informations hybrides. Les données vectorielles peuvent coexister avec des données non vectorielles, ce qui signifie que vous pouvez utiliser toutes les fonctionnalités de la recherche Azure AI pour l’indexation et les requêtes, y compris la recherche hybride et le reclassement sémantique.

• La prise en charge de vecteur est en préversion publique. Actuellement, les vecteurs doivent être générés en externe, puis transmis à la recherche Azure AI pour l’indexation et l’encodage des requêtes. Le flux d’invite gère ces transitions pour vous.

Pour utiliser la recherche IA en tant que magasin vectoriel pour Azure Machine Learning, vous devez disposer d’un service de recherche. Une fois que le service existe et que vous avez accordé l’accès aux développeurs, vous pouvez choisir Recherche Azure AI en tant qu’index vectoriel dans un flux rapide. Le flux rapide crée l’index sur la recherche Azure AI, génère des vecteurs à partir de vos données sources, envoie les vecteurs à l’index, appelle la recherche de similarité sur la recherche IA et retourne la réponse.

Étapes suivantes

Comment créer un index vectoriel dans le flux d’invite Azure Machine Learning (préversion)