Magasins vectoriels dans Azure Machine Learning (préversion)
Important
Cette fonctionnalité est actuellement disponible en préversion publique. Cette préversion est fournie sans contrat de niveau de service et n’est pas recommandée pour les charges de travail de production. Certaines fonctionnalités peuvent être limitées ou non prises en charge.
Pour plus d’informations, consultez Conditions d’Utilisation Supplémentaires relatives aux Évaluations Microsoft Azure.
Cet article décrit les index vectoriels dans Azure Machine Learning que vous pouvez utiliser pour effectuer une génération d’extraction augmentée (RAG). Un index vectoriel stocke les incorporations qui sont des représentations numériques des concepts (données) converties en séquences de nombres. Les incorporations permettent aux grands modèles de langage (LLM) de comprendre les relations entre les concepts. Vous pouvez créer des magasins de vecteurs pour connecter vos données à des LLM telles que GPT-4 et récupérer efficacement les données.
Azure Machine Learning prend en charge deux magasins de vecteurs qui contiennent vos données supplémentaires utilisées dans un flux de travail RAG :
| Magasin de vecteurs | Description | Fonctionnalités et utilisation |
|---|---|---|
| Faiss | Bibliothèque open source | - Utiliser un magasin basé sur des fichiers local - Entraîner des coûts minimes - Prendre en charge les données vectorielles uniquement - Prendre en charge le développement et les tests |
| Azure AI Search | Ressource Azure PaaS | - Stocker des données de texte dans l’index de recherche - Héberger un grand nombre d’index avec un seul service - Prendre en charge les exigences métier au niveau de l’entreprise - Accéder à la récupération des informations hybrides |
Les sections suivantes explorent les considérations relatives à l’utilisation de ces magasins de vecteurs.
Bibliothèque Faiss
Faiss est une bibliothèque open source qui fournit un magasin local basé sur des fichiers. L’index vectoriel est stocké dans le compte de stockage Azure de votre espace de travail Azure Machine Learning. Pour utiliser Faiss, vous téléchargez la bibliothèque et l’utilisez comme composant de votre solution. Étant donné que l’index est stocké localement, les coûts sont minimes.
Vous pouvez utiliser la bibliothèque Faiss comme magasin de vecteurs et effectuer les actions suivantes :
Stocker des données vectorielles localement, sans frais de création d’un index (coût de stockage uniquement)
Générer et interroger un index en mémoire
Partager des copies pour une utilisation individuelle et configurer l’hébergement de l’index pour une application
Mise à l’échelle avec l’index de chargement de calcul sous-jacent
Recherche Azure AI
La Recherche Azure AI (anciennement Recherche cognitive) est une ressource PaaS Azure dédiée que vous créez dans un abonnement Azure. La ressource prend en charge la récupération d’informations sur vos données stockées textuelles et vectorielles dans les index de recherche. Un flux rapide peut créer, remplir et interroger vos données vectorielles stockées dans la recherche Azure AI. Un service de recherche unique peut héberger un grand nombre d’index, qui peuvent être interrogés et utilisés dans un modèle RAG.
Voici quelques points clés sur l’utilisation de la Recherche Azure AI pour votre magasin de vecteurs :
Prise en charge des exigences métier au niveau de l’entreprise en matière de mise à l’échelle, de sécurité et de disponibilité.
Accéder à la récupération des informations hybrides. Les données vectorielles peuvent coexister avec des données non vectorielles, ce qui signifie que vous pouvez utiliser toutes les fonctionnalités de la Recherche Azure AI pour l’indexation et les requêtes, y compris la recherche hybride et le reclassement sémantique.
N’oubliez pas que la prise en charge des vecteurs est en préversion. Actuellement, les vecteurs doivent être générés en externe, puis transmis à la recherche Azure AI pour l’indexation et l’encodage des requêtes. Le flux d’invite gère ces transitions pour vous.
Pour utiliser la recherche IA en tant que magasin vectoriel pour Azure Machine Learning, vous devez disposer d’un service de recherche. Une fois que le service existe et que vous permettez l’accès aux développeurs, vous pouvez choisir la Recherche Azure AI en tant qu’index vectoriel dans un flux d’invite. Le flux rapide crée l’index sur la recherche Azure AI, génère des vecteurs à partir de vos données sources, envoie les vecteurs à l’index, appelle la recherche de similarité sur la recherche IA et retourne la réponse.