Comprendre les bases de données vectorielles, la génération augmentée de récupération et les incorporations dans l’IA

Effectué

Les bases de données vectorielles, les incorporations et la génération augmentée de récupération (RAG) sont des technologies cruciales à l’amélioration d’applications basées sur l’IA, en particulier dans le contexte d’Azure Cosmos DB for MongoDB basé sur vCore. Comprendre ces concepts est essentiel pour implémenter des fonctionnalités avancées telles qu’une recherche vectorielle interrogeant vos propres données.

Comprendre les incorporations dans l’IA

Avant de discuter des bases de données vectorielles ou des systèmes RAG, nous devons comprendre les incorporations et leur rôle dans des applications d’IA. Les incorporations convertissent des éléments tels que des mots, des phrases ou des documents entiers en vecteurs numériques qui reflètent leurs significations. Par exemple, un vecteur représentant un mot « chat » peut être représenté comme suit :

[0.1, 0.2, 0.3, 0.4, 0.5]

Ces vecteurs, créés par le biais de techniques d’apprentissage automatique, aident les modèles d’IA à comprendre et à travailler plus efficacement avec les données. Les modèles d’IA peuvent ensuite utiliser ces vecteurs pour effectuer des tâches telles que la classification, le clustering ou la correspondance de similarité. Ils jouent un rôle essentiel dans les applications allant de l’analyse de texte à la vision par ordinateur, en prenant en charge des tâches telles que la classification de textes ou la génération d’images et de code.

Dans des plateformes telles qu’Azure OpenAI, les incorporations sont essentielles pour aider de grands modèles linguistiques à traiter et à produire des textes qui reflètent la communication humaine. Ils transforment des données complexes en une forme structurée avec laquelle les modèles peuvent travailler, ce qui améliore la capacité des modèles à générer des réponses pertinentes et cohérentes. Les incorporations sont également essentielles pour les bases de données vectorielles, qui stockent et récupèrent des données en fonction de ces représentations numériques.

Découvrir les bases de données vectorielles

Chaque valeur du vecteur est considérée comme une dimension des données qu’il représente. Ce vecteur représente ensuite sa position par rapport à tous les autres vecteurs dans un espace hautement multidimensionnel. Ces vecteurs ont souvent de nombreuses dimensions, dans lesquelles certains des « plus petits » modèles d’incorporation d’Azure OpenAI ont 1536 dimensions.

Les bases de données vectorielles enregistrent les données comme ces vecteurs hautement multidimensionnels créés par le biais de transformations ou d’incorporations à partir de différents types de données tels que du texte, des images ou des vidéos. Ces bases de données excellent pour trouver rapidement des données qui correspondent sémantiquement, pas seulement par le biais de requêtes exactes. Cette capacité est utile pour des applications telles que la localisation d’images, de documents ou de produits similaires.

Par exemple, dans une base de données vectorielle, vous pouvez effectuer une recherche à l’aide d’une image ou d’une partie de texte utilisée comme requête pour en trouver d’autres qui correspondent étroitement au style ou au contenu. Ce processus suppose de trouver un vecteur de requête (incorporation) pour l’entrée de recherche et d’utiliser des mesures de similarité telles que la similarité cosinus ou la distance euclidienne pour trouver la distance entre les vecteurs.

Par conséquent, si vous recherchez le mot « chat », la base de données retourne les vecteurs les plus similaires au mot « chat » en fonction de la mesure de similarité utilisée. Ces mesures de similarité reposent sur les transformations ou les incorporations pour classer les résultats selon un ordre qui reflète la pertinence avec laquelle ils répondent à la requête.

Les bases de données vectorielles peuvent être un composant essentiel d’un système de génération augmentée de récupération (RAG), dans lequel elles stockent et récupèrent les données pour que les modèles d’IA génèrent des réponses. L’utilisation de bases de données vectorielles vous garantit que les modèles d’IA récupèrent et génèrent des réponses en fonction de vos données pertinentes et contextuelles, ce qui améliore la précision et la pertinence des réponses.

Découvrir la génération augmentée de récupération (RAG)

Les systèmes RAG améliorent les modèles de langage volumineux en ajoutant un système de récupération d’informations. Ce système fonde les réponses de l’IA sur des données pertinentes, spécifiques, telles que des documents et des images vectorisés créés à partir des données de votre entreprise.

Un système RAG utilisant des bases de données vectorielles suit généralement les étapes suivantes :

1. Incorpore la question ou la requête d’entrée et récupère les données pertinentes d’une base de données vectorielle.
2. Génère un prompt incluant l’entrée initiale et les données récupérées pour fournir le contexte.
3. Interroge le modèle d’IA générative avec le prompt combiné pour générer une réponse.

L’intégration de systèmes RAG vous permet de contrôler précisément les données que vos modèles de langage utilisent, assurant des réponses plus précises et adaptées. Lorsqu’il est associé aux bases de données vectorielles contenant vos données, le modèle d’IA peut les utiliser, améliorant ses réponses et les rendant davantage applicables et sensibles au contexte de votre entreprise.

Dans des systèmes RAG, les applications d’IA sont adaptées et managées par vos données, et non l’inverse.

Les bases de données vectorielles, les incorporations et la génération augmentée de récupération (RAG) sont essentielles pour améliorer des applications basées sur une IA, en particulier avec Azure Cosmos DB for MongoDB basé sur vCore et Azure OpenAI. Les incorporations traduisent des données complexes en vecteurs numériques qui améliorent la compréhension d’un modèle d’IA, ce qui est crucial pour des tâches telles que la classification de texte et l’extraction de données. Les bases de données vectorielles utilisent ces incorporations pour effectuer des recherches rapides et sémantiques, ce qui améliore considérablement les capacités d’extraction des données. Lorsque vous combinez ces technologies dans un système RAG, elles permettent à l’IA de fournir des réponses qui ne sont pas seulement précises, mais qui sont également adaptées à vos données spécifiques, améliorant la pertinence et l’efficacité de vos applications.