瞭解向量資料庫、檢索增強生成，以及 AI 中的內嵌
向量資料庫、內嵌和檢索增強生成 (RAG) 是增強 AI 驅動應用程式的重要技術，特別是在適用於以虛擬核心為基礎的 Azure Cosmos DB for MongoDB 內容中。 瞭解這些概念對於實作進階功能很重要，例如向量搜尋查詢您自己的資料。
瞭解 AI 中的內嵌
在討論向量資料庫或 RAG 系統之前，我們需要瞭解 AI 應用程式中的內嵌及其角色。 內嵌會將單字、句子或整個文件等項目轉換成反映其意義的數值向量。 例如，代表「貓 (cat)」一字的向量可能以下列方式表示:
[0.1, 0.2, 0.3, 0.4, 0.5]
這些向量透過機器學習技術所建立，可協助 AI 模型更有效率地瞭解和使用資料。 然後，AI 模型可以使用這些向量來執行分類、叢集或類似性比對等工作。 它們對於從文字分析到電腦視覺、支援分類文字或產生影像和程式碼等工作，在應用程式中扮演著重要角色。
在 Azure OpenAI 之類的平臺中，內嵌是協助大型語言模型處理及產生文字以反映人類通訊的關鍵。 它們會將複雜的資料轉換成模型可用以作業的結構化形式，增強模型產生相關且一致的回應之能力。 內嵌對於向量資料庫而言也很重要，這些資料庫會根據這些數值表示來儲存和擷取資料。
探索向量資料庫
向量中的每個值都會被視為其所代表資料的維度。 接著，該向量會代表其在高度多維度空間中相對於所有其他向量的位置。 這些向量通常有許多維度，其中一些 Azure OpenAI 中的「較小」的內嵌模型具有 1536 維度。
向量資料庫會將資料儲存為透過轉換或內嵌從文字、影像或影片等各種資料類型建立的高度多維度向量。 這些資料庫擅長快速尋找語意相符的資料，而不只是透過確切的查詢。 此功能對於尋找類似影像、文件或產品等應用程式而言相當重要。
例如，在向量資料庫中，您可以使用影像或文字片段做為查詢，來搜尋其他樣式或內容相符的項目。 此程序涉及尋找搜尋輸入的查詢向量(內嵌)，並使用相似性量值，例如 餘弦相似度 或 歐幾里得距離 來尋找向量之間的距離。
因此，如果您搜尋「貓 (cat)」這個字，資料庫便會根據使用的相似性量值，傳回最類似「貓 (cat)」這個字的向量。 這些相似性量值依賴轉換或內嵌，以根據它們與查詢的相符程度來排名結果。
向量資料庫可以是檢索增強生成 (RAG) 系統的基本元件，其會在該系統中儲存和擷取 AI 模型的資料，以產生回應。 藉由使用向量資料庫，您可以確保 AI 模型根據相關且具內容意識的資料，擷取和產生回應，以增強回應的精確度和相關性。
探索檢索增強生成 (RAG)
RAG 系統可藉由新增資訊擷取系統，來改善大型語言模型。 此系統會針對相關、特定資料進行 AI 回應，例如從企業中的資料建立的向量化文件和影像。
使用向量資料庫的 RAG 系統通常會遵循下列步驟:
- 內嵌輸入問題或查詢，並從向量資料庫擷取相關資料。
- 產生提示，包括初始輸入，以及擷取以提供內容的資料。
- 使用合併的提示，來查詢生成式 AI 模型，以產生回應。
整合 RAG 系統可讓您精確控制語言模型使用的資料，使其回應更精確且訂製化。 與包含資料的向量資料庫連結時，AI 模型可以使用您的資料、改善其回應，並讓這些回應更適用於您的企業並對其更具有內容意識。
在 RAG 系統中，AI 應用程式由您的資料訂製和管理，而非相反的作業方式。
向量資料庫、內嵌和檢索增強生成 (RAG) 對於增強 AI 驅動應用程式而言非常重要，特別是針對以虛擬核心為基礎的 Azure Cosmos DB for MongoDB 和 Azure OpenAI。 內嵌會將複雜的資料轉譯成數值向量，以改善 AI 模型的理解，這對文字分類和資料擷取等工作至關重要。 向量資料庫會使用這些內嵌來執行快速的語意驅動搜尋，以大幅增強資料擷取功能。 當您將這些技術結合到 RAG 系統中時，它們可讓 AI 提供不僅精確且專為特定資料訂製的回應，同時改善應用程式的相關性和有效性。