Azure Machine Learning 中的向量存放區 (預覽)
重要
此功能目前處於公開預覽。 此預覽版本沒有服務等級協定,不建議用於處理生產工作負載。 可能不支援特定功能,或可能已經限制功能。
如需詳細資訊,請參閱 Microsoft Azure 預覽版增補使用條款。
本概念文章可協助您在 Azure Machine Learning 中使用向量索引來執行擷取增強產生 (RAG)。 向量索引會儲存內嵌,這些內嵌是轉換成數位序列的概念 (資料) 數值表示法,可讓 LLM 了解這些概念之間的關聯性。 建立向量存放區可協助您連結資料與 GPT-4 等大型語言模型 (LLM),並有效率地擷取資料。
Azure Machine Learning 支援兩種向量存放區類型,其中包含用於 RAG 工作流程中的補充資料:
Faiss 是提供本機檔案型存放區的開放原始碼程式庫。 向量索引儲存於 Azure Machine Learning 工作區的儲存體帳戶。 由於是本機儲存,因此成本最低,非常適合開發和測試之用。
Azure AI 搜尋服務 (先前稱為認知搜尋) 是一項 Azure 資源,支援對儲存在搜尋索引中的向量和文字資料進行資訊擷取。 提示流程可以建立、填入及查詢儲存在 Azure AI 搜尋服務中的向量資料。
選擇向量存放區
您可以使用提示流程中的任一個存放區,請問您要使用哪一個?
Faiss 是您下載並使用解決方案元件的開放原始碼程式庫。 如果您有僅限向量的資料,此程式庫可能是最佳起點。 使用 Faiss 的一些重點:
本地儲存體,不需索引建立成本 (只需儲存體成本)。
您可以在記憶體中建置和查詢索引。
您可以共用複本以供個別使用。 如果您要裝載應用程式的索引,您必須設定該索引。
Faiss 會隨著基礎計算載入索引進行調整。
Azure AI 搜尋服務是您在 Azure 訂用帳戶中建立的專用 PaaS 資源。 單一搜尋服務可以裝載大量索引,該索引可在 RAG 模式中進行查詢及使用。 對向量存放區使用 Azure AI 搜尋服務的一些重點:
支援企業層級商業對於規模調整、安全性和可用性的需求。
支援混合式資訊擷取。 向量資料可以與非向量資料共存,這表示您可以使用 Azure AI 搜尋服務的任何功能來編製索引和查詢,包括混合式搜尋和語意重新調整。
向量支援處於公開預覽狀態。 目前,向量必須在外部產生,然後傳遞至 Azure AI 搜尋服務以編製索引和查詢編碼。 提示流程會為您處理這些轉換。
若要將 AI 搜尋服務用作 Azure Machine Learning 的向量存放區,您必須要有搜尋服務。 一旦服務存在且您已授與開發人員存取權之後,便可在提示流程中,選擇 Azure AI 搜尋服務作為向量索引。 提示流程會在 Azure AI 搜尋服務上建立索引、從來源資料產生向量、將向量傳送至索引、在 AI 搜尋服務上叫用相似度搜尋,以及傳回回應。
下一步
意見反應
https://aka.ms/ContentUserFeedback。
即將登場:在 2024 年,我們將逐步淘汰 GitHub 問題作為內容的意見反應機制,並將它取代為新的意見反應系統。 如需詳細資訊,請參閱:提交並檢視相關的意見反應