Sdílet prostřednictvím

Vektorová úložiště ve službě Azure Machine Učení (Preview)

  • Článek

Důležité

Tato funkce je v současné době ve verzi Public Preview. Tato verze Preview je poskytována bez smlouvy o úrovni služeb a nedoporučujeme ji pro produkční úlohy. Některé funkce se nemusí podporovat nebo mohou mít omezené možnosti.

Další informace najdete v dodatečných podmínkách použití pro verze Preview v Microsoft Azure.

Tento článek o konceptu vám pomůže použít vektorový index ve službě Azure Machine Učení k provádění načítání rozšířené generace (RAG). Vektorový index ukládá vkládání, což jsou číselné reprezentace konceptů (dat) převedených na číselné sekvence, které umožňují LLM pochopit vztahy mezi těmito koncepty. Vytváření vektorových úložišť vám pomůže spojit data s velkým jazykovým modelem (LLM), jako je GPT-4, a efektivně načíst data.

Azure Machine Learning podporuje dva typy úložišť vektorů, které obsahují doplňující data používaná v pracovním postupu RAG:

  • Faiss je open-sourcová knihovna, která poskytuje místní souborové úložiště. Vektorový index je uložený v účtu úložiště vašeho pracovního prostoru Azure Machine Učení. Vzhledem k tomu, že se ukládá místně, jsou náklady minimální, což je ideální pro vývoj a testování.

  • Azure AI Search (dříve Cognitive Search) je prostředek Azure, který podporuje načítání informací přes vektorová a textová data uložená v indexech vyhledávání. Tok výzvy může vytvořit, naplnit a dotazovat vektorová data uložená ve službě Azure AI Search.

Volba úložiště vektorů

Můžete použít buď úložiště v toku výzvy, takže který z nich byste měli použít?

Faiss je opensourcová knihovna, kterou si stáhnete a použijete komponentu řešení. Tato knihovna může být nejlepším místem, kde začít, pokud máte data jen pro vektory. Některé klíčové body práce s Faiss:

  • Místní úložiště bez nákladů na vytvoření indexu (pouze náklady na úložiště).

  • Index můžete sestavit a dotazovat v paměti.

  • Kopie můžete sdílet pro individuální použití. Pokud chcete hostovat index pro aplikaci, musíte ho nastavit.

  • Škáluje se pomocí základního indexu načítání výpočetních prostředků.

Azure AI Search je vyhrazený prostředek PaaS, který vytvoříte v předplatném Azure. Jedna vyhledávací služba může hostovat velký počet indexů, které se dají dotazovat a používat ve vzoru RAG. Některé klíčové body použití služby Azure AI Search pro vaše vektorové úložiště:

  • Podporuje podnikové požadavky na firmy pro škálování, zabezpečení a dostupnost.

  • Podporuje načítání hybridních informací. Vektorová data můžou existovat společně s ne vektorovými daty, což znamená, že pro indexování a dotazy, včetně hybridního vyhledávání a sémantického řazení, můžete použít některou z funkcí služby Azure AI Search.

  • Podpora vektorů je ve verzi Public Preview. V současné době musí být vektory vygenerovány externě a následně předány službě Azure AI Search pro indexování a kódování dotazů. Tok výzvy zpracovává tyto přechody za vás.

Pokud chcete službu AI Search použít jako vektorové úložiště pro službu Azure Machine Učení, musíte mít vyhledávací službu. Jakmile služba existuje a udělíte přístup vývojářům, můžete v toku výzvy zvolit Azure AI Search jako vektorový index. Tok výzvy vytvoří index ve službě Azure AI Search, vygeneruje vektory ze zdrojových dat, odešle vektory do indexu, vyvolá vyhledávání podobnosti ve službě AI Search a vrátí odpověď.

Další kroky

Vytvoření vektorového indexu ve službě Azure Machine Učení toku výzvy (Preview)