Rozšířené generování načítání a indexy

Důležité

Některé funkce popsané v tomto článku můžou být dostupné jenom ve verzi Preview. Tato verze Preview je poskytována bez smlouvy o úrovni služeb a nedoporučujeme ji pro produkční úlohy. Některé funkce se nemusí podporovat nebo mohou mít omezené možnosti. Další informace najdete v dodatečných podmínkách použití pro verze Preview v Microsoft Azure.

Tento článek popisuje důležitost a potřebu načítání rozšířené generace (RAG) a indexu v generační umělé inteligenci.

Co je RAG?

Nejdřív je to základní. Velké jazykové modely (LLM), jako je ChatGPT, se trénují na veřejných internetových datech, která byla k dispozici v okamžiku trénování. Můžou odpovědět na otázky související s daty, na která byli natrénováni. Tato veřejná data nemusí stačit ke splnění všech vašich potřeb. Na základě vašich privátních dat můžete chtít odpovědět na otázky. Nebo se můžou veřejná data jednoduše dostat mimo aktuální data. Řešením tohoto problému je načtení rozšířené generace (RAG), což je vzor používaný v AI, který používá LLM k vygenerování odpovědí s vlastními daty.

Jak RAG funguje?

RAG je vzor, který používá vaše data s LLM k vygenerování odpovědí specifických pro vaše data. Když uživatel položí otázku, bude úložiště dat prohledáno na základě vstupu uživatele. Otázka uživatele se pak zkombinuje s odpovídajícími výsledky a odešle se do LLM pomocí výzvy (explicitní pokyny pro model AI nebo strojového učení) k vygenerování požadované odpovědi. To lze ilustrovat následujícím způsobem.

Co je index a proč ho potřebuji?

RAG používá vaše data ke generování odpovědí na otázku uživatele. Aby RAG dobře fungovalo, musíme najít způsob, jak snadno a nákladově efektivně vyhledávat a odesílat data do LLM. Toho dosáhnete pomocí indexu. Index je úložiště dat, které umožňuje efektivně prohledávat data. To je pro RAG velmi užitečné. Index lze optimalizovat pro LLM vytvořením vektorů (textová data převedená na číselné sekvence pomocí vloženého modelu). Dobrý index má obvykle efektivní možnosti vyhledávání, jako jsou hledání klíčových slov, sémantické vyhledávání, vektorové vyhledávání nebo jejich kombinace. Tento optimalizovaný model RAG je možné znázornět následujícím způsobem.

Azure AI poskytuje indexový prostředek pro použití se vzorem RAG. Asset indexu obsahuje důležité informace, jako je umístění uloženého indexu, přístup k indexu, jaké jsou režimy, ve kterých lze index prohledávat, má index vektory, jaký je model vkládání používaný pro vektory atd. Index Azure AI používá Azure AI Search jako primární a doporučené úložiště indexů. Azure AI Search je prostředek Azure, který podporuje načítání informací přes vektorová a textová data uložená v indexech vyhledávání.

Další kroky

• Vytvoření vektorového indexu