Sdílet prostřednictvím

Načítání rozšířené generace (RAG) poskytuje znalosti LLM

  • Článek

Tento článek popisuje, jak načítání rozšířené generace umožňuje LLM přistupovat k vašim zdrojům dat jako ke znalostem bez nutnosti trénování.

LLM mají rozsáhlé znalostní báze prostřednictvím školení. Ve většině scénářů můžete vybrat LLM, který je určený pro vaše požadavky, ale tyto LLM stále vyžadují další trénování, aby porozuměly vašim konkrétním datům. Generování rozšířeného načítání umožňuje zpřístupnit data pro LLM, aniž byste je napřed trénovali.

Jak RAG funguje

Pokud chcete provádět generování rozšířeného načítání, vytvoříte pro svá data vkládání spolu s běžnými dotazy. Můžete to provést za běhu nebo můžete vytvářet a ukládat vložené položky pomocí řešení vektorové databáze.

Když uživatel položí otázku, LLM použije vaše vkládání k porovnání otázky uživatele s vašimi daty a nalezení nejrelevavantnějšího kontextu. Tento kontext a dotaz uživatele pak v příkazovém řádku přejděte na LLM a LLM poskytuje odpověď na základě vašich dat.

Základní proces RAG

Chcete-li provést RAG, je nutné zpracovat každý zdroj dat, který chcete použít pro načítání. Základní proces je následující:

  1. Rozdělte velká data do spravovatelných částí.
  2. Převeďte bloky dat do prohledávatelného formátu.
  3. Ukládejte převedená data do umístění, které umožňuje efektivní přístup. Kromě toho je důležité ukládat relevantní metadata pro citace nebo odkazy, když LLM poskytuje odpovědi.
  4. Po zobrazení výzev můžete převést data na LLM.

Snímek obrazovky s diagramem technického přehledu LLM procházející kroky RAG

  • Zdrojová data: Tady jsou vaše data. Může se jednat o soubor nebo složku na vašem počítači, soubor v cloudovém úložišti, datový prostředek služby Azure Machine Learning, úložiště Git nebo databázi SQL.
  • Vytváření bloků dat: Data ve zdroji je potřeba převést na prostý text. Například wordové dokumenty nebo soubory PDF musí být prolomené otevřené a převedené na text. Text se pak rozdělí na menší části.
  • Převod textu na vektory: Jedná se o vkládání. Vektory jsou číselné reprezentace konceptů převedených na číselné sekvence, což usnadňuje počítačům pochopení vztahů mezi těmito koncepty.
  • Propojení mezi zdrojovými daty a vkládáním: Tyto informace se ukládají jako metadata na vytvořených blocích, které se pak používají k tomu, aby llMs při generování odpovědí generovaly citace.

Související obsah