Nastavení prohledávatelného dat

  • 7 min

Pokud chcete vytvořit kopírovací graf, který k vygenerování přesných odpovědí používá vaše vlastní data, musíte být schopni data efektivně prohledávat. Když sestavíte kopírovaný graf pomocí nástroje Azure AI Studio, můžete pomocí integrace se službou Azure AI Search načíst příslušný kontext v toku chatu.

Azure AI Search je načítač , který můžete zahrnout při vytváření aplikace jazykového modelu s tokem výzvy. Azure AI Search umožňuje používat vlastní data, indexovat data a dotazovat se na index, abyste získali potřebné informace.

Diagram znázorňující dotazování indexu pro načtení podkladových dat

Použití vektorového indexu

I když textový index zlepší efektivitu vyhledávání, můžete obvykle dosáhnout lepšího řešení načítání dat pomocí vektorového indexu, který obsahuje vložené tokeny , které představují textové tokeny ve zdroji dat.

Vkládání je speciální formát reprezentace dat, který může vyhledávací web použít k snadnému vyhledání relevantních informací. Konkrétně je vložení vektorem čísel s plovoucí desetinou čárkou.

Představte si například, že máte dva dokumenty s následujícím obsahem:

  • "Děti hrály radostně v parku."
  • "Děti šťastně běžely kolem hřiště."

Tyto dva dokumenty obsahují texty, které jsou sémanticky související, i když se používají různá slova. Vytvořením vektorových vkládání textu do dokumentů lze matematicky vypočítat vztah mezi slovy v textu.

Představte si, že se klíčová slova extrahují z dokumentu a vykreslí se jako vektor v multidimenzionálním prostoru:

Diagram vektorových vkládání

Vzdálenost mezi vektory lze vypočítat měřením kosinus úhlu mezi dvěma vektory, označovanými také jako kosinus podobnosti. Jinými slovy, kosinus podobnost vypočítá sémantickou podobnost mezi dokumenty a dotazem.

Reprezentací slov a jejich významů vektory můžete extrahovat relevantní kontext ze zdroje dat i v případě, že jsou data uložená v různých formátech (text nebo obrázek) a jazycích.

Pokud chcete k vyhledávání dat použít vektorové vyhledávání, musíte při vytváření indexu vyhledávání vytvořit vkládání. Pokud chcete vytvořit vkládání pro index vyhledávání, můžete použít model vkládání Azure OpenAI dostupný v Azure AI Studiu.

Diagram znázorňující vektorový index, který obsahuje vložené objekty

Tip

Přečtěte si další informace o vkládání do služby Azure OpenAI.

Vytvoření indexu vyhledávání

Ve službě Azure AI Search index vyhledávání popisuje, jak je váš obsah uspořádaný tak, aby byl prohledávatelný. Představte si knihovnu obsahující mnoho knih. Chcete být schopni prohledat knihovnu a snadno a efektivně načíst příslušnou knihu. Aby knihovna byla prohledávatelná, vytvoříte katalog, který bude obsahovat všechna relevantní data o knihách, aby bylo možné snadno najít jakoukoli knihu. Katalog knihovny slouží jako index vyhledávání.

I když existují různé přístupy k vytvoření indexu, integrace služby Azure AI Search v nástroji Azure AI Studio usnadňuje vytvoření indexu vhodného pro jazykové modely. Data můžete přidat do nástroje Azure AI Studio, po kterém můžete pomocí služby Azure AI Search vytvořit index v Azure AI Studiu pomocí modelu vkládání. Asset indexu je uložený ve službě Azure AI Search a dotazuje se v nástroji Azure AI Studio při použití v toku chatu.

Snímek obrazovky s vytvořením indexu v Azure AI Studiu

Způsob konfigurace indexu vyhledávání závisí na datech, která máte, a kontextu, který má jazykový model používat. Hledání klíčových slov například umožňuje načíst informace, které přesně odpovídají vyhledávacímu dotazu. Sémantické vyhledávání už krok dále trvá načtením informací, které odpovídají významu dotazu místo přesného klíčového slova, pomocí sémantických modelů. V současné době je nejpokročilejší technikou vektorové vyhledávání, které vytváří vkládání pro reprezentaci vašich dat.

Tip

Přečtěte si další informace o vektorovém vyhledávání.

Prohledávání indexu

Informace se dají dotazovat v indexu několika způsoby:

  • Hledání klíčových slov: Identifikuje relevantní dokumenty nebo pasáže na základě konkrétních klíčových slov nebo termínů zadaných jako vstup.
  • Sémantické vyhledávání: Načte dokumenty nebo pasáže pochopením významu dotazu a jeho shodou s sémanticky souvisejícím obsahem, a nespoléhat se výhradně na přesné shody klíčových slov.
  • Vektorové vyhledávání: Používá matematické znázornění textu (vektorů) k vyhledání podobných dokumentů nebo pasáží na základě jejich sémantického významu nebo kontextu.
  • Hybridní vyhledávání: Kombinuje jakékoli nebo všechny ostatní techniky vyhledávání. Dotazy se provádějí paralelně a vrací se ve sjednocené sadě výsledků.

Při vytváření indexu vyhledávání v Azure AI Studiu vás provede konfigurace indexu, který je nejvhodnější pro použití v kombinaci s jazykovým modelem. Když se výsledky hledání použijí v aplikaci generující umělé inteligence, hybridní vyhledávání poskytuje nejpřesnější výsledky.

Hybridní vyhledávání je kombinace klíčových slov (a fulltextu) a vektorového vyhledávání, do kterého je volitelně přidáno sémantické řazení. Při vytváření indexu, který je kompatibilní s hybridním vyhledáváním, jsou načtené informace přesné, pokud jsou k dispozici přesné shody (pomocí klíčových slov), a stále relevantní, pokud lze najít pouze koncepční podobné informace (pomocí vektorového vyhledávání).

Tip

Přečtěte si další informace o hybridním vyhledávání.